数据格式标准化

数据标准化结果

标准化后数据（CSV格式）

claim_id,apply_date,amount,tax_rate,currency,is_approved,department,description RB-1001,2024-11-30,1500.00,0.0500,CNY,true,市场部,差旅住宿 RB-1002,2024-11-30,-200.75,0.0000,CNY,false,财务部,退款冲减 RB-1003,2024-11-29,800.00,0.0700,EUR,true,研发部,外包采购

应用的标准化操作

.列名规范化：将 CamelCase 列名统一为小写下划线风格（claim_id, apply_date, amount, tax_rate, currency, is_approved, department, description）
.日期统一格式（ISO 8601）：解析多种日期格式（YYYY/MM/DD、DD-MM-YYYY、YYYY-MM-DD），统一输出为 YYYY-MM-DD；示例：2024/11/30→2024-11-30，30-11-2024→2024-11-30
.金额标准化（千分位/地区小数/货币符号）：移除千分位分隔符，识别欧式小数（, 为小数点），移除货币符号（€），将括号负数转换为负号，输出为数值并保留2位小数；示例："1,500.00"→1500.00，"(200.75)"→-200.75，"€800,00"→800.00
.税率标准化（百分比→比例值）：去除%并转换为[0,1]区间比例，统一保留4位小数；示例：5%→0.0500
.布尔值统一：将“是/否”“Yes/No”映射为true/false；示例：是→true，否→false，Yes→true
.文本空白清理：去除首尾空格并合并连续空格为单一空格；示例：" 市场部 "→"市场部"，"研发部 "→"研发部"
.货币代码校验：保留并校验ISO 4217 货币代码（CNY、EUR），保持大写
.数据类型验证：apply_date（日期）、amount（数值）、tax_rate（数值比例）、currency（字符串）、is_approved（布尔）、department/description（字符串）类型检查通过
.范围与规则校验：tax_rate ∈ [0,1] 校验通过；识别负数金额为有效业务值（如退款/冲减），不标记为错误

处理摘要

指标 | 数值
总行数 | 3
处理行数 | 3
错误数量 | 0
处理时间 | 约0.02s

处理状态

success - 数据标准化处理完成

标准化规则示例

• 日期列：统一转换为ISO格式"YYYY-MM-DD"
• 数字列：移除千位分隔符，保留小数点，转换为数值类型
• 文本列：修剪多余空格（中文不转小写）
• 货币列：移除货币符号，保留ISO 4217货币代码，金额以数值存储
• 布尔值列：统一为true/false
• 税率列：去除百分号并存为比例值（四位小数）
• 默认规则：遵循行业最佳实践与数据治理规范（类型校验、范围校验、可追溯日志）

数据标准化结果

标准化后数据（CSV格式）

user_id,event_time,session_seconds,consent,utm_source,remarks u_001,2024-12-01 09:05:00,1200,true,email,首次激活 u_002,2024-12-01 09:06:00,1500,false,social,分享邀请

应用的标准化操作

• 列名校验与保留：已符合snake_case与英文小写规范，未调整列名
• 日期时间标准化（event_time）：多格式解析并统一为"YYYY-MM-DD HH:MM:SS"
  • 解析格式支持：YYYY/MM/DD HH:mm、DD-MM-YYYY H:mm、YYYY-MM-DD HH:mm
  • 无时区信息，保持为本地无时区时间；缺省秒补全为":00"
  • 歧义日期“01-12-2024 9:06”按日优先(day-first)解析为2024-12-01 09:06，与同批数据一致
• 数值标准化（session_seconds）：去除科学计数法并转换为数值类型
  • "1.5e3" → 1500；统一为整数秒；校验非负且在合理范围内（未发现异常）
• 布尔值标准化（consent）：统一为true/false（不区分大小写）
  • 映射：["true","yes","1"]→true；["false","no","0"]→false
  • 本次转换：TRUE→true；Yes→true；0→false
• 文本清洗（utm_source, remarks）
  • 去除首尾及多余空格（含常见Unicode空白）
  • ASCII字符统一小写；中文不变
  • 示例：" Email"→"email"；"SOCIAL "→"social"；" 首次激活 "→"首次激活"
• 渠道归一（utm_source）：映射至标准渠道名称集合
  • 映射：email→email；social→social（本次仅涉及这两类）
• 去重（同一会话事件）
  • 去重键：user_id + event_time(到分钟) + session_seconds
  • 规则：保留首条出现记录；布尔字段冲突时优先true（不影响本次结果）
  • 结果：第3行(u_001, 2024-12-01 09:05, 1200)判定为第1行重复并删除（remarks为“重复”进一步佐证）
• 空值处理：未发现空值，无填补操作
• 异常值标注：未发现异常；未新增标注列

处理摘要

指标 | 数值 总行数 | 2 处理行数 | 3 错误数量 | 0 处理时间 | N/A

处理状态

success - 数据标准化处理完成

标准化规则示例

• 日期列：统一转换为ISO样式"YYYY-MM-DD HH:MM:SS"（保留时间以避免信息丢失）
• 数字列：移除千位/科学计数，转换为数值类型
• 文本列：ASCII小写，修剪多余空格
• 货币列：移除货币符号，转换为数值（本次未涉及）
• 布尔值列：统一为true/false
• 默认规则：遵循行业最佳实践与数据治理规范，确保可追溯与不丢失关键业务信息