以下为针对该客户行为二分类流失(churn)场景的预处理方案与特征生成流程。目标是构建干净、可复现的特征表，采用可解释的编码方案，并在数据清洗与特征工程阶段考虑类不平衡。数据规模中型（1–100万行），数据源为CSV，缺失值策略采用模型预测填充，异常值处理采用Winsorization。
一、总体原则与输出
- 面向训练的特征表应为行级客户快照（每客户一行），包含稳定、可解释的特征，明确数据版本与处理步骤。
- 所有统计（均值、分位数、词典、编码映射、插补模型、缩放参数）在训练集上拟合，并以同一版本持久化，用于验证与测试集的纯变换。
- 避免信息泄露：任何插补或编码都不得使用目标标签或验证/测试数据分布；目标仅用于模型训练与评估。
二、数据摄取与模式定义
-
文件读取与一致化
- CSV读取：指定编码（UTF-8），显式定义分隔符、引号处理与转义字符。
- 列类型初始约束：
- customer_id: 字符串（主键）
- churn: 整型/布尔（0/1）
- signup_date: 日期/时间戳（解析为timezone-aware）
- tenure_months: 整型/浮点（非负）
- monthly_fee、total_charges: 浮点（非负）
- contract_type、payment_method、auto_renew、region: 字符串/分类型
- service_tickets_90d: 整型（>=0）
- last_login: 日期/时间戳（可空）
- complaint_text: 文本（可空）
- income_level: 如存在则字符串/分类型（可空）
- 日期解析：使用多格式自适应（如dateutil），统一到ISO 8601；时区一致且保留时区信息。
- 异常类型修正：将明显错误类型（数字型列中的字符串、布尔型列中的"Yes"/"No"）转换或标记。
-
目标列与范围检查
- 校验churn仅包含{0,1}；剔除其他值或标记为不可用。
- 记录总行数、各列缺失率、类型转换警告，生成数据质量报告。
三、重复记录与样本界定
3. 去重策略（客户级唯一）
- 定义重复：customer_id重复的多行。
- 选择规则：保留每客户最新的业务状态行（优先排序：tenure_months降序，其次last_login最新，其次signup_date最晚）；如业务明确为按月快照且需要时间序列建模，可改为按观察窗聚合，但本任务采用每客户一行。
- 保留审计列：dup_count（重复计数）、dup_resolved_method（选择规则）、source_row_ids。
四、类别标准化与别名处理
4. 类别清洗与规范化
- 标准化处理：统一大小写（小写），去除前后空格，合并多空格，移除不可见控制字符。
- 同义别名映射：建立并版本化映射字典（examples）
- contract_type: {"month-to-month","monthly","M2M"}→"month_to_month"; {"1-year","12 months"}→"one_year"; {"2-year","24 months"}→"two_year"
- payment_method: {"CC","credit card"}→"credit_card"; {"ACH","bank transfer"}→"bank_transfer"; {"e-check","electronic check"}→"e_check"
- region: 统一区域命名与简写（如"NE","N.E."→"north_east"）
- 未知值标准化：空字符串、"unknown"、"n/a"统一为缺失。
五、计费一致性与业务规则校正
5. 计费一致性检查与特征化
- 期望计费：expected_total = monthly_fee × tenure_months。
- 误差度量：billing_error = total_charges − expected_total；billing_error_ratio = billing_error / max(1, expected_total)。
- 业务异常识别：若|billing_error_ratio| > 0.2或monthly_fee、total_charges为负，则标记billing_inconsistent=1。
- 修正策略：
- 对明显跨月计费错误（billing_inconsistent=1且无负值且异常源于极端total_charges）不直接覆盖原值，以保守方式新增特征（billing_error、billing_error_ratio、billing_inconsistent），原值保留用于模型；避免引入主观修正。
- 可选：若业务规则允许，将total_charges在小误差范围（如|billing_error_ratio| ≤ 0.05）校正为expected_total，并记录校正标志。
六、异常值与数值分布处理
6. Winsorization（训练集拟合）
- 针对右偏与极端值的数值列：monthly_fee、total_charges、service_tickets_90d（及其他连续列）。
- 分位阈值：下界p_low=0.005、上界p_high=0.995（根据训练集分布确定）；将低于下界/高于上界的值截至阈值。
- 保留原始值影子列以便审计（如monthly_fee_raw、total_charges_raw），或记录是否被截断的布尔标志。
- 变换与缩放
- 对明显右偏的列应用log1p变换（如monthly_fee、total_charges、service_tickets_90d），以提升线性可分性与稳健性。
- 缩放：采用RobustScaler（中位数与IQR）在训练集拟合，保证对剩余轻微异常的稳健性。
- 注意：log1p与缩放的先后顺序为先log1p再缩放。
七、缺失值处理（模型预测填充）
8. 缺失分析与策略
- 主要缺失：last_login、complaint_text、income_level（如存在）。
- 文本缺失：complaint_text缺失视为空字符串；保留missing_text_flag。
- 时间缺失：last_login通过模型插补，或转为下游衍生特征（days_since_last_login）再插补。
- 类别缺失：income_level缺失采用分类模型预测填充；同时保留missing_income_flag。
- 数值缺失：对连续变量采用随机森林/梯度提升型插补（如MissForest或LightGBM-based imputer）在训练集拟合，不使用目标标签作为特征。
- 插补实现要点
- 拟合范围：仅在训练集数据上学习插补模型；验证/测试集中仅应用预测，不再重新拟合。
- 特征选择：用于插补的输入特征包含非缺失的数值与已规范化的类别（先进行基本编码，如频率编码/one-hot），不包含churn。
- 稳健性：对高噪声文本不直接用于插补last_login或income_level；改用结构化行为特征（如tenure_months、service_tickets_90d、contract_type、auto_renew、region等）。
八、文本字段处理（complaint_text）
10. 文本清洗
- 统一小写；移除控制字符；标准化空白。
- 表情与噪声处理：使用emoji词典将emoji映射到类别令牌（如:emoji_negative, :emoji_positive, :emoji_neutral）；保留常见标点与否定词。
- 非字母数字字符过滤：保留对情绪或强调有意义的符号（!、?），其他符号剔除。
- 可解释特征化
- 统计型特征：text_len、word_count、exclamation_count、question_count、emoji_negative_count、emoji_positive_count。
- 词典命中率：预定义负向/投诉词表（如“退款”“取消”“客服”“差”“慢”）的命中计数与比率。
- TF-IDF（受控词汇）：基于训练集选取前N（如500–2k）高频且与churn相关的unigram/bigram，限制停用词，保留否定短语；使用线性模型可解释权重。
- 稀疏控制：应用最小文档频率阈值（min_df 5–10），避免过拟合；词汇表版本化。
九、类别编码（可解释）
12. 低/中基数类别
- contract_type、payment_method、auto_renew：One-Hot编码，设定显式“unknown/other”桶。
- auto_renew转布尔（True/False），缺失作为第三状态或填补后再布尔。
- 中/高基数类别
- region：频率编码或目标不泄露的均值编码（K折交叉目标均值编码，内部仅用训练折构造），更推荐频率编码以保持稳定性。
- income_level（如存在）：One-Hot或有序标签编码（若业务上有明确序）；缺失单独一类或先插补再编码。
十、日期衍生特征
14. 时间特征生成
- 从signup_date、last_login计算：
- tenure_months_check = floor((snapshot_date − signup_date)/30.44) 与原tenure_months一致性校验差异（tenure_diff）。
- days_since_last_login（对缺失值插补后再计算；或先以缺失为极大值并保留missing标志）。
- 月份/季节性（如需）：signup_month、signup_weekday（One-Hot），谨慎使用避免伪模式。
十一、特征交互与业务派生
15. 比率与误差特征
- arpu = total_charges / max(1, tenure_months)（Winsorize前先计算，后续对arpu本身亦可Winsorize并log1p）。
- fee_to_arpu_ratio = monthly_fee / max(1e-3, arpu)。
- tickets_per_month = service_tickets_90d / 3 / max(1, monthly_fee分档或tenure_months)。
- 上述计费误差特征：billing_error、billing_error_ratio、billing_inconsistent。
十 二、类不平衡考虑（在预处理与划分中落实）
16. 数据划分
- Stratified train/validation/test（如7/2/1），按churn分层；如存在时间快照因素，优先时间后验划分（训练早期、测试后期），再在训练内分层。
- 所有变换（Winsorize、缩放、词表、插补器、编码器）只在训练集拟合。
- 采样与权重（建模阶段使用）
- 不在预处理阶段进行全局重采样；在训练折内可使用SMOTE/随机欠采样；或首选模型类权重（如逻辑回归class_weight="balanced"、树模型scale_pos_weight）。
- 阈值调优：在验证集上依据PR曲线或成本敏感指标选择决策阈值。
十 三、可复现性与治理
18. 版本化与审计
- 数据版本ID（源CSV哈希、行数、时间戳）。
- 预处理配置文件（分位点、词典、映射、缩放/插补器参数、随机种子）。
- 随机性控制：固定seed；对K折编码、插补、词汇选择使用确定性流程。
- 输出日志：每步的影响（删除/修正行数、winsor化比例、插补率、类别规范化替换计数）。
十 四、输出特征表结构（示例）
19. 字段与类型（训练/推理一致）
- 主键与目标：
- customer_id (string), churn (int)
- 数值连续：
- monthly_fee_log_scaled (float), total_charges_log_scaled (float), service_tickets_90d_log_scaled (float)
- arpu_log_scaled (float), fee_to_arpu_ratio (float)
- billing_error (float), billing_error_ratio (float), billing_inconsistent (int)
- 时间衍生：
- tenure_months (int/float), tenure_diff (int), days_since_last_login (float), signup_month_OHE..., signup_weekday_OHE...
- 类别编码：
- contract_type_OHE..., payment_method_OHE..., auto_renew_flag (int), region_freq (float) 或 region_OHE...
- income_level_OHE...（如存在）
- 文本特征：
- text_len (int), word_count (int), exclamation_count (int), question_count (int)
- emoji_negative_count (int), emoji_positive_count (int)
- lexicon_negative_hits (int), lexicon_positive_hits (int)
- tfidf_token_1..N（受控词汇的稀疏列或以向量存储）
- 质量与审计：
- dup_count (int), dup_resolved_method (string)
- winsorized_flags_*（可选）, missing_income_flag (int), missing_text_flag (int), last_login_imputed_flag (int)
十五、预处理步骤清单（执行顺序摘要）
- 读取CSV并统一编码、类型初始约束；解析日期为ISO 8601，保留时区。
- 目标列校验与数据质量概览（缺失率、类型错误、负值检查）。
- 去重：按customer_id分组，保留最新记录；生成审计字段。
- 类别标准化：大小写、空格、控制字符清理；应用同义别名映射；未知统一为缺失。
- 计费一致性检查：计算expected_total、billing_error、billing_error_ratio；生成billing_inconsistent标志；必要时小误差范围内校正。
- Winsorization：在训练集对monthly_fee、total_charges、service_tickets_90d（及其他连续列）按[0.5%, 99.5%]分位截断；记录截断比例。
- 分布变换与缩放：对右偏列log1p，再用RobustScaler缩放（训练集拟合）。
- 缺失值插补（模型预测填充）：在训练集拟合插补模型（如MissForest/GBM imputer），对last_login、income_level等进行预测填充；complaint_text缺失置空并保留标志。
- 文本清洗：小写、移除控制字符、标准化空白、emoji映射；生成统计型文本特征。
- 文本向量化：训练集构建受控TF-IDF词汇表（unigram/bigram，限定min_df），持久化并应用于验证/测试。
- 日期衍生：计算days_since_last_login、tenure_diff、signup_month/weekday等。
- 类别编码：低基数One-Hot，高基数频率编码或K折目标均值编码（无泄露）；保留“unknown/other”桶。
- 交互与比率：arpu、fee_to_arpu_ratio、tickets_per_month等。
- 训练/验证/测试分层划分；仅在训练集拟合所有统计与编码器；在验证/测试仅变换。
- 生成最终特征表；写出数据字典、版本与审计日志；确保可复现。
该流程在保证可解释性的前提下，结合模型预测插补与Winsorization处理右偏与极端值，并通过分层划分与严格的训练集拟合策略避免信息泄露，产出稳定可复现的特征表用于后续分类建模与类不平衡处理。
