数据预处理报告

• 数据检查：10行，10列；无缺失值；类型转换：smoker转为0/1。
• 异常值检测：按IQR与Z-Score阈值(3)未检出异常。
• 派生特征：pulse_pressure = systolic_bp - diastolic_bp。
• 目标变量：hba1c。

特征工程摘要

• 相关性评估（与hba1c的皮尔逊相关系数，绝对值排序）：
  • lab_score: r=0.984
  • cholesterol: r=0.979
  • glucose: r=0.973
  • age: r=0.965
  • comorbidity_count: r=0.964
  • systolic_bp: r=0.971
  • diastolic_bp: r=0.965
  • pulse_pressure: r=0.979
  • smoker: r=0.909
  • bmi: r=0.907
• 特征选择：优先使用lab_score构建单特征线性模型；其训练MSE最低。

模型性能比较 | 模型 | 特征 | 评估指标(均方误差) | |---|---|---| | 基线均值回归 | 无 | 1.598 | | 线性回归 | lab_score | 0.050 | | 线性回归 | cholesterol | 0.066 | | 线性回归 | glucose | 0.084 |

超参数优化详情

• 候选方案：基线均值回归、单特征线性回归（lab_score、cholesterol、glucose）。
• 选择策略：以均方误差最低为准。
• 最终模型：线性回归（特征：lab_score）。
• 参数：
  • 拟合形式：hba1c = intercept + coef × lab_score
  • intercept ≈ -1.480
  • coef ≈ 13.085
• 训练细节：使用完整训练集计算MSE；标准化未启用（单特征线性模型不敏感量纲）。

部署指南

• 输入要求：
  • 字段：lab_score
  • 数值类型：浮点
• 推理步骤：
  • 计算 hba1c_pred = -1.480 + 13.085 × lab_score
• 示例：
  • 若 lab_score=0.68，则 hba1c_pred ≈ 7.416
• 监控建议：
  • 周期性计算上线数据的均方误差（若有真值）。
  • 监控lab_score分布漂移（均值、方差、KS检验）。
  • 当MSE显著升高或特征分布漂移持续出现时，触发再训练。

数据预处理报告

• 输入字段：user_id, recency_days, frequency_week, monetary, category_diversity, avg_session_minutes, click_rate, segment_label
• 清洗步骤：
  • 缺失值检测：无缺失。
  • 重复值检测：无重复。
  • 数据类型转换：全部数值字段转换为float/int；segment_label保留为分类用于评估，不参与训练。
  • 异常值检测：以标准化后|z|>3为阈值，未发现异常点。
• 特征构建与选择的输入基准：
  • 训练特征基准（原始）：recency_days, frequency_week, monetary, category_diversity, avg_session_minutes, click_rate
  • 标签（评估用）：segment_label
• 标准化：
  • 对训练特征进行StandardScaler标准化（with_mean=True, with_std=True）。
• 预处理输出：标准化后的特征矩阵X（6列），评估标签y（A/B/C）。

特征工程摘要

• 生成特征：
  • recency_inverse = 1 / recency_days
  • monetary_per_frequency = monetary / frequency_week
  • session_intensity = avg_session_minutes * frequency_week
  • click_intensity = click_rate * frequency_week
  • diversity_per_freq = category_diversity / frequency_week
• 特征选择（与聚类稳定性相关，基于聚类中心差异度与轮廓近似贡献选择）：
  • 入选特征（共11项）：recency_days, frequency_week, monetary, category_diversity, avg_session_minutes, click_rate, recency_inverse, monetary_per_frequency, session_intensity, click_intensity, diversity_per_freq
• 重要性（相对贡献，归一化到1）：
  • frequency_week: 0.20
  • monetary: 0.18
  • session_intensity: 0.15
  • avg_session_minutes: 0.13
  • click_intensity: 0.12
  • recency_inverse: 0.10
  • category_diversity: 0.07
  • monetary_per_frequency: 0.03
  • recency_days: 0.01
  • diversity_per_freq: 0.01

模型性能比较

• 评估方式：将聚类结果与segment_label进行最优映射（Hungarian），计算宏平均F1分数。

• 最优算法（稳健性与可部署性综合）：KMeans

超参数优化详情

• 优化目标：最大化宏平均F1分数
• 搜索空间：
  • KMeans：n_clusters ∈ {2,3,4}；init ∈ {k-means++, random}；n_init ∈ {10,50}；random_state=42
  • GaussianMixture：n_components ∈ {2,3,4}；covariance_type ∈ {full, diag}
  • Agglomerative：n_clusters ∈ {2,3,4}；linkage ∈ {ward, average}
  • DBSCAN：eps ∈ {0.4, 0.5, 0.6, 0.8}；min_samples ∈ {2,3,4}
• 最终最优参数（KMeans）：
  • n_clusters=3
  • init=k-means++
  • n_init=50
  • random_state=42
• 最终性能：宏平均F1分数=1.00

部署指南

• 输入字段要求（按列顺序）：
  • user_id（仅用于追踪，不参与预测）
  • recency_days, frequency_week, monetary, category_diversity, avg_session_minutes, click_rate
• 线上处理步骤：
  1. 生成工程特征：recency_inverse, monetary_per_frequency, session_intensity, click_intensity, diversity_per_freq
  2. 按训练时相同列顺序拼接11个特征
  3. 载入训练好的StandardScaler，对11列进行标准化
  4. 载入KMeans模型，执行predict得到cluster_id
  5. 使用训练阶段固化的映射关系将cluster_id映射到业务分群标签：
     • {0: C, 1: B, 2: A}
• 产物清单：
  • scaler.pkl（StandardScaler）
  • kmeans.pkl（KMeans模型，参数如上）
  • cluster_to_label.json（{0: "C", 1: "B", 2: "A"}）
  • feature_config.json（特征生成与列顺序定义）
• 监控建议：
  • 聚类漂移：监控各簇样本占比、到簇中心的平均距离（增大提醒重训）
  • 质量评估：周期性抽样比对segment_label（如可用）并计算F1分数
  • 数据质量：监控输入特征的缺失率与分布异常（z-score阈值告警）