决策树建模助手

1. 简介：决策树在预测建模中的价值

   • 直观可解释：以“如果-那么”的路径给出审核决策，便于合规审计与风险沟通。
   • 适配混合特征：数值、类别、序数、布尔均可直接处理，减少复杂预处理。
   • 非线性与交互：自动学习特征间的分段与交互（如渠道×地区的差异风险）。
   • 局限与对策：单棵树易过拟合和不稳定；通过剪枝与集成（如随机森林）提升稳健性。

2. 项目目标与数据边界设定

   • 目标与指标：二分类预测“核批后90天是否逾期>30天”；评估用AUC、KS、PR（精确率-召回）。
   • 合规与解释：
     • 输出每次预测的路径规则、关键特征贡献与重要性，满足审计。
     • 明确不使用任何核批后产生的信息（防信息泄露）。
   • 分层与策略：基于风险阈值分层，用于差异化定价与拒绝策略；按产品与期限分组建模。
   • 监控要求：部署前后做时间漂移监控（样本/特征分布、模型分数稳定性）。

3. 数据准备（Data Prep）

   • 数据范围与切分：
     • 以申请时间戳做时间序列切分：训练（较早窗口）、验证（中间窗口）、OOT测试（最新窗口）。
     • 每行对应一次申请；application_id、user_id只用于连通性与去重，不参与建模。
   • 泄露防控：
     • 仅保留申请时可得特征；剔除核批后、还款后、贷后产生的字段或衍生。
     • 时间对齐：所有历史统计（如past_dpd_max、credit_history_len）以申请日前一刻为截止。
   • 清洗与缺失：
     • 缺失值统一编码（树可直接处理），但建议区分“真空缺”与“未知”（独立类别/哑值）。
     • 异常值与极端值：对income_monthly、debt_ratio、loan_amount做分位数截断或分箱。
   • 特征工程与选择：
     • 类别处理：channel、province、employment_type保留高频Top-K，其余合并为“Other”；避免高基数过拟合。
     • 序数与数值：保留原序关系（如installment_term），数值采用分位数预分箱以提升稳定与效率。
     • 过滤冗余：删除强共线或重复信息特征；优先保留业务上有明确单调关系者（如debt_ratio、credit_history_len）。
     • 不平衡处理：倾向使用类别权重而非过采样，以保留真实分布。
   • 大规模效率：
     • 预分箱（如每个数值特征100-256等距/分位箱）以加速候选分裂计算。
     • 分布式计算框架（Spark/Hive）做特征统计、分箱与样本切分。

4. 算法选择与配置（Decision Tree）

   • 分裂标准：优先信息增益率（Gain Ratio，C4.5风格）以惩罚高基数类别的偏好。
     • 若工具不直接支持增益率，可用熵（Information Gain）近似，并限制每次分裂的类别数/最小样本叶子以抑制偏差。
   • 剪枝策略：最小化成本复杂度（Cost-Complexity Pruning）
     • 通过调节α移除贡献小的子树，降低过拟合，提升泛化与稳定。
   • 关键超参数（建议初值与调参范围）：
     • max_depth：6-10（兼顾解释性与性能）
     • min_samples_leaf：每叶至少500-2000样本（视3百万样本规模）
     • min_samples_split：叶子样本的2-5倍
     • min_impurity_decrease：>1e-5（防止微小提升的过度分裂）
     • class_weight：调整为“balanced”或按违约比例
     • max_bins/预分箱数：100-256
     • 类别上限：每次分裂最多分裂Top-K类别，其他聚合
   • 分组建模：
     • 按产品类型×期限分组分别训练树（如短期≤6期与中长期>6期），降低异质性。

5. 模型训练步骤

   • 训练流程：
     • 先在训练集拟合树（增益率或熵），记录每次分裂的候选与选择过程。
     • 在验证集上做α路径（成本复杂度剪枝路径）选择最优α，得到“简化树”。
   • 类别不平衡与阈值：
     • 使用类别权重训练；输出概率后在验证集上按业务约束（目标拒绝率、利润曲线）选择分层阈值。
   • 交叉与稳健性：
     • 时间分块交叉验证（滚动窗口），检查AUC/KS/PR在各窗口的稳定性。
     • 对“渠道/地区”做子样本评估，验证是否存在单点过度依赖。

6. 模型评估与解释

   • 指标：
     • AUC：整体区分度；KS：评分分离度（建议在验证与OOT均报告曲线与峰值）；PR：适合不平衡数据的精确-召回权衡。
     • 校准：根据验证集做概率校准（等距分箱或等频分箱+Isotonic），保障分层定价的风险一致性。
   • 解释输出：
     • 路径规则：为每个申请输出命中的分裂链（如 debt_ratio>0.6 → device_risk_score>70 → 高风险）。
     • 特征重要性：基于信息增益（或增益率）累计贡献，辅以验证集上的置换重要性做稳健校验。
     • 局部原因码：最后一次决定性分裂的特征与阈值作为“Top reason”，再附次要分裂。

7. 关键注意事项（按阶段）

   • 数据阶段：
     • 严防时间泄露；所有衍生在申请时点闭合。
     • 类别稀疏防过拟合；低频类别统一“Other”或区域聚合（如省份→大区）。
   • 分裂标准：
     • 信息增益率优先用于多类别特征（channel、province）；数值特征用熵+分箱，防止噪音驱动分裂。
   • 模型复杂度：
     • 深度与叶子样本数是首要防过拟合的旋钮；宁可浅树配合剪枝，也不要深树追求局部拟合。
   • 剪枝：
     • 通过α选择抵消训练集过度优化；优先选择在验证和OOT均稳健的α。
   • 评估：
     • 用时间滚动验证而非随机分层；KS峰值位置应稳定。
     • PR曲线用于选择不同分层阈值（拒绝、提价、正常定价）。

8. 提升准确性与效率的最佳实践

   • 业务先验融入：
     • 对明确单调关系的特征（debt_ratio、credit_history_len）采用单调分箱，减少“违背直觉”的分裂。
     • 分产品/期限建模降低异质性，提升树的可解释性。
   • 正则化与约束：
     • 提升min_samples_leaf与min_impurity_decrease，限制max_depth，优先获得规则稳定性。
   • 特征筛选：
     • 先用互信息/单变量KS筛掉弱特征，保留50-120个高价值特征，降低搜索空间。
   • 集成增强（作为挑战者模型）：
     • 随机森林/梯度提升在AUC/KS上通常优于单树；用TreeSHAP与规则提炼（surrogate小树）满足解释。
     • 部署时可同时上线“可解释冠军树”和“性能挑战者森林”，用一致性与收益做AB评估。
   • 大数据工程：
     • 预分箱+分布式计算，缓存特征统计；按批次训练与剪枝，缩短训练时间。

9. 常见问题与解决方法

   • 信息泄露：
     • 问题：使用贷后或核批后信息导致指标虚高。
     • 解决：特征字典标注数据生效时点；自动检测“过拟合分裂”（训练增益高、验证增益低）。
   • 高基数类别：
     • 问题：channel/province等过拟合到单一值。
     • 解决：增益率优先；限制类别分裂数；合并稀疏类别。
   • 类别不平衡：
     • 问题：少数类（违约）识别困难。
     • 解决：class_weight、阈值分层、PR优化；避免随意过采样导致漂移。
   • 时间/样本漂移：
     • 问题：新渠道或地区上线导致分布变化。
     • 解决：部署监控PSI、分数KS、命中规则占比；触发再训练或阈值重定。
   • 过拟合与不稳定：
     • 问题：深树在OOT崩溃。
     • 解决：成本复杂度剪枝、降低深度、增大叶子样本；用随机森林做稳健备份。

10. 分裂标准的选择与适用场景

    • 信息增益率：多类别特征、类别分布不均衡场景更稳健（如channel、province）。
    • 熵（信息增益）：数值特征分箱后效果好，计算高效，工具通用。
    • Gini：与熵接近，若工具限制可用作备选；在大数据场景下计算更快。
    • 建议：类别特征用增益率，数值特征用熵或增益率均可；若工具只支持熵/基尼，配合类别合并和剪枝。

11. 剪枝技术与优势

    • 成本复杂度剪枝：
      • 优势：以统一的复杂度惩罚移除弱子树，显著降低过拟合，提高OOT稳定。
      • 实践：沿剪枝路径选择在验证集指标（AUC/KS/PR）最优且复杂度最低的α。
    • 误差驱动剪枝（备选）：当成本复杂度不可用时，可用验证误差阈值（最小增益）截断。

12. 集成方法的优势（随机森林等）

    • 优势：显著提升区分度与稳健性，降低单树的方差。
    • 解释对策：用SHAP解释总体特征贡献；提炼“代理小树”给出路径级规则；输出一致性的原因码。
    • 应用策略：上线单树为合规主模型，森林为性能挑战者；监控收益与稳定后再做主模型替换。

13. 阈值分层与策略落地

    • 阈值选择：
      • 在验证集上同时查看KS峰值、PR曲线、业务目标（通过率、利润/坏账约束）选择多档阈值。
      • 例如：拒绝档（P(default)≥T1）、加价档（T2≤P<T1）、常规通过（P<T2）；各产品/期限单独设定T1/T2。
    • 概率校准：
      • 使用等频分箱+Isotonic校准，保证不同批次的风险概率可比，支持差异化定价。
    • 原因码映射：
      • 将每条路径的关键分裂特征与阈值映射为原因码，确保客户沟通与审计一致。

14. 部署与监控

    • 部署形式：
      • 将树结构导出为JSON/PMML，在线推断仅依赖申请时点数据；记录版本与规则ID。
    • 在线监控：
      • 数据质量：缺失率、取值范围、类别分布与训练期对比（PSI）。
      • 模型表现：AUC、KS、PR按周/月监控；分层通过率与坏账率。
      • 规则稳定：Top规则命中率变化、特征重要性漂移；触发再训练与阈值更新。
    • 再训练周期：
      • 根据漂移与业务周期，建议季度滚动更新；重大渠道/地区变化时提前触发。

15. 使用与解读小贴士

    • 关注关键特征：
      • 负债收入比、贷款金额、近12月逾期次数/最大DPD、职业稳定性、居住时长、设备风险、渠道与地区。
    • 解读路径：
      • 先读数值阈值（是否超过风险临界），再看类别分裂（渠道/地区是否加风险），结合最后叶子概率。
    • 稳健决策：
      • 优先依据校准后概率与分层阈值做决策；对临界样本，叠加外部核验或人工复核。
    • 审计准备：
      • 每次预测保存：特征快照、路径规则、叶子概率、原因码、模型版本与阈值版本。
    • 持续改进：
      • 监控规则的业务合理性（单调性与一致性）；对“反直觉”分裂做专项分析与特征修正。

以上流程可在大规模（约300万样本、50-200特征）场景下兼顾准确性、效率与合规解释；优先使用信息增益率分裂、成本复杂度剪枝的单树作为“可解释冠军”，并以随机森林为“性能挑战者”，在稳健性和收益提升后再考虑替换。

1. 决策树是什么、为什么适用于本任务

• 决策树通过一连串“如果-那么”的阈值分裂来预测结果，能天然捕捉非线性与阈值效应（如设备启停、设定点变化）。
• 对建筑负荷预测的价值：
  • 可解释：清楚展示哪些因素（温度、辐射、占用、工作日）在何种阈值下影响耗电。
  • 对混合特征友好：连续与类别变量皆可用，免标准化。
  • 易与业务结合：便于做“假设分析”（调高设定温度、错峰启动会怎样）。

2. 数据准备与质量控制（决定上限的阶段）

• 数据对齐与时间一致性
  • 统一时区与夏令时；确保各传感器与label_energy_next_hour对齐（预测t+1需使用t及之前的数据）。
  • 删除/校准时间重复、跳变和缺口；跨建筑的时间戳齐次化。
• 传感器缺失与异常
  • 缺失：用仅基于过去的滑窗统计（近1h/6h/24h中位数或指数平滑）填补；同时增加“缺失指示”特征。
  • 异常尖峰：对功耗与气象峰值做稳健处理（截尾/温莎化、基于滚动MAD的异常标记特征），避免被MSE放大。
  • 漂移：按建筑与传感器分组做漂移检测与基线校准（季节性均值对齐）。
• 数据筛选与一致性检查
  • 去除明显错误的占用/设定点/状态数据；确保holiday_flag、weekday等编码无未来信息泄漏。
  • 强调：任何滚动/滞后特征必须只用“当前与过去”窗口计算。

3. 特征工程与选择（提高信号/噪声比）

• 基础特征
  • 滞后与滚动统计：功耗、温湿度、太阳辐射、风速的1h/6h/24h均值、最大值、变化率（diff）、日内/日际差。
  • 日历与价格：小时、工作日/周末、节假日、分时电价（tariff_rate）。
  • 设备状态：chiller_status、hvac_setpoint、占用估计与其滚动统计（平均/峰值/变化）。
• 分层与交互（基于领域知识）
  • 季节分层：可加“季节”特征或按季节单独建模。
  • 建筑异质性：优先用建筑类型/用途、规模等稳定属性；避免直接使用高基数的building_id作为分裂特征（极易过拟合）。若必须利用建筑差异，采用“过去窗口内的历史均值/偏差”这类稳定统计，不直接用ID。
• 特征选择与降维（在50–200特征规模尤为重要）
  • 初筛：去除强共线与几乎常数的特征；对高度冗余的滚动窗口保留代表性窗口。
  • 重要性/稳定性：用验证集上的排列重要性或交叉验证的重要性稳定性，剔除贡献不稳定或引入噪声的特征。
  • 泄漏检查：凡是依赖未来信息或跨天居中窗口的特征一律剔除。

4. 训练/验证切分（避免时间泄漏）

• 时间切分
  • 采用滚动时间窗验证（例如：训练1-6月，验证7月；再训练1-7月，验证8月 …），评估RMSE、MAE、MAPE。
  • MAPE在负荷接近0时不稳定，建议同时看sMAPE或在MAPE计算中设置最小阈值（如>0.5 kWh再计入）。
• 分层评估
  • 按季节、工作/休息日、建筑类型分别报告指标，确保在关键场景（高温、假期、早高峰）表现可靠。

5. 算法选择与核心超参（单棵回归树为主）

• 基线模型：CART回归树（如sklearn DecisionTreeRegressor）
  • 分裂标准：首选均方误差（squared_error/friedman_mse），与您的偏好一致；若尖峰较多可试absolute_error（更稳健）或poisson（目标为正且偏态时）。
• 大数据训练要点（约500万行，50–200特征）
  • 预剪枝限制：max_depth（6–12）、min_samples_leaf（500–5000）、min_samples_split（≥2×min_samples_leaf）、max_features（0.3–0.8的比例）来降低方差并提速。
  • 资源与效率：采用float32、按列存储；先在抽样数据上粗调超参，再用全量数据精调与最终训练。
  • 类别处理：树对one-hot友好；高基数类别（如building_id）不直接用，避免产生碎片化分裂。
• 决策：若解释性优先，用单棵树；若准确率/稳健性更重要，考虑集成（见第8步）。

6. 剪枝（控制复杂度，防过拟合）

• 成本复杂度剪枝（CCP）
  • 步骤：用较宽松的预剪枝训练一棵“较大”的树；获取ccp_alpha路径；在时间滚动验证上选取最优ccp_alpha（以RMSE/MAE最小为准）；用选定的ccp_alpha在训练集重训。
  • 优势：显著减少叶节点数量，提高泛化与推理速度，同时保持关键分裂（可解释性更好）。
• 注意
  • 剪枝与预剪枝配合：先用温和的预剪枝（限制深度和叶子样本），再用交叉验证来定ccp_alpha。
  • 保持时间一致性：剪枝参数选择必须在严格的时间验证框架内完成。

7. 模型训练与调参与评估流程

• 流程
  • 基线树：设置MSE、max_depth≈8、min_samples_leaf≈1000、max_features≈0.5，训练与时间验证。
  • 交叉验证剪枝：沿ccp_alpha路径评估，选最优alpha，重训并复测。
  • 指标：主看RMSE与MAE；MAPE用于高负荷段的相对误差评估（对低负荷段进行阈值过滤或使用sMAPE）。
• 误差剖面
  • 画出误差随外温、辐射、占用、小时的分布；定位系统性偏差（如清晨负荷启动、极端高温）。

8. 提升准确性与效率的最佳实践

• 分层建模
  • 季节分层：对夏季/冬季/过渡季分别建树；或在单模型中加入“季节×天气/占用”的交互特征。
  • 建筑分层：对样本量足够的建筑按类型建子模型；数据少的建筑共享一个全局模型。
• 集成方法（在追求更高准确率时）
  • 随机森林：降低方差、对异常更稳健；适合大数据并行；解释可用“森林中最重要的分裂”与局部解释。
  • 梯度提升树（如XGBoost/LightGBM）：精度通常更高，训练高效，原生处理缺失（LightGBM）；可在保留解释工具（特征重要度、部分依赖）的同时显著降误差。
  • 策略：用单树做可解释的“规则版基线”，在生产中用随机森林/GBDT作为主力模型；或双模型提供“可解释+高精度”两份输出。
• 强化稳健性
  • 样本再平衡：按小时/季节加权，避免高频低负荷时段主导训练。
  • 异常稳健：若尖峰频繁，训练时尝试absolute_error或对目标做对数变换后建模（预测再反变换）。

9. 常见问题、症状与解决

• 数据泄漏
  • 症状：验证集表现明显好于上线；根因：滚动窗口使用了未来信息、特征用到了t+1数据。
  • 解决：严格时间切分；所有特征计算只用过去；管道化处理，按时间增量拟合与变换。
• building_id过拟合
  • 症状：训练误差极低，泛化差；树在高基数ID上做碎片分裂。
  • 解决：不用ID；改用建筑类型/规模等稳定属性或历史统计特征。
• 类别稀有值与节假日
  • 症状：节假日样本少，预测不稳。
  • 解决：合并相似假日类型；增加“邻日前后”特征；用分层/加权训练。
• 异常尖峰主导分裂（MSE敏感）
  • 症状：分裂围绕极少数尖峰，常态表现变差。
  • 解决：稳健截尾；尝试absolute_error；或在训练中降低异常样本权重。
• 时序漂移与季节变换
  • 症状：换季后误差升高。
  • 解决：分季节建模或增加季节特征；定期滚动重训（如每月/每季）。

10. 解释与使用决策树的小贴士

• 全局解释
  • 特征重要性：识别主要驱动因素（外温、辐射、占用、工作日、设定点等）。
  • 关键阈值：查看前几层分裂阈值，提炼“规则”（如外温>30°C且占用高→负荷显著上升）。
  • 部分依赖/情景分析：在常见工况下调整hvac_setpoint、启动时序、占用，观察预测变化，寻找节能空间。避免超出训练分布的极端设定。
• 局部解释
  • 路径分析：单条样本的决策路径展示“为什么此时段预测高”，利于与运维沟通。
• 业务应用
  • 调度优化：把预测接入启停策略与价格信号，做“若设定点提高1°C/提前或延后启动15分钟”的情景对比。
  • 报警与异常：若预测与实测偏差持续扩大，提示设备异常或传感器故障。

11. 推荐的落地流程（简洁可执行）

• 构建数据管道：时间对齐→缺失与异常处理→特征生成（仅用过去）→保存训练/验证分割。
• 训练基线树：MSE、适度预剪枝；时间滚动验证；记录RMSE/MAE/MAPE与误差剖面。
• 交叉验证剪枝：沿ccp_alpha路径选最优；重训并固化参数。
• 分层与集成：根据夏/冬、建筑类型训练子模型；对精度要求高的场景启用随机森林/GBDT。
• 上线与监控：部署推理与情景分析接口；监控漂移与误差阈值；月度/季度重训；定期回溯解释与节能建议更新。

12. 关键参数与实用默认值（起步参考）

• 分裂标准：squared_error（若异常多可试absolute_error）。
• max_depth：8–10；min_samples_leaf：1000–3000；min_samples_split：≥2×leaf；max_features：0.5。
• 剪枝：在ccp_alpha∈[1e-5, 1e-2]对数网格上做时间滚动验证选优。
• 特征集：保留核心天气（外温/辐射/湿度/风）、设备状态与设定点、占用、日历与电价、滞后与滚动统计；剔除高泄漏/高基数ID。

按照以上步骤，您可先得到一棵可解释的高质量基线树，明确关键影响因素与阈值；在需要更高精度时，平滑切换到随机森林或梯度提升树，并保留解释工具与情景分析能力。