数据分析与研究

研究问题（可注册为预分析计划的主问题与子问题）

• 主问题：在跨境电商环境中，基于汇率波动、库存覆盖与物流时效、节庆促销强度等驱动的价格变动，价格对转化率（CR）与毛利（GM）的因果效应是什么？其效应在不同SKU、市场、用户与时段维度上是否存在系统性异质性？
• 子问题
  1. 汇率冲击传导至前台价格的“传导率”与时间延迟如何影响CR与GM？
  2. 库存覆盖与物流时效的阈值触发型调价对CR与GM的边际效应如何？
  3. 节庆促销强度与价格的交互效应对CR与GM的因果影响与异质性如何？
  4. 在价格保护（地板/封顶）、展示排序与优惠券叠加约束下，最优价格策略的政策模拟结果如何？

数据结构与清洗（Data Cleaning）

• 粒度与主键：SKU-国家-渠道-会话(用户)-天/小时。主键建议：{sku_id, country, channel, user_id/session_id, ts}.
• 必备字段
  • 价格与货币：display_price, list_price, discount, currency, price_floor/ceiling, rounding_rule, fx_pair, fx_timestamp; 竞争对手价格（若可得）。
  • 成本与毛利：cogs(含进货、汇兑成本)、物流成本、关税、支付费率、平台抽佣；毛利GM=revenue−cost。
  • 库存与物流：inventory_on_hand, days_of_supply(DOS), predicted_shipping_days(SLA), stockout_flag。
  • 促销强度：promotion_score（曝光/券/补贴综合指数0-1）、ad_spend、券使用率与面值。
  • 用户与流量：traffic_source, device, new_vs_returning, region, bot_flag, page_rank/位次曝光。
  • 时间对齐：本地时区、节庆日历、工作日/小时、版本发布与事件标记。
• 清洗要点
  • 货币与汇率：交易时点重建FX（用撮合/结算时的时间戳一致的汇率曲线）；统一到基准币种（如USD）与本地币种两套口径。
  • 异常处理：价格/成本≤0、越界折扣、券叠加异常、批量改价bug、OOS/预售的曝光与下单分离；退货与拒收回冲。
  • 流量质量：去除机器人/内测流量；session粘性ID去重；跨时区会话切分。
  • 缺失与极值：物流时效缺失用模型插补并设缺失指示；GM重尾可winsorize(1-99%)并并行保留原值用于稳健性。

因果识别设计

1. A/B实验（价格随机化）

• 处理与单元
  • 单元：user或user×SKU（粘性分配），避免同一用户跨组引起干扰；多SKU可做组内随机化但需防止购物篮干扰，优先对展示/流量做SKU集级分层。
  • 处理：价格因子f∈{−5%,−3%,0,+3%,+5%}离散水平（或两组：对照0 vs 处理+3%）；约束地板/封顶与位次不变（或位次协变控制）。
  • 分层/协变量：国家×渠道×SKU价格带×促销强度四维分层；使用CUPED（预实验期CR/GM）降方差。
• 主要指标：CR（会话下单率）、GM/会话、订单平均毛利、退款率、用户体验（页停留/跳出）作为护栏。
• 分析模型
  • CR：logit回归或线性概率+聚类稳健SE（按user或SKU-country聚类）： Y = α + τ·Treatment + β'X + FE(SKU×国家×周, 流量来源) + ε
  • GM：两部模型（有无购买×购买后GM），或稳健回归(Huber/Quantile)处理重尾。
  • 异质性：交互项（Treatment×分层因子）与因果森林/DR-learner（XGBoost/LightGBM+正交化）。
• 干扰与合规
  • 护栏：价格变动不得改变曝光排序；若排序受价格影响，需联动排序固定或在模型中添加曝光位次FE。
  • 合规偏差：记录建议价与实际价，允许覆盖则按ITT与TOT（2SLS，首阶段用assignment预测实际价）双口径报告。
  • 干预泄漏：同站促销券保持对照/处理一致或采用“不可叠加”策略；跨渠道流量使用用户级粘性。

2. 断点回归（RDD）

• 运行变量与阈值（可多断点、可模糊）
  • 汇率冲击指数 R_fx = log(FX_t)−log(FX_{t−k}); 阈值 c_fx（如|R_fx|≥2%触发价格更新规则）。
  • 库存覆盖 DOS；阈值 c_inv（如DOS≤5天触发稀缺加价）。
  • 物流时效 SLA；阈值 c_sla（如SLA≥7天触发补贴降价）。
  • 促销强度 S_prom；阈值 c_prom（如≥0.8触发额外折扣）。
• 设计与估计
  • Sharp RD：规则严格执行；Local linear/polynomial，三角核，MSE最优带宽；稳健偏差修正置信区间。
  • Fuzzy RD：存在人为覆盖时，用Z=1{R≥c}作工具变量，两阶段局部LATE（价格变化对CR/GM的阈值边际效应）。
  • 诊断：McCrary密度检验、协变量连续性（在断点两侧t检/局部回归）、甜甜圈带宽（去除紧邻观测）、安慰剂断点与反事实窗口。
  • 多阈值/多维：多断点合并元分析或在局部窗口内加断点固定效应；避免高维多running variable，优先单变量+分层分析。
• 解释：断点附近可视为近似随机分配，得到局部平均处理效应，外推需谨慎。

混杂控制（A/B与RDD通用）

• 时间与季节：周×小时FE、节庆日历FE、版本发布事件FE。
• 曝光与排序：位次、展示次数、页面负载时长。
• 促销与广告：coupon面值与使用、ad_spend、流量来源FE。
• 供给面：库存/补货在途、SLA预测、仓-国家路径。
• 市场面：竞争对手价差指数、汇率波动、支付可用性。
• 高维控制采用双选择Lasso或岭回归，配合固定效应与聚类稳健方差。

样本量估计（示例口径，α=0.05，power=0.8）

• 转化率（两比例检验）
  • 假设基线CR p2=3.0%，期望绝对提升Δ=0.3个百分点（p1=3.3%）。
  • n_每组 ≈ [ (1.96·√(2 p̄(1−p̄)) + 0.84·√(p1(1−p1)+p2(1−p2)) ) / (p1−p2) ]^2
  • 计算：p̄=3.15%，得 n≈53,000 会话/组。若按用户聚类，设计效应Deff=1+(m−1)ρ（例：m=3会话/用户，ρ=0.02，Deff≈1.04），样本相应扩大。
• 毛利（两独立样本t检）
  • 假设GM/会话标准差σ=$5，MDE=$0.10
  • n_每组 ≈ 2·(1.96+0.84)^2·σ^2 / Δ^2 = 2·2.8^2·25/0.01 ≈ 39,200/组
• RDD样本量：取历史数据按候选阈值与带宽b估算两侧样本N(b)与噪声σ，基于局部线性回归的仿真功效计算（网格搜索b、τ），原则上需断点两侧各≥5k–20k以获得稳定CR效应；以历史分布做功效模拟优于闭式近似。

统计建模（Estimation与解释）

• 价格弹性与利润弹性
  • 利用实验引入的外生价格变动，估计 log-线性需求：log(q) = θ·log(p) + FE + 控制；θ即价格弹性（用2SLS处理合规偏差）。
  • GM最优化模拟：max_p E[GM(p)] = (p−c)·E[q(p)]−运费/税/支付费；对不同FX/库存/SLA场景做策略前沿。
• 面板与层级
  • 分层贝叶斯/GLMM：SKU×国家随机效应，借力少数样本SKU的信息共享，输出分层弹性分布。
• 因果机器学习（异质性）
  • DR-learner/XLearner/Causal Forest：T(X)的个体化效应ITE，特征含价格带、FX波动分位、DOS分位、SLA分位、促销强度、用户新旧与来源。
  • 误差控制：样本外评估（R-loss），分层FDR控制（Benjamini–Hochberg）避免过度结论。

可视化（Data Visualization）

• A/B：总体与分层效应森林图；upliſt曲线与Qini；CUPED前后方差对比。
• RDD：binned scatter+局部线性拟合，断点处置信区间；运行变量密度与协变量连续性图；甜甜圈敏感性。
• 弹性地图：SKU价格带×国家的弹性热力图；FX传导率随时间的脉冲响应图。
• 事件研究：节庆窗口前后CR/GM相对变化（含平行趋势检验）。

执行与落地步骤（端到端）

1. 数据集成与质量门：FX回放、成本口径统一、流量去噪、时间对齐、护栏校验。
2. 设定价格实验白名单：可调价SKU-国家对，约束地板/封顶与排序。
3. 计算样本量与实验时长；预注册指标、模型与停表规则（顺序检验采用α花费或组序贯）。
4. 上线A/B：粘性随机、CUPED、实时监控护栏；冻结促销券策略或同步分层。
5. 并行实施基于既有业务规则的RDD观测：明确阈值、记录合规与覆盖原因。
6. 分析：预设模型→稳健性（不同带宽/核、甜甜圈、安慰剂、合规ITT/TOT）→异质性与策略模拟。
7. 决策：输出价格策略曲线（不同FX与库存情景下的最优价区间）、优化收益与风险评估；灰度扩展与再验证。

风险与诊断

• 排序/曝光内生性：需固定或控制；否则估计混入位置效应。
• 价格跨SKU篮子效应：对同一用户的多SKU干扰，用用户层随机化或篮子级分层。
• 操作端手动改价：记录覆盖并在分析中采用fuzzy RD或TOT。
• 促销交互：券与直降同时存在时，需独立对照或明确叠加规则并建模交互。

产出物

• 因果效应估计：价格对CR与GM的ATE/ATE分层、局部RD效应。
• 弹性面板与策略前沿：按FX/库存/SLA/促销强度的最优价格建议。
• 可复现代码与仪表盘：A/B与RD诊断、效应异质性、策略模拟场景切换。

该研究问题与方案能将价格变化的内生性（汇率、库存、物流、促销）转化为可识别的外生或准外生变异，通过A/B与RDD双路径稳健识别价格对转化与毛利的因果效应，并提供可落地的策略优化依据。

研究问题 在多院区住院电子病历与行政数据中，能否在保证模型可解释性与临床实用性的前提下，通过兼顾群体公平（种族/民族、性别、年龄、支付方式、语言、区域贫困等）的风险建模与监控，构建对30天非计划性再入院的稳健预测？具体地：在不牺牲临床校准和决策净收益的情况下，本文能否在一条受控的、可复现实验管线上，系统评估与缓解数据与标签层面的偏差，建立多目标最优化（性能-可解释性-公平性）的风险评分，并在部署中实现持续的性能与公平监控？

一、背景与挑战

• 再入院风险受疾病负担、治疗路径、出院后照护与社会经济地位多因素影响；标签可能受医疗可及性影响而存在结构性偏差（如跨院再入院未捕获）。
• 用药与诊断编码高维、稀疏且层级化；需要在可解释性（临床落地）和非线性拟合能力（性能）之间平衡。
• 公平性约束与校准/净收益存在权衡；阈值或再校准策略可能需分群实施并接受伦理与合规审查。

二、数据与队列定义

• 数据源：住院病案首页与逐日EMR（诊断/手术ICD-10/ICD-9-CM，实验室、生命体征、影像关键结论）、用药（RxNorm/ATC/院内码）、既往就诊史、出院处方与去向、医保/支付方式；地理社会经济指标（如县/街道层面的贫困率、教育水平、Area Deprivation Index或类似指标）、语言与翻译需求。
• 研究对象：≥18岁住院患者的“索引住院”；排除住院中死亡与出院转长护机构后计划性再入院。
• 结局：出院后30天内非计划性再入院（二分类）。参照行业通行做法剔除计划性再入院（按手术/肿瘤治疗等计划性清单与诊断-手术组合规则）。
• 时间切分与外部验证：
  • 训练/验证/测试按时间分层（如年为单位）以避免信息泄漏。
  • 跨院区或跨年份外部验证；如可用，进行异地域外部验证。
• 竞争风险敏感性分析：将30天死亡视为竞争风险，采用Fine–Gray模型进行附加分析，以评估标签竞争风险对结论稳健性。

三、变量工程与特征筛选方案

• 原始到层级聚合：
  • 诊断/手术：映射至临床分类软件（CCS）层级与Charlson/Elixhauser合并症指数；保留既往一年内诊断负担与本次入院主/并发诊断分层。
  • 用药：映射至ATC第3-5级并计算多重用药（polypharmacy）、高风险药物类（如抗凝、胰岛素、阿片类等）与出院带药变更指数。
  • 资源利用：既往12个月住院/急诊次数、上次出院至本次入院间隔、住院日、ICU入住、出院去向。
  • 实验室/生命体征：入院24-48小时与出院前24小时的汇总统计（均值、极值、变异度、异常指示），并构造生理风险分数（如简化版早期预警分数）。
  • 社会经济与可及性：ADI/贫困率、城乡属性、到院距离与交通时间、主要语言与翻译需求、支付方式。
• 特征预筛选与稳健选择：
  • 稀疏性与低频裁剪：对ICD/ATC低频码合并到父级或“其他”。
  • 漏斗化与层级正则：在正则化模型中采用Group Lasso/层级惩罚，保留临床大类，抑制噪声子类。
  • 稳定性选择：在嵌套交叉验证内进行稳定性选择（bootstrap + L1或组Lasso），记录选择频率；仅在训练折内执行，避免信息泄漏。
  • 非线性候选与可解释性：优先保留单调关系明确的变量；非线性通过GAM或梯度提升中基函数/树实现，减少高维交互的黑箱性。

四、数据清洗与缺失处理

• 质量控制：
  • 时间戳校验与顺序约束（仅使用出院前可用信息）；剔除明显的单元错误与异常值（生理指标参考阈）。
  • 结构化编码一致性与映射错误日志。
• 缺失机制与处理：
  • 缺失模式分析与可视化；检验是否存在按科室/人群系统性缺失。
  • 多重插补（MICE，连续变量采用贝叶斯岭或GBM，分类变量采用多项逻辑回归）；生成m=5–10个插补数据集，模型参数以Rubin规则合并。
  • 缺失指示器：对可能“信息性缺失”的变量（如某些实验室未开具）加入缺失标记。
  • 时间窗内汇总插补：同一次住院内允许前向填充，但不跨住院。
  • 敏感性分析：与简单策略（中位数/众数、KNN插补）比较对性能与校准的影响。

五、建模策略（性能-可解释性-公平三目标）

• 基线可解释模型：带弹性网正则的逻辑回归（含分段样条），输出全局系数与OR，便于临床解读与再实现。
• 主模型（首选）：广义可加模型（EBM/GA2M，具备单调约束），在保证可解释的单变量与二阶少量交互的同时捕获非线性。
• 强基线提升模型：LightGBM/XGBoost（受限树深度与交互数），用于性能上界与稳定性对照；配合基于树的单调约束与SHAP/ALE解释。
• 竞争风险补充：Fine–Gray用于说明竞争风险影响，不作为主部署模型。
• 类别不平衡处理：类别权重/加权损失，避免过采样带来的校准偏移；以概率输出为主，阈值基于净收益优化。
• 概率校准：在验证集内使用温度缩放或保序回归；并进行分群校准评估与必要的群体再校准。

六、评估指标与统计分析

• 预测判别：AUROC、AUPRC（主报告AUPRC），与95%引导法置信区间；Delong检验比较模型。
• 校准：Brier分数、校准斜率/截距、可靠性曲线与ECE；分群校准（Calibration within groups）。
• 临床效用：决策曲线分析（净收益）与成本敏感分析（干预成本/再入院成本比）。
• 统计比较：对阈上决策用McNemar检验；多组比较控制FDR；分医院/分科室随机效应的层级模型，量化跨站点差异。
• 稳健性：时序外推、跨院外部验证、插补策略敏感性、标签定义敏感性（含竞争风险）。

七、公平性定义与偏差检测

• 受保护属性与分层：种族/民族、性别、年龄组、主要语言、支付方式（医保/自费等）、地理贫困分位（ADI/贫困率）、残障指示；考虑交叉分层（如性别×种族）。
• 审计指标（面向风险分数与阈上决策的双层审计）：
  • 评分层：分群AUC/AUPRC与分群校准；平均绝对校准误差差异；预测分布漂移。
  • 决策层：机会均等（TPR parity）、误报率差异（FPR parity）、等化机会（Equalized Odds）差距；阈上阳性率差（谨慎解读）；预测阳性中的再入院率差（PPV parity）。
  • 置信区间通过分层bootstrap；报告公平-效益帕累托前沿。
• 偏差来源诊断：
  • 表征偏差：受保护群体样本量偏小、特征缺失更严重。
  • 测量偏差：编码强度/就医路径差异导致的记录不均（如药物记录在不同科室的系统性缺失）。
  • 标签偏差：跨院再入院未捕获、可及性差导致“真阳性”被低估；通过外部HIE链接或用“是否在网络内就诊”的观测概率进行加权/IPW敏感性分析。
  • 模型归因偏差：按群体比较SHAP/ALE，识别“代理变量”对受保护属性的路径性贡献。

八、公平性缓解策略

• 训练前（数据层）：
  • 重加权/重采样（如Kamiran–Calders reweighing）以平衡受保护群体的经验风险；对已识别的观测标签选择性缺失采用IPW敏感性分析。
  • 层级正则避免过度拟合于少数群体稀疏编码。
• 训练中（约束层）：
  • 使用公平性约束的归约方法（如Agarwal型减少法/Fairlearn）在相似AUC损失下优化TPR/FPR差距；主张以等化机会为首要约束，并二级关注分群校准。
  • 对提升模型采用对抗式去偏（adversarial debiasing）作为对照实验，评估可解释性影响。
• 训练后（后处理）：
  • 分群阈值优化以满足等化机会或误差平衡；需伦理与法律评估并备案。
  • 分群校准（groupwise isotonic）；确保部署版本在群体间校准一致性优先。
• 选择策略原则：优先不使用受保护属性参与个体预测；允许使用以审计和后处理为目的的群体信息，若上线需伦理批准与合规评审。

九、实验设计与可复现性

• 切分与验证：
  • 嵌套交叉验证（内层调参、外层估计泛化）；最终在时间外测试集与外部院区测试。
  • 全流程封装：特征生成、缺失插补、选择、训练、调参与评估均在交叉验证折内执行，避免数据泄漏。
• 可复现与版本控制：
  • 代码与配置：容器化（Docker）+ Conda 环境锁定；DVC或MLflow追踪数据与模型工件；固定随机种子与列顺序。
  • 数据脱敏与映射表加密存储；所有实验以不可逆哈希记录。
  • 预注册分析计划与偏差缓解策略，防止事后选择。
• 统计功效：基于预期再入院率与目标AUPRC提升，进行样本量/事件数功效分析；事件数≥100×特征维度的原则指导特征压缩。

十、部署与持续监控

• 在线/准实时推断：仅使用出院时可用变量；输出校准后的风险分数与解释摘要（Top-5特征贡献，基于EBM项或树SHAP）。
• 漂移与质量监控：
  • 数据漂移：PSI、KL散度，分群分布监控；特征缺失率与取值异常率告警。
  • 预测漂移与校准漂移：滚动窗口Brier/ECE、校准斜率；必要时再校准。
  • 公平监控：月度分群TPR/FPR/PPV、分群净收益；CUSUM/Shewhart控制图；显著劣化触发回滚到上一个稳定版本。
  • 采纳与干预回路：追踪临床使用率、干预触发率、床旁资源占用；避免警报疲劳。
• 反馈与再训练：设定再训练触发条件（漂移阈值、病种/流程变化），采用暖启动并保留对照窗口评估稳定性。

十一、伦理与合规检查点

• 法规与伦理：
  • IRB/伦理审批与数据使用协议；二次利用范围、最小必要原则、数据去标识化。
  • 模型卡与数据说明书：用途、适用人群、已知限制、公平性指标与缓解举措；部署与再训练策略公开。
  • 对受保护属性的使用边界：仅用于审计/后处理需经审批与利益相关方同意；记录决策影响与替代方案评估。
• 风险评估与人因：
  • 自动化偏见与过度依赖风险提示；在界面中呈现不确定性与解释，并提供“临床覆盖范围外”标识。
  • 干预资源公平分配评估，避免将资源从弱势群体转移。
• 安全与隐私：
  • 访问控制与审计日志；模型与数据加密存储；必要时评估差分隐私对性能与公平的影响（作为附加实验）。

十二、里程碑与交付

• M1 数据清单与数据质量报告；再入院标签与计划性规则实现验证。
• M2 特征工程蓝图、缺失机制分析与插补方案备案；偏差来源初步审计。
• M3 基线与主模型训练报告（含性能、校准、净收益）；稳健性与外部验证。
• M4 公平性评估与缓解实验（前/中/后处理）及帕累托前沿；选择部署策略。
• M5 模型卡、可复现包、监控仪表板与预警规则；伦理与合规审查通过。
• M6 试运行与影子评估；上线与持续监控报告。

预期贡献

• 在严格的时间切分与外部验证设置下，给出兼顾性能（AUPRC/AUROC）、校准、临床净收益与群体公平的再入院预测基线。
• 通过可解释主模型（EBM/GAM）与公平性约束，提供透明、可审计、可监控的风险评分系统。
• 将偏差检测、敏感性分析与部署监控整合为端到端的可复现管线，为医院级再入院管理与资源分配提供可信工具。