异常值检测报告
-
数据集概述
- 时间范围：2024-07 ~ 2025-06，按月记录；Pro 套餐单一口径
- 维度与指标：active_customers、new_orders、churn_customers、mrr、arpu、gross_margin_rate、repurchase_rate（复购率）
- 规模：12 行（小样本时序）
- 使用目的：识别异常流失与复购率断崖，拆解 ARPU 波动对 MRR 与毛利率的影响，指导续费季策略
-
检测方法与原理
- 统计稳健方法
- IQR（四分位距，1.5×IQR 规则）适用于计数/连续型指标的高低异常
- MAD 修正 Z 分数（median absolute deviation，阈值 |Z|>3.5）适用于小样本稳健离群识别
- 3σ 控制界限（仅作为参考校验，与 MAD/IQR 交叉验证）
- 业务一致性校验
- 活跃客户滚动平衡：active_t ≈ active_{t-1} + new_orders_t − churn_customers_t。偏差视为“未归类流转”（如跨套餐迁移、冻结/恢复、口径差异）
- MRR 一致性：mrr_t ≈ active_t × arpu_t（考虑 arpu 四舍五入）
- 结构性变点识别
- 对 arpu、复购率、毛利率等进行“水平位移”识别（相对中位水平的大幅单月偏移）
-
异常值统计（按指标）
- churn_customers（流失数，MAD 与 IQR 一致）
- 2024-12: 70（高值异常，IQR 上界=65；MAD Z=5.11）
- 2025-02: 120（极端高值异常，MAD Z=14.75）
- new_orders（新增数，MAD）
- 2025-02: 40（低值异常，MAD Z=-2.79；IQR 下界=40，临界/接近低异常）
- repurchase_rate（复购率，MAD）
- 2025-02: 0.78（低值异常，MAD Z=-7.09）
- 2024-12: 0.85（低值边界，MAD Z≈-2.36）
- gross_margin_rate（毛利率，IQR 与 MAD 一致）
- 2025-02: 0.75（低值异常，IQR 下界≈0.7575，MAD Z=-2.70）
- 2024-12: 0.76（低值边界，接近异常，MAD Z≈-2.02）
- arpu（单客收入）
- 2024-12: 750（显著下调，水平位移异常）
- 2024-09: arpu=801 与 mrr/active=800.93 存在四舍五入差异（属一致性提醒，非业务异常）
- 活跃客户滚动平衡偏差 residual_t = active_t − [active_{t-1}+new_t−churn_t]
- 全期偏负，median=-12；Binomial 单侧检验（负偏≥9/11 次）p≈0.033，存在系统性未归类流转
- 较大负偏：2024-11(-30)、2025-06(-25)、2025-01(-20)；正偏：2025-02(+10)
聚集性：异常高度集中在 2024-12 与 2025-02 两个月（ARPU 大幅下调 + 流失与复购断崖 + 毛利率下探）。
异常值分析
异常特征分析
- 分布特征
- 流失与复购率、毛利率在 2025-02 同步恶化，且新增同步下滑（40）
- 2024-12 出现 ARPU 下调至 750，伴随毛利率下探与复购率走弱（0.85）
- 偏离程度评估（相对中位数/稳健尺度）
- churn_customers：2025-02 Z≈+14.75（极端），2024-12 Z≈+5.11（显著）
- repurchase_rate：2025-02 Z≈-7.09（极端），2024-12 Z≈-2.36（边界）
- gross_margin_rate：2025-02 Z≈-2.70（显著），2024-12 Z≈-2.02（边界）
- new_orders：2025-02 Z≈-2.79（显著低）
- arpu：2024-12 -6.25% 相对常态（800），构成“水平位移”
- 聚集性分析
- 2024-12 ~ 2025-02 三个月形成一个不利“异常窗口”：先是 ARPU 下调（价格/折扣/计费口径变更）→ 次月流失高企、复购断崖与毛利率恶化，呈现连锁反应
- 活跃客户滚动平衡的偏负残差在多数月份存在，提示持续性的“未归类迁移/口径差异”（而非偶发）
业务影响评估
- 对关键指标的影响
- 客户数量：2025-02 净减少约 70（900→830），流失占比 120/900≈13.3%（显著高于常态 4~6%）
- 销售额（MRR）
- 2024-11→12：724,000 → 667,500，-56,500（-7.8%）
- 分解：活跃 -15 按 800 元/户贡献约 -12,000；ARPU 下调 50 元 × 905 户 ≈ -45,250；两者合计与实际相符（ARPU 占比约 79%）
- 2025-01→02：720,000 → 664,000，-56,000（-7.8%），主要由活跃减少（-70 × 800）
- 毛利率与毛利额
- 2024-11 毛利额≈579.2k → 2024-12≈507.3k（-71.9k，-12.4%）
- 2025-01≈568.8k → 2025-02≈498.0k（-70.8k，-12.5%）
- 复购率：2025-02 从中位 0.885 跌至 0.78（-0.105，约 -11.9% 相对变化）
- 异常可能的业务原因（需结合运营日志验证）
- 2024-12 ARPU 下调：价格折扣/促销、计费口径调整（如免费增值、年付改月付、临时减免）
- 2025-02 集中流失与复购断崖：续费季前预算冻结/春节季节性、服务中断/重大版本变更、价格调整后价值感知下降；同时毛利率低说明成本/补贴增加或收入减少同步发生
- 活跃平衡残差偏负：规模性跨套餐迁移（Pro→更低配）、冻结/试用到期未记为 churn、口径差异（如合并/拆分客户）
- 数据完整性影响
- 活跃滚动不闭合影响留存/增长归因（新增与流失贡献被系统性低估/高估）
- 2024-09 ARPU 四舍五入与 MRR 不一致（仅显示精度问题），不影响业务判断，但会影响自动化校验
处理方案建议
处理方法推荐
- 保留处理（首选，针对业务真实异常）
- 保留 2024-12 ARPU 下调、2024-12/2025-02 高流失、2025-02 低复购与低毛利作为“业务异常事件”标签（不可删除）
- 在后续建模中作为事件特征（event flags），用于 A/B、回访与策略评估
- 修正处理（数据质量修复）
- 一致性修正：新增字段 arpu_calc = mrr/active_customers，保留两位小数用于校验展示；2024-09 记录 800.93（保留原值，不覆盖，只作为校验与分析使用）
- 活跃滚动平衡：新增字段 other_movements_t = active_t − (active_{t-1}+new_t−churn_t)，作为“未归类流转”显式列出；后续通过明细补记为 plan_migration/downgrade/reactivation
- 删除处理（不建议）
- 不删除任何异常点（均具业务意义或可解释的显示精度差异）
- 转换处理（用于建模健壮性，保留原始值）
- 对极端值建模可采用 Winsorize（如 1%/99%）或稳健损失（Huber）；报告/监控仍使用原值
- 对比率类（复购率/毛利率）可采用 Beta-先验平滑用于小样本月度波动分析（不改动原始报表）
实施步骤（含参数）
- 异常检测与标注
- IQR：k=1.5；MAD 修正 Z：阈值 |Z|>3.5；控制界限：3σ 仅做辅助
- 结构性变点（ARPU）：单月相对 rolling median 偏离>5% 标注 level shift
- 一致性校验：|mrr − active×arpu|/mrr ≤ 0.1% 通过；否则以 arpu_calc 作为参考修正字段
- 活跃滚动平衡：计算 other_movements；对 p<0.05 的单侧符号检验（偏负）标记“系统性口径差异”
- 业务回溯与修复动作（建议模板）
- 2024-12（ARPU 下调、毛利率边界低、复购边界低）
- 回溯定价/促销审批记录、折扣策略、计费系统变更；确认是否临时折扣到期策略
- 制定价格回调/锁价续费策略，识别受影响高 ARR 账户清单
- 2025-02（流失/复购/毛利率异常）
- 事故/变更复盘：是否有 SLA 违约、重要功能变更、客服工单激增
- Win-back：对 2025-02 流失客户发起针对性优惠+专属支持；对在保客户加速 QBR 与健康度评分干预
- 销售/客服产能/节假日排班核查，形成“假期前后保障计划”
- 活跃滚动偏差（长期）
- 明确口径：将跨套餐迁移、冻结/恢复、合并/拆分客户独立计量；补记近 12 个月明细
- 报表层面展示：active roll-forward 明细与 other_movements 并行呈现
- 验证机制
- 数据侧：修正后 mrr 一致性通过率≥99%；active 滚动闭合后 |other_movements| 中位数≈0，符号检验不显著（p>0.1）
- 业务侧：针对 2025-02 的 win-back 阶段性评估
- 指标：次月复购率提升≥+3pp、当月净新增回到中位数±IQR/2 区间、毛利率回升≥+1pp
- 设计：对重点行业/客群分层 A/B（干预 vs 控制）并用双重差分评估净效应
质量保证
- 处理后数据质量指标对比
- 一致性校验通过率（MRR=Active×ARPU）由 91.7% → 100%（引入 arpu_calc 校验）
- 活跃滚动闭合度：显式呈现 other_movements，后续通过补记类型使残差分布收敛到 0
- 异常标注完备性：为 2024-12、2025-02 建立“事件标签”，用于监控与复盘
- 后续监控建议
- 月度控制图（3σ）监控 churn_rate=churn/active_{t-1}、repurchase_rate、gross_margin_rate、arpu_calc
- 变点告警：任一关键指标单月偏离 rolling median > 5% 发预警
- 活跃滚动平衡看板：other_movements 的绝对值和方向（连续两月同向且|值|>10 触发核查）
- 异常预防措施
- 定价与计费变更需试点与灰度，设定“价格变更→复购率/毛利率”前置预估与止损阈值
- 大促/假期前资源保障与客户沟通计划；关键客户健康度（NPS/工单）纳入早预警
Python 示例（可直接运行，自动化检测与修复建议）
import io
import pandas as pd
import numpy as np
from datetime import datetime
csv = """month,plan,active_customers,new_orders,churn_customers,mrr,arpu,gross_margin_rate,repurchase_rate
2024-07,Pro,820,60,40,656000,800,0.78,0.87
2024-08,Pro,840,70,45,672000,800,0.78,0.88
2024-09,Pro,860,72,42,688800,801,0.79,0.89
2024-10,Pro,880,75,50,704000,800,0.79,0.88
2024-11,Pro,905,95,40,724000,800,0.80,0.90
2024-12,Pro,890,55,70,667500,750,0.76,0.85
2025-01,Pro,900,80,50,720000,800,0.79,0.88
2025-02,Pro,830,40,120,664000,800,0.75,0.78
2025-03,Pro,845,65,35,676000,800,0.78,0.89
2025-04,Pro,860,70,40,688000,800,0.79,0.90
2025-05,Pro,875,72,45,700000,800,0.80,0.89
2025-06,Pro,890,80,40,712000,800,0.81,0.90
"""
df = pd.read_csv(io.StringIO(csv), parse_dates=['month'])
df = df.sort_values('month').reset_index(drop=True)
# 1) 计算衍生与一致性校验字段
df['arpu_calc'] = df['mrr'] / df['active_customers']
df['mrr_consistency_err'] = (df['mrr'] - df['active_customers'] * df['arpu']).abs() / df['mrr']
# 活跃滚动平衡残差（从第二行开始）
residual = [np.nan]
for i in range(1, len(df)):
exp = df.loc[i-1, 'active_customers'] + df.loc[i, 'new_orders'] - df.loc[i, 'churn_customers']
residual.append(df.loc[i, 'active_customers'] - exp)
df['active_residual'] = residual
# 2) 稳健异常检测工具函数
def mad_z(x):
med = np.nanmedian(x)
mad = np.nanmedian(np.abs(x - med))
if mad == 0:
return pd.Series([0]*len(x), index=x.index), med, mad
z = 0.6745 * (x - med) / mad
return z, med, mad
def iqr_flag(x):
q1, q3 = np.nanpercentile(x, [25, 75])
iqr = q3 - q1
lb, ub = q1 - 1.5*iqr, q3 + 1.5*iqr
return lb, ub
anomalies = []
# churn_customers: MAD + IQR
z_churn, med_churn, mad_churn = mad_z(df['churn_customers'])
lb_c, ub_c = iqr_flag(df['churn_customers'])
for i, v in enumerate(df['churn_customers']):
methods = []
if abs(z_churn.iloc[i]) > 3.5: methods.append(f"MAD|Z|={z_churn.iloc[i]:.2f}")
if (v < lb_c) or (v > ub_c): methods.append(f"IQR[{lb_c:.1f},{ub_c:.1f}]")
if methods:
anomalies.append(dict(month=df['month'][i], metric='churn_customers', value=v, method=' & '.join(methods)))
# new_orders: MAD
z_new, med_new, mad_new = mad_z(df['new_orders'])
for i, v in enumerate(df['new_orders']):
if abs(z_new.iloc[i]) > 3.5:
anomalies.append(dict(month=df['month'][i], metric='new_orders', value=v, method=f"MAD|Z|={z_new.iloc[i]:.2f}"))
# 标注显著低（参考阈值 |Z|>2.5）
for i, v in enumerate(df['new_orders']):
if abs(z_new.iloc[i]) > 2.5 and abs(z_new.iloc[i]) <= 3.5:
anomalies.append(dict(month=df['month'][i], metric='new_orders_low', value=v, method=f"MAD|Z|={z_new.iloc[i]:.2f} (borderline)"))
# repurchase_rate: MAD
z_rep, med_rep, mad_rep = mad_z(df['repurchase_rate'])
for i, v in enumerate(df['repurchase_rate']):
if abs(z_rep.iloc[i]) > 3.5:
anomalies.append(dict(month=df['month'][i], metric='repurchase_rate', value=v, method=f"MAD|Z|={z_rep.iloc[i]:.2f}"))
# gross_margin_rate: MAD + IQR
z_gm, med_gm, mad_gm = mad_z(df['gross_margin_rate'])
lb_gm, ub_gm = iqr_flag(df['gross_margin_rate'])
for i, v in enumerate(df['gross_margin_rate']):
methods = []
if abs(z_gm.iloc[i]) > 3.5: methods.append(f"MAD|Z|={z_gm.iloc[i]:.2f}")
if (v < lb_gm) or (v > ub_gm): methods.append(f"IQR[{lb_gm:.3f},{ub_gm:.3f}]")
if methods:
anomalies.append(dict(month=df['month'][i], metric='gross_margin_rate', value=v, method=' & '.join(methods)))
# 边界低（Z<-2.0）
for i, v in enumerate(df['gross_margin_rate']):
if z_gm.iloc[i] <= -2.0 and abs(z_gm.iloc[i]) <= 3.5:
anomalies.append(dict(month=df['month'][i], metric='gross_margin_rate_low', value=v, method=f"MAD Z={z_gm.iloc[i]:.2f} (borderline)"))
# ARPU 结构性偏移：相对 rolling median 偏离>5%
roll_med_arpu = df['arpu'].rolling(5, center=True, min_periods=3).median()
rel_dev = (df['arpu'] - roll_med_arpu).abs() / roll_med_arpu
for i, v in enumerate(df['arpu']):
if pd.notna(rel_dev.iloc[i]) and rel_dev.iloc[i] > 0.05:
anomalies.append(dict(month=df['month'][i], metric='arpu', value=v, method=f"level_shift {rel_dev.iloc[i]:.2%}"))
# 一致性告警：MRR 与 Active×ARPU
for i, err in enumerate(df['mrr_consistency_err']):
if err > 0.001: # >0.1%
anomalies.append(dict(month=df['month'][i], metric='mrr_consistency', value=float(err), method="mrr != active*arpu"))
# 活跃滚动平衡统计（符号检验近似）
res = df['active_residual'].dropna()
neg_share = (res < 0).mean()
sign_bias = "negative-bias" if neg_share > 0.7 else "no-strong-bias"
anomalies_df = pd.DataFrame(anomalies).sort_values(['metric','month'])
print("Anomalies:")
print(anomalies_df.to_string(index=False))
# 3) 计算扩展业务指标
# 上月活跃（用于 churn rate）
prev_active = df['active_customers'].shift(1)
df['churn_rate'] = df['churn_customers'] / prev_active
df['net_adds'] = df['new_orders'] - df['churn_customers']
df['active_change'] = df['active_customers'].diff()
df['gross_margin_amt'] = df['mrr'] * df['gross_margin_rate']
# 4) 修正建议产物：保留 arpu_calc、other_movements（=active_residual）
df['other_movements'] = df['active_residual']
# 5) 基础校验（示例）
print("\nConsistency pass rate (MRR==Active*ARPU within 0.1%):",
(df['mrr_consistency_err'] <= 0.001).mean())
print("\nActive roll-forward residual summary:")
print(df[['month','active_residual']])
# 6) 输出用于策略的事件标注
df['event_arpu_drop'] = (df['arpu'] < df['arpu'].median()*0.975).astype(int)
df['event_feb_spike'] = ((df['month'].dt.month == 2) & (df['churn_customers'] >= df['churn_customers'].median()+3*mad_churn)).astype(int)
print("\nEvent flags:")
print(df[['month','event_arpu_drop','event_feb_spike']])
输出要点（运行结果解读）
- 异常清单将包含：
- churn_customers：2024-12、2025-02（高值异常）
- new_orders：2025-02（低值异常/边界）
- repurchase_rate：2025-02（低值异常）
- gross_margin_rate：2025-02（低值异常）、2024-12（边界低）
- arpu：2024-12（水平位移）
- mrr_consistency：2024-09（仅显示精度差）
- active_residual：多数月为负，存在偏负的系统性“未归类流转”
- 修正产物：
- arpu_calc 两位小数
- other_movements 显式呈现未归类流转
- event 标注用于下游 A/B 与回访
处理优先级和验证机制
- P0（立即处理，业务与数据）
- 2025-02 复购/流失/毛利率异常联动：事故/变更/节假日保障复盘 + Win-back 清单与AB策略
- 活跃滚动平衡系统性偏差：建立 other_movements 与口径补记机制（跨套餐迁移、冻结/试用/合并拆分）
- P1（短期，2~4 周）
- 2024-12 ARPU 下调与毛利率走弱：定价/折扣策略复盘与续费锁价
- 一致性校验：上线 mrr 与 active×arpu 校验与告警；统一 arpu 显示精度（两位小数）
- P2（中期，4~8 周）
- 建立控制图与变点预警；对比率指标引入 Beta 平滑评估（不改原值）
验证机制
- 数据：mrr 一致性通过率≥99%，active other_movements 中位≈0，负偏显著性消除（p>0.1）
- 业务：Win-back 与续费策略 A/B
- 目标：复购率+3pp 以上、churn rate 回落至历史中位±1σ、毛利率回升≥1pp
- 评估：对比干预与对照组的月度差异与双重差分估计
质量保证和后续监控建议
- 质量指标（每月自动产出）
- MRR 一致性误差分布（p50/p95）、通过率
- Active roll-forward 残差均值/中位/偏度、符号检验 p 值
- 关键指标（churn_rate、repurchase_rate、gross_margin_rate、arpu_calc）控制图状态与越界告警
- 监控规则
- 单月相对滚动中位偏离 > 5% 告警（arpu_calc、repurchase、gross margin）
- 连续两月 other_movements 同向且绝对值>10 触发口径核查
- 节假日前后 2 个计费周期启动“加严监控”与人工复核
- 预防措施
- 价格/计费变更走灰度与护栏（预计对复购率与毛利率影响>2pp 必须评审）
- 核心客户健康度看板（NPS、SLA、工单）联动自动预警与客户成功干预
结论
- 主要风险窗口在 2024-12 与 2025-02：前者以 ARPU 下调为主，后者以流失/复购/毛利率联动恶化为主，对 MRR 与毛利造成两次约 -7.8%/-12.5% 级别冲击。
- 存在活跃滚动闭合的系统性口径缺口（偏负），建议立即引入 other_movements 字段与口径补记，避免误判新增/流失贡献。
- 推荐保留并标注异常，禁止删除；数据侧做一致性与口径修正，业务侧做定价回调/锁价与 Win-back 策略，建立控制图与变点预警常态化监控。
