检测数据集中潜在离群值

以下是一套可实施的离群值识别方法，针对电商订单日级数据集（user_id、order_id、amount、qty、channel、order_time），覆盖极端金额、异常件数、无效时间戳与渠道异常分布。

一、数据质量与预处理
- 字段校验
  - order_id：去重；若发现重复且金额、件数、时间完全一致，标记为重复订单。
  - amount、qty：必须为数值；qty 应为正整数；amount ≥ 0（退款/逆向流水若为负值需单独标注并排除在销售离群检测之外）。
  - channel：非空、在允许渠道列表内；统一大小写/编码。
  - order_time：可解析的时间戳，落在数据采集期内且不晚于当前时间；统一时区并截断至日期（日级）。
- 异常值初筛（规则）
  - qty ≤ 0 或非整数 → 无效记录。
  - amount = 0 且 qty > 0 → 视业务规则（赠品）决定是否标记为异常；建议单独标签处理。
  - qty = 0 且 amount > 0 → 明显异常。
  - amount < 0（退款/调整）：打上“逆向”标签，后续不参与正向销售离群检测。

二、特征工程
- 单价：unit_price = amount / qty（qty > 0 时计算）。
- 对数变换：v_amount = log1p(amount)，v_qty = log1p(qty)，v_up = log(unit_price)（unit_price > 0 时计算）。用对数变换降低长尾影响。
- 分组基线：按 channel 分组计算稳健统计量（中位数、MAD、分位数），必要时按日/周滚动窗做时变基线。

三、逐条记录的数值型离群值检测（amount / qty / unit_price）
- 按 channel 分组进行稳健统计：
  - 中位数 m_c 与 MAD_c（median absolute deviation）。
  - 稳健 z 分数：z_r = 0.6745 * (x - m_c) / MAD_c（x 为 v_amount、v_qty 或 v_up）。
  - 阈值建议：|z_r| ≥ 3.5 标记为强离群；2.5–3.5 为可疑。
- IQR 法补充：
  - 计算 Q1、Q3 与 IQR = Q3 - Q1（基于对数值 v_*）。
  - 规则：v_* < Q1 - k*IQR 或 v_* > Q3 + k*IQR；k=1.5（常规）或 3（更保守，适合促销高波动场景）。
- 条件校验（交叉约束）：
  - 单价异常：对 v_up 使用上述稳健方法；若 unit_price 分布受商品结构影响较大，改用分位数回归或分桶（按 qty 桶）计算条件分布的离群。
  - 组合异常：同时满足 amount、qty、unit_price 的异常阈值，提高严重级别。

四、时间戳有效性检测
- 无效时间戳：
  - 不可解析、为空、时区错误导致超出数据周期、晚于当前时间。
  - 同一 order_id 在多个日期重复（若业务不允许），标记为异常。
- 稳定性检查（日级数据缺口）：
  - 若某日 orders 总数或总金额显著低于滚动基线（见第五节），该日的时间戳或上游采集需排查。

五、渠道异常分布（日级聚合）
- 统计当日各 channel 订单数占比：p_d(c) = count_d(c) / N_d。
- 基线分布 p̂(c)：最近 28 天滚动（可加权），剔除已知大促节日；对小样本做拉普拉斯平滑（+ε，如 1e-6）。
- 检验方法：
  - 卡方检验：X² = Σ_c (O_c - E_c)² / E_c，其中 O_c 为当日计数，E_c = N_d * p̂(c)；df = C-1。若 p-value < 0.001 标记为渠道分布异常。注意 E_c < 5 时合并小类或使用精确检验。
  - Jensen–Shannon 散度（对占比分布）：JS(p_d || p̂) > τ 视为异常。阈值建议 τ ∈ [0.05, 0.15]，按历史误报率校准。
- 金额维度的渠道异常（可选）：
  - 对每日各 channel 的总金额/客单价计算稳健 z 分数，识别某渠道当日异常放大或收缩。

六、条目级渠道条件异常
- 思路：不同渠道的订单结构差异可能明显（如客单价、qty 分布）。对每个 channel 单独建模，识别该渠道内不合常态的记录。
- 方法选项：
  - 条件分位数法：在每个 channel 内，对 v_amount 或 v_up 按 qty 分桶，计算桶内分位数（P1、P99），超出阈值即异常。
  - 轻量模型：每个 channel 训练 Isolation Forest（特征：v_amount、v_qty、v_up、weekday），contamination 设置为 0.5%–1%。输出异常分数，结合第三节规则交叉验证，降低误报。

七、多变量综合离群检测（记录级）
- 模型：Isolation Forest 或 LOF（建议按 channel 分组训练，减少异质性）。
- 特征：
  - v_amount、v_qty、v_up、weekday、是否大促（二值标识）、用户级特征（如用户历史中位客单价、历史订单频率，若可用）。
- 训练与判定：
  - 使用近 60–90 天数据训练，排除已标注的无效时间戳与退款记录。
  - 以目标误报率设定 contamination（如 0.5%），输出异常分数；与第三、六节的规则型结果做并集，强异常为交集。

八、阈值与校准
- 分渠道、分时段阈值：对促销/节假日设“宽松模式”（提高 IQR k 值或提高 |z_r| 阈值）。
- 以日为单位监控误报率：抽样人工核验，目标保持误报率 < 5%。
- 动态更新基线：滚动窗口与指数加权，保证对季节性和趋势的自适应。

九、输出与标签体系
- 记录级标签：
  - amount_extreme、qty_extreme、unit_price_outlier、invalid_timestamp、channel_conditional_outlier、multivariate_outlier。
- 日级标签：
  - channel_mix_anomaly_day、channel_amount_anomaly_day、volume_drop_day。
- 严重度评分：
  - 规则命中次数加权：强离群（如 |z_r| ≥ 3.5 或 JS > 0.15）权重更高；多方法命中提高优先级。

实施要点与注意事项
- 使用对数变换与稳健统计，避免正态假设在长尾数据上的失效。
- 分渠道建模是关键，可显著降低结构性差异带来的误报。
- 对退款/逆向流水单独处理，避免污染正向销售异常检测。
- 在小样本渠道上谨慎使用卡方检验；确保期望频次足够或采用合并与平滑。
- 在促销日自动切换到更保守阈值，或先进行日级分布检验，对异常日进行单独基线估计。

Below is a structured, robust, and operational method to identify outliers in the specified transaction log. It targets: (1) large burst inflow/outflow, (2) short-term high-frequency small amounts, and (3) negative balance jumps. The approach is per-account, stratified by txn_type, and uses rolling time windows with robust statistics to control false positives.

1) Data Preparation
- Partition: Group data by account_id, then stratify within each account by txn_type.
- Ordering and de-duplication: Sort by timestamp; remove duplicate txn rows; ensure monotonic balance if source system guarantees it.
- Direction coding: Map txn_amount_signed = +amount for inflows, −amount for outflows (based on txn_type mapping defined with business).
- Minute-level series: For each account_id × txn_type, resample to 1-minute bins:
  - Features per minute m: 
    - count_m = number of transactions
    - sum_amount_m = sum(txn_amount_signed)
    - max_amount_m = max(|txn_amount|)
    - median_amount_m = median(txn_amount)
    - count_small_m = number of transactions with txn_amount ≤ T_small (defined below)
  - For account-level balance series (not stratified), resample balance to minute and compute delta_balance_m = balance_m − balance_{m−1}.
- Seasonality optional: If strong intraday/weekday effects, compute baselines per hour-of-day and weekday; otherwise use unconditional baselines (see below).

2) Robust Baselines per Account × txn_type
Compute robust statistics over a trailing historical window (e.g., last 30–60 days per account × txn_type):
- Robust scale:
  - MAD(x) = median(|x − median(x)|)
  - sigma_hat = 1.4826 × MAD(x)  (normal-consistent)
- Baselines:
  - amount_baseline: median(txn_amount) and sigma_hat_amount
  - count_baseline: median(count_m) and sigma_hat_count
  - sum_baseline: median(sum_amount_m) and sigma_hat_sum
- Small-amount threshold T_small:
  - T_small = quantile_25(txn_amount) per account × txn_type (adjust to quantile_20–30 depending on distribution)
- For balance:
  - delta_balance_baseline_neg: robust stats of negative deltas only (e.g., median of negatives and sigma_hat_neg from negative deltas).

Fallbacks:
- If insufficient history for an account × txn_type (e.g., <200 minutes or <50 txns), fall back to global baselines computed across similar cohorts (e.g., same product/segment).

3) Rolling Windows
Compute rolling features at multiple horizons per account × txn_type (non-overlapping or sliding):
- Windows: W ∈ {5, 15, 60} minutes
- For each window ending at time t:
  - roll_sum_W(t) = sum of txn_amount_signed in window
  - roll_count_W(t) = total transactions in window
  - roll_max_amt_W(t) = max(|txn_amount|)
  - roll_count_small_W(t) = count of txns ≤ T_small
  - roll_median_amt_W(t) = median(txn_amount)

For balance (account-level):
- roll_min_delta_bal_W(t) = min(delta_balance_m) within window
- delta_balance_m computed per minute across all txn_type activity combined.

4) Detection Rules
All rules use robust z-scores or tail quantiles, applied per account × txn_type (except balance drop which is account-level). Calibrate thresholds to control false positive rate (FPR) to a target (e.g., 0.1–0.5% per day per account).

4.1 Large Burst Inflow/Outflow
- Single-transaction spike:
  - z_max_amt = (roll_max_amt_W − median_amount) / sigma_hat_amount_abs
    - sigma_hat_amount_abs from |txn_amount|
  - Flag if z_max_amt ≥ Z1 (e.g., Z1 = 5)
- Window sum spike (directional):
  - z_roll_sum = (roll_sum_W − median(sum_amount_m)) / sigma_hat_sum
  - Flag inflow if z_roll_sum ≥ Z2_pos; outflow if z_roll_sum ≤ −Z2_neg (e.g., Z2_pos = 5, Z2_neg = 5)
- Optional: Extreme tail via EVT
  - Fit GPD to upper tail of |txn_amount| and |roll_sum_W|; set dynamic thresholds using target exceedance probability p* (e.g., 0.001).

4.2 Short-Term High-Frequency Small Amounts
- Count spike conditional on small amounts:
  - z_count = (roll_count_W − median(count_m)) / sigma_hat_count
  - small_ratio = roll_count_small_W / max(roll_count_W, 1)
  - median_small_check = roll_median_amt_W ≤ T_small
  - Flag if z_count ≥ Z3 and small_ratio ≥ R_small and median_small_check is true
    - Example: Z3 = 4, R_small ≥ 0.7
- Alternative statistical test (if seasonality modeled):
  - Estimate λ_W (expected count per window) via robust EWMA or per time-of-day quantiles.
  - Use one-sided Poisson tail test: p = 1 − CDF_Poisson(roll_count_W − 1; λ_W)
  - Flag if p ≤ α (e.g., α = 0.001), with small_ratio and median_small_check filters.

4.3 Balance Negative Jump
- Per-minute drop:
  - z_delta_neg = (delta_balance_m − median_neg) / sigma_hat_neg, using only negative deltas for baseline
  - Flag minute m if delta_balance_m ≤ Q_low (e.g., ≤ quantile_0.1_neg − k × sigma_hat_neg) or z_delta_neg ≤ −Z4
    - Example: Z4 = 5, k = 2
- Windowed drop:
  - roll_min_delta_bal_W ≤ T_drop_W where T_drop_W set from historical lower-tail quantiles (e.g., 0.1% quantile across negative deltas)
- Consistency check (optional, increases precision):
  - Compare |roll_sum_outflow_W| to |roll_min_delta_bal_W|.
  - If |roll_min_delta_bal_W| >> |roll_sum_outflow_W| + M (mismatch margin), flag as “unexplained balance drop”.

5) Stratification and Aggregation
- Apply 4.1 and 4.2 separately per txn_type; compute separate baselines.
- Balance negative jump (4.3) applied at account level (all types combined).
- Anomaly score per window:
  - s_burst = max(0, z_max_amt/Z1, |z_roll_sum|/Z2)
  - s_freq_small = indicator(z_count ≥ Z3) × small_ratio
  - s_balance_drop = max(0, |z_delta_neg|/Z4, exceedance_of_T_drop_W)
- Composite score:
  - s_total = 1 − Π_k (1 − s_k_norm), where s_k_norm ∈ [0,1] normalized by clipping/transform
- Flag if s_total ≥ S_thresh (e.g., S_thresh = 0.6), or any rule individually triggers a hard threshold.

6) Threshold Calibration and Controls
- Per-account calibration:
  - Use historical non-flagged data to set Z1–Z4 to achieve desired FPR. Start with robust z-thresholds (4–6) and adjust.
- Global controls:
  - Cap maximum alerts per account per day to prevent flood.
  - Require persistence: anomaly must hold in ≥2 consecutive windows for certain types (e.g., frequency-small) to reduce noise.
- Drift monitoring:
  - Recompute baselines weekly; monitor median and MAD stability.

7) Output and Review Workflow
- Emit anomaly records with:
  - account_id, timestamp_start, timestamp_end, txn_type (if applicable)
  - anomaly_type ∈ {BurstInflow, BurstOutflow, HighFreqSmall, BalanceDrop, BalanceDropUnexplained}
  - features: roll_sum_W, roll_count_W, roll_max_amt_W, small_ratio, delta_balance_m/roll_min_delta_bal_W
  - z-scores and thresholds crossed
  - s_total and component scores
- Severity tiers:
  - Critical: any EVT tail exceedance or z ≥ 7, or BalanceDropUnexplained
  - High: z ∈ [5,7] or repeated windows
  - Medium: z ∈ [4,5] with corroborating secondary signals
- Mark flagged windows for manual review; optional auto-escalation for Critical.

8) Implementation Sketch (Python-like)
- Preprocessing:
  - df = read_logs()
  - df = sort by account_id, timestamp; drop duplicates
  - map txn_type -> sign; compute txn_amount_signed
- Per account × txn_type:
  - resample to 1-min; compute minute features
  - compute robust baselines (median, MAD → sigma_hat)
  - for each window W in {5,15,60}:
    - compute rolling features (sum, count, max, count_small, median)
    - compute z-scores; apply rules 4.1, 4.2
- Account-level:
  - resample balance; compute delta_balance_m; apply rule 4.3
- Combine component scores; flag; write anomalies.

9) Considerations and Edge Cases
- Sparse accounts: use cohort/global baselines; widen thresholds to reduce false positives.
- Data quality: if balance is missing or out-of-sync, rely on transaction-based rules only; log data-quality flags.
- Clock skew: ensure timestamps are aligned to a consistent timezone; handle late-arriving data by incremental re-evaluation of windows.

This method is robust, scalable, and controls false positives using per-account, per-type baselines and rolling-window statistics. It directly targets the specified patterns and produces explainable anomaly flags suitable for downstream review.

下面给出一套可落地的离群值识别方法，面向“SKU×渠道”的日级面板数据，覆盖 sales 突增/骤减、inventory 长期高位或快速见底、以及活动后异常反弹。方法强调稳健性（对异常不敏感）与可解释性（输出期望值、残差和Z分数）。

一、数据与目标
- 数据字段：date（日级）、sku_id、channel、sales、inventory、restock_time、campaign_flag。
- 识别目标：
  1) sales 突增/骤减
  2) inventory 长期高位（持续偏高）与快速见底（异常加速耗尽）
  3) 活动后异常反弹（campaign 结束后短期内异常偏高）
  4) 按 SKU×channel 逐条检测，并形成可疑记录清单

二、预处理
- 完整性与异常值检查
  - 去重（sku_id, channel, date）; 若同日多条记录，则聚合或择一（优先可信来源）。
  - 填补缺失：sales/inventory 缺失和真正为0要区分。建议把缺失记为 NA，不直接填0。
  - 非法值处理：负数 sales/inventory 直接标记为数据错误异常（单独输出）。
- 时间对齐：将 restock_time 归一到日期粒度（floor 到当天）；构造 restock_event=1{date=restock_date}。
- 滞后与滚动窗口：按 sku×channel 排序，构造滞后变量（t-1），滚动统计（7/28/56天视可用历史长度而定）。

三、衍生特征与事件识别
- 基本导数与比率
  - Δinventory_t = inventory_t - inventory_{t-1}
  - DoW_t（周内日虚拟变量）
  - post_campaign_window_t = 1{campaign_flag_{t-1}=1 且 campaign_flag_t=0 且 t≤结束后K天}，K建议7
  - days_since_restock：自最近 restock_event 起的天数
  - rolling_avg_sales_{t,w}：过去 w 天稳健均值（建议中位数或截尾均值；w=7、28）
  - days_of_cover_t = inventory_t / (rolling_avg_sales_{t,7}+ε) 反映库存可支撑天数
- 自动识别补货量（当缺少补货数量）
  - restock_qty_t = max(Δinventory_t, 0) 若与 restock_event 同日显著为正，可用作补货量近似。

四、基线建模（去季节/活动/补货效应）
在每个 sku×channel 内独立建模，保证跨渠道差异不互相污染。

- 目标变量：建议对 sales 使用 log1p 变换以弱化尺度效应：y_t = log(1+sales_t)
- 稳健回归基线（推荐）：
  - y_t = β0 + β_DoW·DoW_t + β_c·campaign_flag_t + β_r·restock_event_t + s_t + e_t
  - 其中 s_t 为季节/趋势项，可用 STL 分解（weekly seasonality，period=7；trend窗口≥28天），或用双指数平滑/LOESS。
  - 拟合方式：Huber 回归或分位数回归（τ=0.5/0.6）降低异常对参数的影响。
- 残差 e_t = y_t - ŷ_t；估计波动 σ_t 用滚动MAD：σ_t = 1.4826 × MAD(e_{t-w:t-1})，w=56（至少28有效点）。

五、异常检测规则
所有规则均在 sku×channel 粒度内执行；同时计算跨渠道对照分数以增强证据。

1) sales 突增/骤减
- 计算稳健Z分数：Z_t = e_t / σ_t
- 突增：Z_t ≥ k_pos；骤减：Z_t ≤ -k_neg。建议阈值 k_pos=k_neg=3；数据噪声较大时可取3.5。
- 合并规则：相邻异常天合并为一个区段；区段分数取 max|Z_t|。

2) inventory 长期高位
- 判据A（持续相对高）：在任一滚动窗口 w=28 内，inventory_t 高于该窗口中位数的 θ 倍或分位数阈值，且持续 L 天。
  - 阈值建议：inventory_t ≥ max(median_w × 1.5, Q90_w) 且连续 L≥14 天。
  - 辅助：days_of_cover_t ≥ Q90_w(DoC) 且呈非下降趋势。
- 判据B（高库存伴随低动销）：在 L 天内 sales 的中位数 ≤ 历史中位数的 0.5，同时 inventory 分位数 ≥ 历史 Q75。

3) inventory 快速见底（异常加速耗尽）
- 判据A（加速耗尽残差法）：定义预测库存路径 Î_{t+h} = inventory_t - h×rolling_avg_sales_{t,7} + 当期至h的补货量预测（若无则忽略补货，偏保守）。
  - 若预测缺货日（Î ≤ 安全阈值，如 ≤ max(0, Q10 历史库存) 或 ≤ 小常数）在未来 D 天内（D≤3）且过去 7 天 DoC 出现显著下降（下降斜率位于历史P10以下），标记“快速见底”。
- 判据B（相对历史速度）：从最近一次 restock_event 起，天至库存 ≤ 20% 峰值的时间 T_current 明显短于历史同 SKU×channel 的中位时间 T_median：
  - T_current ≤ T_median × α，α=0.5；且销售残差 Z_t 在多数天为正（需求异常放大）。

4) 活动后异常反弹（post-campaign bounce）
- 在 post_campaign_window（结束后 K=7 天）内，对 y_t 计算去除了 campaign_flag 的基线残差 e_t。
- 若出现连续 d 天（d≥2）Z_t ≥ k_post（建议 k_post=2.5），且这些天不在补货当天或次日（避免补货驱动的短期反弹误判），判为“活动后异常反弹”。
- 可选对照：与同 SKU 其他渠道在同日的中位销售比较，若本渠道相对偏差 > P90 的历史分布，则提高严重性等级。

5) 跨渠道对照增强（非必须但建议）
- 同日同 SKU 的渠道对照残差：e'_t(channel) = y_t(channel) - median_{channels}(y_t)
- 若某渠道被规则1/4标记，且 e'_t 高于其渠道间滚动MAD的 3 倍，则将异常级别提升（更可能是真异常而非全渠道共同波动）。

六、可疑记录清单（输出字段建议）
- date, sku_id, channel
- anomaly_type（sales_spike/sales_drop/inv_high/inv_fast_deplete/post_campaign_bounce/data_error）
- metric_value（原值：sales 或 inventory）
- expected_value（exp(ŷ_t)-1 或 inventory 基线阈值）
- residual（e_t 或与阈值的差）
- z_score（Z_t 或对照Z）
- window_stats（如 rolling_median, Q90, DoC 等关键参考值）
- context_flags（campaign_flag, post_campaign_window, restock_event, days_since_restock）
- severity（low/medium/high，基于|Z|、持续天数、跨渠道对照）

七、阈值与稳健性建议
- 滚动窗口：MAD用56天；季节分解至少28天历史。短序列（<28天）仅用简化规则（分位数法、对照法），不做STL。
- 阈值自适应：对每个 sku×channel 根据历史波动设置k，确保每条序列的异常率目标在1%～5%区间。可用历史残差的上分位（如P99）替代固定k。
- 多重检验控制：若需要全量报警控制，可对当日全体Z分数转p值后做Benjamini–Hochberg控制FDR（如q=5%）。

八、边界与数据质量
- 稀疏/低销量序列：优先使用分位数阈值和简单对照（渠道中位、跨SKU稳健对比），避免复杂回归。
- 缺失与0分布：电商类数据常出现“假0”（无上报而非无销量）。若怀疑报送缺失，标记 data_error，避免参与基线拟合。
- restock_time 不准时：使用 Δinventory>0 的突增辅助校正 restock_event。

九、验证与回测
- 用历史已知异常/活动期做回测，计算Precision/Recall；对阈值k、L、K、α做网格搜索以优化F1或业务偏好的代价函数（漏报成本 vs 误报成本）。
- 人工抽样核验Top-N高严重性记录，迭代调参（例如剔除节假日、渠道促销统一波动的干扰）。

这套方法在工程上可快速实现：先以分位数与MAD驱动的规则上线，随后分批引入STL+稳健回归与跨渠道对照，以提升准确性与可解释性。