数据集差异分析助手

结论要点

• 数据集B在保持指标与口径一致的前提下，新增细分维度与质量元数据，分析能力更强，但引入采集延迟与采样/去重质量对比A更复杂。若不加治理，可能造成时序不可比与指标偏差。
• 跨改版前后，汇总口径（全量、按A的维度聚合）理论可比，但需在“数据水位”通过后再比；新增维度的细分结果不可直接与A对比。
• 建议建立统一口径层（canonical layer）、延迟与质量权重处理流程、以及过渡期双轨比对，保障连续性与准确性。

一、结构与字段差异（A vs B）

• 指标与口径
  • 两者指标一致：UV、PV、注册、支付、ARPU；口径一致：UV=去重用户，支付=成功扣款。
  • 风险点：ARPU的分母在行业中存在差异（全UV vs 活跃UV vs 付费用户）。需确认与A完全一致，避免与ARPPU混淆。
• 维度
  • A：城市、设备、来源、版本。
  • B：在A基础上新增用户层级、拉新活动。带来更高维度稀疏性与潜在多重归属问题（例如拉新活动标记是否唯一、是否会动态更新）。
• 时间与标记
  • 粒度相同：天。
  • A：缺失处理=空值补0并标记；含异常标记（突增/突降）。
  • B：有采集延迟标记；含质量字段（采样率、去重率）。未明确异常标记，需要自行重建或迁移A的异常检测逻辑。
• 数据质量元数据（B新增）
  • 采样率：用于衡量采集完整度。只有在“均匀随机采样”前提下，才可对计数类指标做1/采样率放大；否则仅作质量诊断，不做机械放大。
  • 去重率：表征去重过程效果，用于诊断UV/PV是否可能残留重复或过度去重；一般不直接用于数值回补，除非明确其统计含义与算法。

二、可比性与对分析的影响

• 同口径整体对比
  • 在按天、全量（不分新增维度）聚合的情况下，A与B指标可比。
  • 必须在B的“采集延迟标记=否”且数据水位通过后再对比；延迟期间的“0”应视为暂缺而非真实0。
• 维度细分对比
  • 对A共有维度（城市/设备/来源/版本），在数据水位通过后应可比；但需评估B的采样/去重率是否在这些维度上稳定一致，避免维度选择性偏差。
  • 新增维度（用户层级/拉新活动）不具备历史可比性；跨期分析需限定为B期内或构建映射回填。
• 指标偏差来源（B相对A）
  • 采集延迟：导致短期低估或错误零值。
  • 采样：若采样率<100%且非均匀随机，将引入结构性偏差（例如在特定城市或设备上采样不足）。
  • 去重率波动：UV/支付用户数的去重质量变化会在日界上产生轻微层级偏差。
  • 高维稀疏：新增维度导致小样本波动放大，异常检测需分层阈值。

三、建议的治理与分析流程

• 统一口径层（Canonical Layer）
  • 定义一致的指标字典：明确ARPU计算公式与分母；固化UV、支付的去重规则与时间窗。
  • 维度对齐：对城市/设备/来源/版本建立映射表，确保维度枚举一致；对用户层级与拉新活动明确唯一性与生效逻辑（首次归因/最近归因/会话归因），避免重复归属。
• 缺失与延迟处理
  • 引入数据水位机制：仅当延迟标记消失且晚到数据完成回补后，才落最终数值。
  • 对延迟期的空洞不做“补0”，而标记为“待回补”；保留A的“补0并标记”的逻辑用于真实缺失场景，二者区分。
• 质量字段使用
  • 采样率
    • 若确认为均匀随机，提供两套口径：Raw与Weighted。Weighted计数约=Raw/采样率；均值类指标（如ARPU）谨慎处理（分子分母均应按采样一致性调整）。
    • 若采样非均匀，采样率仅做质量门限与告警，不做自动放大。
  • 去重率
    • 设定合理阈值与波动区间；当去重率异常时，打质控标记并限制外部发布。
• 异常检测与稳定性验证
  • 迁移A的“突增/突降”检测，增加分层阈值与小样本保护（如最小样本量门槛、Winsorize）。
  • 过渡期双轨比对：在至少2–4周窗口内并行产出A与B，以全量与A共有维度为主，计算日级MAPE、相关系数，并做结构性断点检测（如CUSUM/断点回归）以确认无口径漂移。
• 报表与发布准则
  • 建立“可发布”判定：延迟=否、采样率≥X%（建议≥95%）、去重率在历史P5–P95区间内、无异常标记。
  • 针对新增维度，提供稳定性标签：样本量≥阈值、采样率无明显分层差异（如分城市采样率变异系数≤阈值）。

四、对关键指标的专项提示

• UV、PV：易受采样与去重率影响。建议优先发布Raw与质量标记，Weighted作为内部参考，待采样机制确认后再外发。
• 注册、支付：必须确认延迟分布（支付回传是否有跨天补写）；在水位通过后锁定。
• ARPU：必须确认与A完全一致的公式与分母。若使用Weighted，请确保分子与分母采样一致且延迟回补完成；否则以Raw+质量标记为准。

五、落地行动清单

• 明确并文档化ARPU公式、用户层级与拉新活动的归因规则与唯一性。
• 上线数据水位与延迟区分逻辑，杜绝将延迟数据当作0。
• 建立采样率/去重率阈值与告警；在报表中展示质量面板。
• 复制并增强A的异常检测，在B的高维下加入小样本保护。
• 设立2–4周双轨比对，达成量化验收标准（如全量MAPE≤1–2%，各关键维度≤3–5%且无系统性偏差）。
• 为新增维度建立最小发布单元与稀疏性策略（合并长尾分类、设定最小样本阈值）。

总体结论

• B在分析深度与质量可观测性上显著优于A，但也引入延迟、采样与高维稀疏的治理复杂度。
• 只要按上述口径对齐、延迟与质量控制、双轨验收与异常治理执行，A与B在全量与共有维度上的时序可以保持连续可比；新增维度应视为新口径启用，自B期开始建立基线。

目的 比较与解释两组数据在同一漏斗口径下的差异：数据集A（投放前7天，基线）与数据集B（投放后7天，同口径同维度，新增渠道与更深转化、记录预算与出价）。

口径与度量对齐（确保可比性）

• 指标定义（建议统一并在两组数据中严格一致）：
  • 曝光、点击、CTR=点击/曝光
  • 注册（或首个浅转化），CPA=成本/达成次数
  • 深度转化：留资、支付（B新增）
  • ROI=回收期收入/成本（请确认A是否同一回收窗口；若A为不同窗口或口径，需要重算或分开报告）
• 归因与去重：统一归因窗口与规则（如点击归因7天、曝光归因1天；跨渠道重复触达去重）。
• 时间口径：两组各7天，需考虑同期性与季节性（若非同一自然周，需校正）。

结构性差异概览

• 渠道维度：B新增短视频渠道；A为信息流/搜索/社媒。
• 创意维度：B新增方案A/B（可做同口径AB对比）；A仅素材组。
• 转化深度：A到注册为主；B新增留资、支付与回收期收入，可计算更完整的CPA（到支付）与ROI。
• 策略变量：B记录预算与出价策略，可进行费用-产出弹性分析与边际收益评估。
• 样本量：A约3万点击；B未给出点击规模，比较显著性与结论力度需依赖B的样本量。

关键差异与解释（按维度）

1. 渠道表现

• 可比部分（信息流/搜索/社媒）：对齐CTR、注册CVR（注册/点击）、CPA（到注册）、ROI（若同窗）。建议分解变化为两类：
  • 性能变化（同渠道内CTR、CVR、CPA、ROI的提升或下降）
  • 结构变化（渠道权重/花费占比变化导致总体指标变动）
• 新增短视频：仅在B出现，无法与A直接同比。需评估其绝对表现与增量价值：
  • 计算渠道内CTR、注册CVR、留资CVR、支付CVR、CPA（到注册/到支付）、ROI。
  • 进行增量分析（如设置搜索或信息流为对照，通过差异化曝光窗口或地域/时段对照，估计短视频的净增量注册/支付与净ROI），避免把自然增长或其他渠道贡献错误归给短视频。

2. 人群标签（兴趣/地域/年龄）

• B若因短视频引入更年轻或特定兴趣人群，可能改变渠道内的受众结构，造成总体CTR/转化率的变化。
• 建议使用交互项分析：渠道×人群标签，对比A与B在同人群上的指标差异，区分“渠道绩效提升”与“受众构成变化”两种效应。

3. 创意素材/方案

• A：素材组横向比较CTR与注册CVR。
• B：方案A/B可进行严格AB检验：
  • 计算相对提升（lift）= (指标B−指标A)/指标A，分别在CTR、注册CVR、留资CVR、支付CVR、CPA、ROI上评估。
  • 控制投放时段、受众与渠道一致；避免交叉曝露与预算偏置。
  • 若多渠道同时测试，建议分层（分渠道）或使用分层贝叶斯/分层GLM聚合结论。

4. 深度转化与收入（仅B具备）

• B可构建完整漏斗：曝光→点击→注册→留资→支付→回收期收入。
• ROI更稳定但受长尾影响。若A的ROI未基于相同回收期，需：
  • 方案1：重算A的ROI到同窗；或
  • 方案2：分开展示ROI(A窗)与ROI(B窗)，避免误读。
• 对支付与收入分布偏态，建议用非参数或Bootstrap估计置信区间。

5. 预算与出价策略（仅B具备）

• 可量化“出价/CPC提升→CTR/注册CVR/CPA/ROI”的边际效应与最优区间：
  • 在渠道层面拟合费用-产出曲线（如广义线性模型：成本、出价、频次为自变量，转化为因变量）。
  • 检查边际收益递减与过频问题（高频曝光可能降低ROI）。

统计方法与显著性评估

• CTR、CVR差异：两比例差异检验（z检验或贝叶斯区间）；多重比较用Benjamini–Hochberg控制FDR。
• CPA差异：因成本与转化的比值具有方差不稳定性，建议基于转化率与CPC分解检验，或对CPA做Bootstrap。
• ROI差异：收入右偏，用Bootstrap或百分位法构建置信区间；必要时对收入做对数变换的GLM。
• 回收期敏感性：不同回收窗（如7/14/30天）下ROI的稳定性分析。
• 组合效应与混杂：使用分层Logistic回归（转化~渠道+人群+创意+预算/出价+交互），或差异中的差异（DiD）在相近时段/地域对照下评估新增渠道/策略的净效应。
• 归因一致性验证：若B采用更严格的归因覆盖，需用统一规则重算A，或采用到达点击口径进行比较。

结果呈现建议（汇总结构）

• 总体：按渠道加权的CTR、注册CVR、留资CVR、支付CVR、CPA（注册/支付）、ROI（统一回收窗）；列出A与B的差异值与显著性。
• 分渠道：信息流/搜索/社媒/短视频的关键指标与变化分解（性能 vs 结构）。
• 分人群标签：兴趣/地域/年龄的相对提升与显著性，识别高价值人群。
• 创意A/B：各渠道上的lift与置信区间，给出保留/扩大投放建议。
• 策略变量：预算与出价的边际效应、最优区间与建议。

关键结论与行动建议

• 直接同比的仅限于A与B共有的渠道与浅层指标（CTR、注册CVR、CPA到注册）；B的留资、支付与ROI为新增维度，应在统一回收窗后比较或单独报告。
• B的新增短视频与A/B创意提供了更明确的优化抓手：建议先以分层模型评估其净增量与ROI，再决定扩量与预算分配。
• 总体指标变化需分解为“渠道/人群权重变化”与“渠道内性能变化”，避免把结构性迁移误判为绩效提升。
• 在B中引入预算与出价数据后，可开展边际收益分析；优先扩张在支付ROI显著>1且呈现可扩展性的渠道/人群/创意组合，削减ROI<1或在边际上递减明显的组合。
• 鉴于A样本约3万点击，若B的样本不足以达到目标最小可检测效应（MDE），需延长观测期或集中样本以保障统计功效。

下一步

• 确认并统一ROI回收窗与归因口径；若不一致，重算A或分窗展示。
• 产出按上述结构的对比报表与显著性检验结果。
• 对短视频设定地理/时段对照或保留组，进行净增量评估。
• 固化创意A/B测试方案（均衡投放、避免交叉曝露、控制受众），迭代至支付与ROI层面。
• 构建费用-产出弹性模型，指导预算与出价优化与扩量策略。