数据集关键属性总结

数据集概述与任务定义

• 任务类型：二分类（点击/未点击），典型的CTR预估场景。
• 粒度：应为曝光级（impression-level）日志。需确认主键字段（如 user_id、ad_id、campaign_id、timestamp）与事件时序。
• 目标变量：点击标记（click_label）。初步观察正负样本不均衡，需量化点击率与不平衡程度。

核心特征及预期统计特性

• 曝光次数（exposure_count）
  • 含义需明确：是单次请求中的广告位数量、用户对某广告的累计频次、还是某时间窗聚合频次。
  • 分布：重尾、偏态，可能存在极端值；与点击关系非线性（频次过高可能疲劳）。
  • 处理建议：log1p变换、截尾/分箱；确保仅使用点击前、窗口内的累计频次，防止未来信息泄漏。
• 停留时长（dwell_time）
  • 含义需明确：是曝光时在广告位的停留时长，还是点击后在落地页的停留时长。
  • 数据可用性：若仅点击后可观测，则对未点击样本为缺失（MNAR）；用作点击预测会造成严重泄漏。
  • 处理建议：用于点击后质量预测（post-click engagement）而非CTR；如需用于CTR，必须确保度量发生在点击前的可观测时段，并加入“是否可观测”指示变量。
• 设备类型（device_type）
  • 低基数分类变量（如 iOS/Android/其他），可能与点击行为和展示位置强相关。
  • 处理建议：独热编码或频数/目标编码；注意类别稀疏与罕见值合并；评估与地域、时段的交互。
• 地域（region）
  • 中高基数、层级结构（省/市/区）。不同地域流量结构与人群分布差异大。
  • 处理建议：映射到稳定层级（如省/大区），或用目标编码（带交叉验证和平滑）；考虑引入人口/经济外部特征以降低混杂。

不平衡性与评估

• 典型点击率可能在0.1%~5%之间，需确认具体正例占比、不同设备/地域的分层点击率。
• 评估指标：AUC-PR优先于AUC-ROC；同时监控LogLoss、校准（Brier score、可靠度曲线）、分组AUC（按设备/地域）。
• 采样与权重：可对负样本下采样并在训练中使用样本权重恢复先验；或直接使用带类权重/焦点损失的模型。评估需在未下采样的保留集上执行。

数据质量与一致性检查要点

• 时间与因果一致性
  • 特征时间窗定义必须严格先于点击事件；确认不存在“统计周期跨越点击”的情况。
  • 校验timestamp单调性；点击时间不得早于曝光时间；停留时长不得为负。
• 缺失与异常
  • 量化各特征缺失率；区分MCAR/MAR/MNAR。对于dwell_time的MNAR（仅点击可观测）需单独处理或剔除出CTR模型。
  • 曝光次数极端值、离群点检测；必要时winsorize或分箱。
• 重复与对齐
  • 检查重复曝光记录、重复点击标记；确认每条曝光的唯一性。
  • 对齐设备与地域：基于同一时点来源（SDK/IP/定位），避免跨源不一致。
• 标签质量
  • 去除无效/作弊点击（如极短停留、快速重复点击）；确认去重策略（同一曝光多次点击）。
  • 识别可疑流量来源（点击农场、异常设备指纹）。

偏差与潜在混杂

• 选择偏差：数据仅覆盖已投放和成功竞得的曝光，不能代表整体人群；位置偏差（靠前位点击更高）与竞价偏差可能显著。
• 分配/投放策略偏差：频控、出价、定向策略改变会引入非平稳性；同一用户在不同设备/地域的跨域偏差。
• 泄漏风险：
  • 停留时长若含点击后信息，严禁用于CTR。
  • 曝光次数若包含点击后或未来窗口累积，同样泄漏。
  • 目标编码必须在严格交叉验证框架内拟合，防止信息泄漏。
• 群体差异：按设备类型、地域、操作系统版本做公平性/稳定性评估（校准、AUC、PR-AUC对比），识别系统性低估或高估。

建模与预处理建议（简要）

• 数值特征：log1p、标准化/分箱；树模型可直接处理偏态但仍建议截尾。
• 类别特征：低基数one-hot；高基数 region 用目标编码/频数编码（带CV与平滑）。
• 交互：device_type×region、log(exposure_count)×region 等非线性交互对提升效果常有帮助。
• 切分策略：基于时间的训练/验证划分，避免时序泄漏；在验证集上保持原始类分布。
• 线上稳定性：监控分布漂移（PSI）、校准漂移；定期重训或自适应更新。

小结

• 该数据集适用于CTR二分类建模，存在显著类不平衡与多重偏差来源。
• 关键风险点在于时间因果一致性与特征泄漏，尤其是停留时长与曝光次数的时间窗定义。
• 建议以时间切分、严格编码与稳健评估（AUC-PR、校准、分组指标）作为基线流程，并对设备与地域维度进行系统性偏差审计。

以下为“SaaS注册转化数据”数据集的主要特征总结及可验证指标建议。

一、数据集关键属性

• 数据粒度

  • 建议每行代表一个注册用户的最新状态（用户级快照）。
  • 需有唯一主键（如 user_id）；若仅为注册事件，需标注是否首访注册，以便去重。

• 字段与类型

  1. 渠道来源（channel_source）
     • 类型：分类变量（字符串/枚举）
     • 取值：如 Paid Ads、SEO、Referral、Direct 等
     • 作用：用于分渠道对比转化与激活表现
  2. 注册时间（registration_time）
     • 类型：时间戳（UTC，精确到秒或毫秒）
     • 作用：构建日/周/月注册 Cohort，做时序与延迟分析
  3. 激活步骤完成率（activation_step_completion_rate）
     • 类型：数值型（建议标准化到 0–1 区间；若为 0–100%，需除以 100）
     • 作用：衡量初期产品使用深度，与试用/付费转化相关性分析的核心特征
     • 质量约束：不得为负，不得大于 1；允许缺失但需记录缺失率
  4. 试用状态（trial_status）
     • 类型：布尔或枚举（未试用/试用中/试用结束）
     • 作用：中间漏斗节点，计算注册→试用、试用→付费转化
     • 质量约束：取值集合固定；定义为“当前或曾经试用过”的一致口径
  5. 付费状态（paid_status）
     • 类型：布尔（已付费/未付费）
     • 作用：最终转化节点（北极星近似指标）
     • 质量约束：定义为“截至数据抽取时是否曾付费”；口径需固定

• 推荐衍生字段（基于现有字段可直接生成）

  • register_date、register_week、register_month（从注册时间拆分）
  • activation_completed_flag（如 activation_step_completion_rate ≥ 阈值；阈值需与业务对齐，如 0.7 或 1.0 表示全流程完成）
  • channel_normalized（归一化渠道枚举，清理别名/拼写差异）
  • snapshot_date（数据快照时间，确保状态口径一致性）

• 基本数据质量检查

  • 缺失率：各字段缺失比例（尤其 channel_source、activation_rate）
  • 值域：activation_rate ∈ [0,1]；注册时间不应晚于快照时间
  • 去重：主键唯一；如缺主键，用邮箱/手机号+注册时间近似去重
  • 渠道噪声：识别并排除测试渠道、内部来源

二、可验证指标建议（口径清晰、可直接计算） 说明：以下指标均以用户级快照为基础，分母为“满足去重后的注册用户数”。状态均以“截至快照日是否曾发生”为口径。

• 漏斗类核心转化指标

  1. 注册→试用转化率（CR_reg_to_trial）
     • 公式：count(trial_status = 真) / count(所有注册用户)
  2. 试用→付费转化率（CR_trial_to_paid）
     • 公式：count(paid_status = 真 AND trial_status = 真) / count(trial_status = 真)
     • 备注：若产品允许直付跳过试用，可并行计算“全体试用用户的付费率”与“直付用户比例”
  3. 注册→付费转化率（CR_reg_to_paid）
     • 公式：count(paid_status = 真) / count(所有注册用户)

• 激活相关指标 4) 平均/中位数激活完成率（Mean/Median_activation_rate）

  • 公式：avg(activation_rate)、median(activation_rate)，可分渠道与分 Cohort 输出
  5. 激活分层付费率（Activation-tier Paid CR）
     • 分层：将 activation_rate 按阈值或分位（如四分位 Q1–Q4）分桶
     • 公式：count(paid_status = 真 且 activation_bucket = X) / count(activation_bucket = X)
     • 输出：各桶付费率与总体付费率的相对提升（Lift）

• 渠道与时间维度指标 6) 渠道注册占比（Channel Share）

  • 公式：count(channel = C) / count(所有注册用户)
  7. 渠道转化率（Channel CRs）
     • 公式（示例）：CR_reg_to_paid_by_channel = count(paid = 真 且 channel = C) / count(channel = C)
  8. Cohort 转化（按注册周/月）
     • 公式（示例）：CR_reg_to_paid_by_cohort = count(paid = 真 且 register_month = M) / count(register_month = M)
     • 备注：对比不同 Cohort 的表现，识别产品迭代或市场变化的影响

• 质量与一致性指标（观测/告警用） 9) 字段缺失率

  • 公式：missing_rate(field) = count(field IS NULL) / count(所有注册用户)
  10. 异常值占比（activation_rate 越界）
  • 公式：count(activation_rate < 0 OR activation_rate > 1) / count(所有注册用户)
  11. 可疑未来时间占比
  • 公式：count(registration_time > snapshot_date) / count(所有注册用户)

三、计算与验证口径说明

• 分母一致性：所有转化率分母需使用同一注册去重口径；若存在重复注册事件，统一按首个注册时间代表用户的注册。
• 状态定义：trial_status、paid_status建议使用“曾发生”口径，且以快照时间为参照；避免不同时间窗口导致指标不可比。
• 激活率标准化：明确激活率量纲为 0–1；若数据为百分比，统一转换后再计算。
• 分渠道清洗：合并渠道别名、剔除测试/内部渠道，使渠道对比可解释。
• 时间维度：采用 UTC 存储、按业务时区出报表；Cohort 粒度建议为周或月，避免日波动干扰。
• 可重复验证：每个指标提供SQL或数仓脚本时，固定过滤条件与字段口径，确保不同周期/人计算一致。

四、进一步分析建议（在现字段基础上可实施）

• 相关性分析：计算 activation_rate 与付费状态的点双列相关或按分位比较付费率，检验激活深度与转化的关系。
• 渠道结构化比较：对比各渠道的 activation_rate 分布与漏斗转化，识别高质量渠道与优化空间。
• 阈值寻找：通过不同 activation_completed_flag 阈值（如 0.6、0.8、1.0）测试对付费率的区分度，形成可执行的产品激活目标。

以上结构与指标口径可直接用于仪表盘与数仓度量定义，便于跨团队复核与持续监控。