测试目标

• 业务目标：提升目标功能启用率（开关打开），并在不损伤体验的前提下同步提升引导完成率、次日留存率与功能使用深度（启动次数/使用时长）。
• 主指标（Primary）：功能启用率（Exposure 后 T+24h 内首次“开关打开”/Exposure 总人数）。
• 次指标（Secondary）：
  • 引导完成率（完成引导全流程/Exposure 总人数）。
  • 次日留存率（Exposure 当日为 D0，D1 任一会话出现的用户占比）。
  • 功能使用深度（Exposure 后 7 天内的功能启动次数与总使用时长的均值/中位数）。
• 守护指标（Guardrails）：崩溃率、应用冷启动时长中位数、权限拒绝率、负面反馈率（差评/客服单）、卸载率（T+48h）、推送频控冲突率。任一异常触发回滚。

测试假设

• H1（主假设-文案主题）：强调隐私与安全承诺并辅以社会证明的文案，相比“折扣激励”文案，可使功能启用率提升约15%（相对提升，20% → 23%），同时提升引导完成率与次日留存率。
• H2（次假设-暗色模式按钮颜色）：在深色模式下，绿色主按钮相较蓝色更易促进功能启用（启用率提升方向性为正）。该假设作为探索性验证，不单独承担试验主功效要求。
• 安全合规约束：不改动系统权限说明原文；不增加对用户数据采集范围与用途的承诺风险；不与系统推送频控冲突。

测试变体设计

总体设计：分层实验。全量人群做“文案主题”A/B（1:1）；在开启深色模式的受众子集中，再做“按钮颜色” 子随机（1:1 绿色 vs 蓝色），以验证 H2。浅色模式统一使用品牌默认蓝色按钮，避免版面对比差异干扰。

• 对照组（Variant A：折扣激励主题）

  • 标题文案：开启新功能，体验更划算
  • 要点说明（3条以内，避免干扰权限说明）：
    • 限时福利：开启即可领取内测专属权益
    • 功能可随时关闭，设置中一键管理
    • 不影响现有通知/消息接收体验
  • 社会证明/安全说明：不展示用户数社会证明；不新增安全承诺陈述，仅保留标准隐私与设置入口提示。
  • 按钮文案与颜色：
    • 主按钮：立即开启，享优惠（蓝色）
    • 次按钮：稍后再说（文本按钮）
  • 安全与合规呈现方式：保留系统权限说明原文，不改动；页面底部以小字呈现《隐私政策》《权限与使用说明》链接。

• 实验组（Variant B：隐私+社会证明主题）

  • 标题文案：安全可信的智能体验
  • 要点说明（3条以内）：
    • 数据仅用于实现该功能，传输加密可随时关闭
    • 我们遵守隐私政策与本地相关法规
    • 你可在设置中一键管理权限
  • 社会证明与安全呈现：
    • 社会证明标签：已超 3,200,000 名用户开启（动态展示，随地区/语言本地化；若本地数据不足则隐藏避免误导）
    • 安全说明呈现方式：信息行内+“了解更多”折叠面板，展开后展示详细安全说明，避免干扰主任务
  • 按钮文案与颜色：
    • 深色模式：主按钮随机分配 1:1 绿色（实验）vs 蓝色（对照，品牌色）；浅色模式：统一蓝色
    • 主按钮文案：安全开启
    • 次按钮：稍后再说（文本按钮）
  • 合规：严格不改动系统权限说明原文，链接同上。

• 交互统一规则（两组一致）

  • 频控：每用户最多曝光 1 次；若用户点击关闭，则 48 小时内不再弹出；不在系统推送到达的 5 分钟内显示，避免频控冲突。
  • 位置/时机：首次完成注册并进入主要功能页后 5-15 秒内触发，以保证页面稳定与数据上报完整。
  • 埋点事件（建议）：guide_impression、guide_cta_click、guide_dismiss、permission_prompt_shown、feature_enable_on、guide_complete、session_start/session_end、retained_d1、feature_use_start/feature_use_end。

目标受众

• 纳入条件：
  • 新安装并完成注册的用户，且 7 天内尚未开启该功能。
  • 设备：iOS 14+ 与 Android 10+。
• 排除条件：
  • 弱网（如 RTT>800ms 或下行速率<128kbps）与低电量会话（电量<20%）。
  • 系统勿扰模式（DND）已开启。
  • 设备被判定为异常/自动化流量。
• 分层与分析分组：
  • 平台（iOS/Android）、系统主题（深色/浅色）、地区/语言、新用户来源渠道、设备性能分层（内存/机型）。
  • 深色模式层中进行按钮颜色子随机并单独分析 H2。

样本量计算方法与结果

• 主效应（H1：文案主题）样本量
  • 统计设定：双侧检验，alpha=0.05，power=0.8
  • 基准启用率 p1 = 0.20；MDE=15% 相对提升 → p2 = 0.20 × 1.15 = 0.23（绝对差 0.03）
  • 两独立比例样本量公式（近似）： n/组 ≈ [ (Z(1-α/2)×√(2 p̄(1-p̄)) + Z(1-β)×√(p1(1-p1)+p2(1-p2)) )^2 ] / (p1-p2)^2 其中 p̄=(p1+p2)/2
  • 代入：Z(0.975)=1.96，Z(0.8)=0.84，p̄=0.215
    • √(2 p̄(1-p̄)) ≈ 0.5809；√(p1(1-p1)+p2(1-p2)) ≈ 0.5806
    • n/组 ≈ (1.96×0.5809 + 0.84×0.5806)^2 / 0.03^2 ≈ 2,939
  • 结论：主试文案 A/B 每组至少 2,939 个有效曝光用户，总计 ≥ 5,878。
• 次效应（H2：深色模式颜色）样本量
  • 若同样以启用率 MDE=15% 相对提升、基准 20% 估算，则深色模式下每色至少 2,939 人（总计 5,878 深色模式有效曝光）。
  • 由于深色模式仅为总体子集，实际两周内可能无法满足该样本量；因此将 H2 设为探索性，不做强功效要求，并在结果解读中标注置信区间与效果方向。
• 曝光与可行性评估
  • 两周目标总曝光（主试）：≥ 5,878。折算为日均曝光 ≈ 420。
  • 受每日最多 30% 新用户曝光约束，需日均合格新用户总量 ≥ 1,400 才能在两周内达成主试样本量。
  • 若达不到上述阈值，保持两周灰度不变，但标注统计功效不足，按探索性结论输出。

测试时长规划

• 时间：灰度两周（14 天），1:1 分流，按日最多 30% 新用户曝光。
• 灰度节奏（建议）：
  • 第 1 天：10% 新用户曝光（健康度与埋点校验）
  • 第 2 天：20%
  • 第 3-14 天：30%（上限）
• 运行守则：
  • 不提前中止与不持续监控反复显著（避免窥探偏差）。仅在守护指标触发或系统性异常时回滚。
  • ITT（意向治疗）口径分析：凡被分配并曝光的用户均计入样本，无论是否点击或完成权限步骤。
  • 版本/端差异控制：仅在目标 App 版本段位启用，确保 UI 与埋点一致性；若版本混杂，需分层对比并做交互检验。

成功标准定义

• 判定口径：双侧检验，α=0.05。报告绝对差、相对差、95% 置信区间与效应量。
• 主指标（功能启用率）：
  • 主要成功：实验组（隐私+社会证明）较对照组（折扣）启用率显著提升，且相对提升≥15%（或达到预注册 MDE）；
  • 次要接受：未达显著但点估提升、无守护指标劣化，可进入二次优化或扩大样本复测。
• 次指标：
  • 引导完成率与次日留存率：不低于对照且至少一项显著提升（多重假设控制，建议 BH-FDR q=0.10）。
  • 功能使用深度：均值或中位数不降低（95% CI 不跨越 0 的负向显著）。
• H2（深色模式颜色）：
  • 探索性成功：深色模式绿色按钮启用率高于蓝色，方向为正，且95% CI 下限接近 0；如达到样本功效，按与主检相同标准判定。
• 守护指标与回滚触发（任一满足即回滚，停止实验并复盘）：
  • 崩溃率较对照上升≥20% 且显著；
  • 权限拒绝率显著上升≥10% 相对；
  • 冷启动时长中位数上升≥15%；
  • 推送频控冲突率>1% 或用户投诉/差评显著上升；
  • 内部监控发现误触发、分流失衡>1pp 或埋点丢失>3%。

——

执行与分析补充要点（便于快速落地）

• 指标定义与窗口
  • 启用率：Exposure 起 24h 内“feature_enable_on”首事件；去重同一用户。
  • 引导完成：引导流程最后一步完成事件“guide_complete”。
  • 次日留存：D0 任意会话后 D1 任意会话出现；以用户为单位去重。
  • 使用深度：Exposure 后 7 天内 feature_use_start/feature_use_end 累计次数与时长。
• 随机与分流
  • 用户级固定分流键（user_id + app_version + platform），确保跨会话一致；先分配文案 A/B，再在深色模式层做颜色子随机。
• 展示与频控
  • 单用户最多 1 次曝光；关闭后 48h 静默；与系统推送/应用内消息共用全局频控池，冲突时优先级：系统推送 > 新手引导弹窗。
• 文案与合规
  • 不改动系统弹出的权限说明文案；仅在引导弹窗内呈现隐私与安全承诺说明，并提供隐私政策链接。
• 质量保障（D1 前完成）
  • 埋点联调（事件、属性、时序）与分流均衡性检验（平台/地区/渠道/主题模式）。
  • 可视化回归：深浅色模式下对齐间距与可读性，确保色彩对比度（WCAG AA）。

本方案在两周灰度、30%/日曝光与 1:1 分流等约束下，以主指标启用率功效为优先，采用“文案主题主试 + 深色模式颜色子试”的分层设计，既保证统计功效与执行可行性，又覆盖关键业务指标与用户体验目标，可直接按上述步骤实施与评估。