课程FAQ生成器

• 功效分析与样本量估算（原理机制类 + 检验理解） 给定基线转化率 p0=5.0%，期望可检测的最小提升 MDE=+0.5 个百分点（绝对值，p1=5.5%），双侧检验，α=0.05，检验功效 1−β=0.80。请：

  1. 指定适用的功效分析方法（两独立比例的正态近似/二项精确检验），并计算每个版本所需样本量；2) 解释在采用分层随机化或协变量调整（如 CUPED）后，方差降低如何映射为样本量缩减（请明确所需的方差比或相关系数假设）；3) 讨论固定样本设计与组序贯设计在平均样本量与一类错误控制上的权衡（Cohen, 1988; Chow et al., 2008; Pocock, 1977; O’Brien & Fleming, 1979）。

• 多重比较与假发现率控制（应用场景类 + 促进讨论） 一次登陆页实验同时比较 A/B/C/D 四个版本，并跟踪 1 个主指标（转化率）和 8 个次级指标（如 AOV、留存、加载时延等）。为避免“显著性滥用”，请：

  1. 设计一套多重比较控制方案，明确主指标采用家族错误率（FWER）控制（如层级/闸门式检验），次级指标采用 FDR 控制（Benjamini–Hochberg，给出期望 q 水平）；2) 说明在多版本对比中，如何区分成对比较与对照-最佳臂筛选，并给出相应的校正策略差异；3) 讨论“同时监控多指标”引入的试探性分析风险与报告策略（Benjamini & Hochberg, 1995; Efron, 2010; Dmitrienko et al., 2009）。

• 提前停止偏差与序贯监测（常见误区类 + 检验理解） 某实验采用“滚动观察，一旦 p<0.05 即停表”的做法。历史数据显示，按小时刷新的累计 p 值经常多次“跌破 0.05”。请：

  1. 批判性评估该做法对一类错误率与效应量估计偏差的影响，并指出“胜者诅咒”与选择性报告的机制；2) 提出符合统计学原理的替代方案（如组序贯 α 消耗或始终有效 p 值/mSPRT），并阐明其保证性质与代价；3) 就运营决策（灰度发布/止损）给出可执行的监测边界与决策准则（Johari et al., 2017; O’Brien & Fleming, 1979; Kohavi et al., 2020）。

• 二次实验与效应复现（应用场景类 + 联系实际） 首次实验显示相对提升 +3.2%，双侧 p=0.03。为降低效应夸大与不可复现风险，计划开展二次确认实验。请：

  1. 设定复现实验的目标效应（例如至少复现首次提升的 50%）与更严格的功效（如 90%），据此进行样本量计算；2) 解释类型 S/M 错误及回归趋中对首次实验效应解读与复现门槛设定的启示；3) 给出预注册与分析冻结的要点，明确主要/次要分析与探索性分析边界（Gelman & Carlin, 2014; Lakens, 2021; Kohavi et al., 2020）。

• 灰度发布中的多指标与贝叶斯替代方案（原理机制类 + 促进讨论） 在上线灰度（逐步放量）策略中，同时监控 1 个北极星指标与若干“安全护栏”（如崩溃率、延迟、退款率）。请：

  1. 比较频率学派组序贯方案（如 OBF 边界+多重比较校正）与贝叶斯决策框架（如对“伤害”的后验概率阈值、区间支配准则）在提前停止、决策解释性与资源效率上的差异；2) 设计一套实操可复用的“放量—评估—决策”循环，明确每轮数据需求、停止/放量准则与报告格式；3) 讨论当次级安全指标短期“轻微恶化”但主指标显著改善时的权衡与治理机制（Spiegelhalter et al., 2004; Johari et al., 2017; Kohavi et al., 2020）。

参考文献

• Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society B, 57(1), 289–300.
• Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Lawrence Erlbaum.
• Chow, S.-C., Shao, J., & Wang, H. (2008). Sample Size Calculations in Clinical Research (2nd ed.). Chapman & Hall/CRC.
• Efron, B. (2010). Large-Scale Inference: Empirical Bayes Methods for Estimation, Testing, and Prediction. Cambridge University Press.
• Gelman, A., & Carlin, J. (2014). Beyond Power Calculations: Assessing Type S (Sign) and Type M (Magnitude) Errors. Perspectives on Psychological Science, 9(6), 641–651.
• Johari, R., Pekelis, L., & Walsh, D. J. (2017). Always Valid Inference: Bringing Sequential Analysis to A/B Testing. arXiv:1512.04922.
• Kohavi, R., Tang, D., Xu, Y., & Chen, N. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
• O’Brien, P. C., & Fleming, T. R. (1979). A multiple testing procedure for clinical trials. Biometrics, 35(3), 549–556.
• Pocock, S. J. (1977). Group sequential methods in the design and analysis of clinical trials. Biometrika, 64(2), 191–199.
• Spiegelhalter, D. J., Abrams, K. R., & Myles, J. P. (2004). Bayesian Approaches to Clinical Trials and Health-Care Evaluation. Wiley.

1. 原理机制类：在企业知识库异构（FAQ、手册、工单、SOP）的前提下，如何设计面向客服RAG的“召回—重排序—生成”流水线以同时达成正确率与SLA延迟目标？请比较BM25与密集向量检索（如SBERT/DPR）及混合检索在召回率、领域适配成本与计算开销上的权衡；说明重排序（Cross-Encoder）对Top-k质量与端到端时延的影响；给出面向“答案一致性与可控性”的检索后约束（如基于阈值的可回答性判定与模板化填充）的设计要点。（Lewis et al., 2020; Karpukhin et al., 2020; Reimers & Gurevych, 2019; Nogueira & Cho, 2019; Khattab & Zaharia, 2020）

2. 应用场景类：面向“工单自动分类—知识库问答—SLA集成”的端到端流程应如何组合意图识别、对话状态管理与灰度上线策略？请阐述LLM少样本意图识别与传统监督分类器的分工与回退机制；说明状态机/对话记忆如何约束工具调用与话术一致性；给出灰度上线（如金丝雀发布/分流比例控制）在监控指标（正确率、覆盖率、CSAT、升级率）与自动回滚阈值上的配置建议。（Beyer et al., 2016）

3. 常见误区类：为何“一个提示词模板跑天下”在客服场景中不可行？请提出提示词鲁棒性测试方案，覆盖越权指令、提示注入、越域问答、多语言/口语化、极端长上下文等干扰；说明如何结合规范化系统提示、工具白名单、内容安全过滤与对齐技术（如基于规则/宪法原则的自检）降低幻觉与偏航风险；明确离线红队与在线安全监控（拒答率、审计命中率）的评价闭环。（Liang et al., 2022; OWASP, 2023; Bai et al., 2022; Greshake et al., 2023）

4. 学习建议类：如何构建“离线评测—小流量A/B—全面部署”的反馈回路以实现持续优化？请给出知识库问答与工单分类的标注与抽样策略；明确指标口径（正确率、覆盖率、CSAT、平均处理时长、升级/转人工率）与置信区间计算；讨论知识漂移与业务季节性的监测与回放；说明当离线指标与线上CSAT不一致时的诊断路径（数据切片、错误类型分解、RAG召回分析、提示词回归测试）。（Kohavi et al., 2009; Maynez et al., 2020; Lin et al., 2021; Liang et al., 2022）

5. 合规安全类：在PII数据脱敏与合规模型治理中，企业客服应遵循哪些“最小可行合规清单”？请围绕数据最小化、合法性与目的限制、存储期限、加密与访问控制、训练/日志/监控三处的PII去标识化策略（掩码、标记化、可逆/不可逆散列）、可审计留痕与DPIA流程提出可操作条目；说明跨境传输与第三方模型调用的合同与技术补救要求。（Regulation (EU) 2016/679; NIST SP 800-122, 2010; ISO/IEC 27701:2019; OWASP, 2023）

参考文献

• Bai, Y., et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Beyer, B., et al. (2016). Site Reliability Engineering: How Google Runs Production Systems. O’Reilly.
• Khattab, O., & Zaharia, M. (2020). ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction. SIGIR.
• Karpukhin, V., et al. (2020). Dense Passage Retrieval for Open-Domain QA. EMNLP.
• Kohavi, R., et al. (2009). Controlled experiments on the web: survey and practical guide. DMKD.
• Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP. NeurIPS.
• Liang, P., et al. (2022). Holistic Evaluation of Language Models. arXiv:2211.09110.
• Lin, S., Hilton, J., & Evans, O. (2021). TruthfulQA. arXiv:2109.07958.
• NIST. (2010). SP 800-122: Guide to Protecting the Confidentiality of PII.
• Nogueira, R., & Cho, K. (2019). Passage Re-ranking with BERT. arXiv:1901.04085.
• OWASP. (2023). OWASP Top 10 for Large Language Model Applications.
• Regulation (EU) 2016/679 (GDPR).
• Reimers, N., & Gurevych, I. (2019). Sentence-BERT. EMNLP.
• ISO/IEC. (2019). 27701: Security techniques—PIMS requirements.
• Greshake, K., et al. (2023). Not What You’ve Signed Up For: Compromising LLMs via Prompt Injection. arXiv:2302.12173.