机器学习评估指标专家

CTR@k（Click-Through Rate）

• 计算方法：CTR@k = 顶部k位曝光的点击数 / 顶部k位曝光次数。
• 适用场景：衡量排序质量与吸引力的首要业务指标，适合在线A/B与离线回放。
• 优缺点：直观敏感；易受位置偏置与标题党影响。应结合位置校正或把“跳出率”作护栏。

RCR（Read Completion Rate，阅读完成率）

• 计算方法（建议统一口径）：RCR = 完读数 / 打开次数；完读判定：滚动深度≥90% 或 归一化停留≥阈值（如≥0.8）。
• 适用场景：衡量阅读质量与内容匹配，尤其对长文重要。
• 优缺点：能抑制点击率与质量不一致的问题；需设定合理的“完读阈值”，并对长短文分别监控，避免长度偏置。

nDT（Normalized Dwell Time，归一化停留时长）

• 计算方法：nDT = min(1, 实际停留时间 / 期望阅读时长)，期望阅读时长≈字数 / 平均阅读速率（如每分钟300–400字；业务可按类别校准）。
• 适用场景：兼顾长短文，衡量页面停留是否达到应有水平。
• 优缺点：降低长度影响，更公平地比较长短文；需维护可靠的期望时长估计（按文体、用户速度分层更稳）。

Engagement-NDCG@k（带参与度增益的归一化折损累计增益）

• 计算方法：令每条内容的增益 g_i = α·click_i + β·complete_i + γ·nDT_i（α、β、γ按业务权重设定，如 β≥α，γ用于长文平衡）。 DCG@k = Σ_{i=1..k} g_i / log2(i+1)，NDCG@k = DCG@k / IDCG@k（IDCG为同集合的理想排序的DCG）。
• 适用场景：离线评估排名模型（CTR/完读/停留综合），对“点击+深读”双目标更稳。
• 优缺点：与排序目标一致；权重需通过历史实验或高层OEC确定；对展示位敏感，需明确k（如k=5,10）。

校准指标（针对点击/完读预测）

• Brier Score：均方误差，BS = mean((p̂ - y)^2)。
• ECE（Expected Calibration Error）：把预测概率分桶，ECE = Σ_m (n_m/N) · |avg(p̂)_m - avg(y)_m|。
• 适用场景：验证CTR/完读模型的概率是否可信，避免因概率不准导致次优排序或预算浪费。
• 优缺点：简单直观；ECE受分桶影响，建议配合可靠性图与分箱敏感性分析。

ILD@k（Intra-List Diversity，列表内多样性）

• 计算方法：ILD@k = 2 / (k·(k-1)) · Σ_{i<j} (1 - sim(i,j))，sim 可用主题/语义向量的余弦相似度。
• 适用场景：单用户列表的内容差异性，避免同质化。
• 优缺点：可直接感知“看起来都一样”的问题；依赖相似度模型质量，需统一向量与相似度口径。

Coverage（覆盖度）

• Item Coverage（全站）：被曝光过的内容数 / 候选内容总数。
• Topic/Source Coverage@k（单列或全局）：列表中的独立主题/来源数 / 总主题/来源数。
• 适用场景：衡量长尾与来源均衡曝光，防止集中于少数热门与头部媒体。
• 优缺点：简单清晰；不直接衡量“相关性”，需与质量指标联用。

Novelty@k / Serendipity@k（新颖度 / 意外惊喜）

• Novelty 计算：nov(item) = 1 - pop_percentile(item)，Novelty@k = 平均 nov。
• Serendipity 计算：Serendipity@k = 平均 [rel(item) · (1 - sim_to_user_history(item))]，rel 可用点击/完读标记或模型分。
• 适用场景：鼓励跳出用户惯常兴趣，同时保证有用。
• 优缺点：有效对抗信息茧房；需要定义“用户历史相似度”与“流行度”，口径不可频繁变动。

• 计算方法：IPS估计的CTR = mean(click · 1 / prop_show)，SNIPS对权重归一化以降方差。
• 适用场景：用带随机/探索日志的倾向得分（prop_show）对离线评估去偏。
• 优缺点：能更接近在线真实效果；需要可靠的倾向建模与一定随机性日志。

目标：提升点击与深度阅读（默认）

• 主指标优先级：Engagement-NDCG@k（β≥α）、CTR@k、RCR、nDT。
• 护栏：Bounce Rate、Freshness、校准（Brier/ECE）。
• 多样性目标：ILD@k、Topic/Source Coverage@k 设置最低阈值（如 ILD@10≥0.3，来源覆盖≥3）。

目标：强化深度阅读与满意度（长文重点）

• 主指标优先级：RCR、nDT、Engagement-NDCG@k（加大β、γ权重）。
• 护栏：CTR 不显著下滑（相对基线≤X%），跳出率下降。
• 多样性：Serendipity@k、Inter-User Diversity 提升，避免只推“长文重度兴趣圈”。

目标：提升多样性与抑制信息茧房

• 主指标优先级：ILD@k、Topic/Source Coverage、Novelty@k、Inter-User Diversity、Long-tail Exposure/Gini。
• 护栏：Engagement-NDCG@k 不低于基线-Y%，RCR 不显著下降，Freshness维持。
• 策略：用“多目标OEC+约束”形式，如 OEC = w1·CTR + w2·RCR + w3·nDT，附带约束 ILD@k≥阈值、Gini≤阈值、Freshness≥阈值。

在线业务效果验证（A/B试验建议）

• OEC（总体评估准则）：OEC = 0.4·CTR + 0.4·RCR + 0.2·nDT（示例，需按你们业务历史调参）。
• 护栏与合规：Bounce Rate、Freshness、Topic/Source Coverage、Long-tail Exposure、延迟（响应时延）、投诉/举报率。
• 分群监控：长文/短文、冷启动用户、重度/轻度读者、不同时段与事件热度。

长短文归一化与分群评估

• 停留与完读需长度归一化，建议同时报告“分桶结果”（短文、中篇、长文）。
• nDT 的期望时长应按文体与用户阅读速度分层校准，避免统一速率造成偏差。

位置与曝光偏置

• 离线评估尽量用带探索的日志并应用IPS/SNIPS；或在在线A/B中控制展示位（随机化top-N中的部分）。
• 明确k值与页内布局（首屏/二屏）对CTR与NDCG的影响。

指标口径一致性

• 定义统一的“完读阈值”“跳出阈值”“流行度计算窗口（如7/30天）”“相似度模型与主题体系”，防止指标漂移。
• Novelty/Serendipity 依赖“用户历史窗口”（如过去30天），需固定窗口并定期复盘。

多样性度量的技术依赖

• ILD/Inter-User Diversity 取决于内容向量与主题标签质量；建议使用文本+图像多模态向量，并定期做向量质量回测。
• Coverage类指标要区分“可用候选集合”与“全库”，避免把下架或低质内容计入分母。

防标题党与质量守护

• 同时监控 CTR 上升与 Bounce Rate/RCR 下降的对冲；必要时引入“点击后满意度”代理（如停留>20秒且滚动>50%）。
• 对来源与内容质量设红线（违规/低质打压），在多样性提升时不牺牲安全。

时效性与非平稳性

• 新闻有强时间漂移，评估窗口需短（如日/周），并在热点事件时单独监控指标（防止热点拉高CTR而掩盖其他问题）。

统计显著性与稳健性

• 在线实验报告效应大小（相对提升%）、置信区间、p值；避免仅看平均而忽略方差。
• 设立“最小可检测效应”（MDE）与实验时长，防止过早结论。

组合与权重学习

• OEC权重可通过历史A/B结果回归或分层贝叶斯方法学习；在不同战略周期（追增长/追质量）调整权重。
• 对多样性相关指标更适合作为“约束/护栏”而非直接加权到OEC，避免模型为刷多样性牺牲相关性。

MAE（Mean Absolute Error，平均绝对误差）

• 计算方法：MAE = (1/n) Σ |y_i − ŷ_i|
• 适用场景：作为“写作指导”的核心指标，单位与业务一致（秒），易解释。
• 优缺点：对异常值不敏感（比RMSE更稳健）；但不体现相对误差，对长尾/不同量级样本的相对偏差不敏感。

RMSLE 或 log1p-MAE（对数尺度误差）

• 计算方法：
  • RMSLE = sqrt[(1/n) Σ (log(1+y_i) − log(1+ŷ_i))^2]
  • 或 log1p-MAE = (1/n) Σ |log(1+y_i) − log(1+ŷ_i)|
• 适用场景：阅读时长长尾、倍数误差更有业务意义时；既用于算法对比，也更贴近“相对准确度”。
• 优缺点：降低长尾影响、衡量比例型误差；但对0值需用log1p处理，解释单位不直观（对数域）。

NDCG@K（Normalized Discounted Cumulative Gain，归一化折损累计增益）

• 计算方法（面向“首页排序”离线评估，按会话/曝光批次计算后取平均）：
  • 令排名第i的预测结果对应真实增益 g_i，DCG@K = Σ_{i=1..K} g_i / log2(i+1)
  • NDCG@K = DCG@K / IDCG@K（IDCG为真实最优排序的DCG）
  • 增益建议：g(y) = log(1 + min(y, T_cap)) 或 g(y) = min(y, T_cap)，以抑制极端长尾
• 适用场景：离线模拟“按预测值排序”的质量；K取5/10/20与业务层级匹配。
• 优缺点：贴合排序业务目标，稳健对比不同算法；但依赖会话划分与增益定义，绝对值无业务单位。

Spearman ρ（秩相关）或会话内C-index（一致性指标）

• 计算方法：
  • Spearman ρ：计算真实y与预测ŷ在同一会话内的秩相关系数，再在会话间平均
  • C-index（Concordance Index）：随机采样同一会话内样本对(i,j)，统计 sign(ŷ_i − ŷ_j) 与 sign(y_i − y_j) 一致的比例
• 适用场景：评估“相对排序正确性”；对刻度不敏感。
• 优缺点：直接反映排序一致性；但无法体现刻度/绝对误差。

校准斜率/截距（Calibration slope/intercept）

• 计算方法：在测试集上回归 y = a + b·ŷ，报告 b（斜率）与 a（截距）
• 适用场景：用于“写作指导”与跨人群可解释性；斜率≈1、截距≈0表示刻度校准好。
• 优缺点：可诊断系统性偏差（整体高估/低估、缩放问题）；但不是误差指标，需与MAE/RMSLE一起使用。

RMSE（Root Mean Squared Error，均方根误差）

• 计算方法：RMSE = sqrt[(1/n) Σ (y_i − ŷ_i)^2]
• 适用场景：在意大误差惩罚时；对比算法鲁棒性。
• 优缺点：突出大偏差，但对长尾/噪声很敏感，易被极端样本主导。

MedianAE（中位绝对误差）

• 计算方法：样本绝对误差的中位数
• 适用场景：数据含离群值或测量噪声大时，作为稳健统计量。
• 优缺点：抗极端值，非常稳健；但不反映总体均值水平。

WAPE / sMAPE（加权/对称相对误差）

• 计算方法：
  • WAPE = Σ|y−ŷ| / Σ|y|
  • sMAPE = (1/n) Σ [2|y−ŷ| / (|y|+|ŷ|)]
• 适用场景：需要“相对误差”解释（如不同量级文章可比）；WAPE常用于业务汇总看整体相对偏差。
• 优缺点：具相对尺度含义；MAPE对 y≈0 不稳定，sMAPE更稳健但对小值仍敏感。

R²（决定系数）

• 计算方法：R² = 1 − Σ(y−ŷ)² / Σ(y−ȳ)²
• 适用场景：快速看“相对基线”的拟合程度。
• 优缺点：易受长尾和分布变化影响，可能为负；仅作参考，不建议单独用于排序或业务决策。

Pinball Loss（分位数损失）/ PICP & Winkler Score（若模型输出不确定性）

• 计算方法：
  • Pinball(τ) = (1/n) Σ ρ_τ(y−q̂_τ)，ρ_τ(u)=max(τu, (τ−1)u)
  • PICP（区间覆盖率）：真实y落在预测区间的比例；Winkler得分综合区间宽度与是否命中
• 适用场景：为写作指导提供置信区间/分位数预测时。
• 优缺点：面向不确定性评估，能检查“覆盖率=目标置信水平”；但实现要求模型输出分布或分位数。

分组误差与稳定性（Cohort MAE/WAPE、分桶校准）

• 计算方法：按用户活跃度、内容长度、题材、冷启动程度等分组，分别计算MAE/WAPE与校准，再加权平均。
• 适用场景：发现特定人群/内容类型的系统性偏差，指导特征/损失加权优化。
• 优缺点：可显著提升可解释性；但需合理的分组设计与样本量。

首页排序优先（离线）

• 第一优先：NDCG@K（K=5/10/20；g(y)=log(1+min(y,T_cap))），平均于会话
• 第二优先：Spearman ρ 或 C-index（会话内平均）
• 第三优先：RMSLE 或 log1p-MAE（确保对长尾稳健，避免被极端值误导）
• 诊断性：分组NDCG、分组ρ，查看在不同内容类型/用户段的排序一致性

写作指导优先（绝对数值与校准）

• 第一优先：MAE（原始秒级）
• 第二优先：WAPE 或 sMAPE（便于跨量级的相对误差对比）
• 第三优先：校准斜率/截距（理想：斜率≈1、截距≈0）
• 长尾稳健：RMSLE 或 log1p-MAE 作为补充，避免少数超长停留主导评估
• 若提供区间/分位数：PICP（目标95%）、Winkler/Pinball(τ=0.1/0.5/0.9)

综合算法对比（统一看板）

• 主面板：NDCG@K、MAE、RMSLE、Spearman ρ、校准斜率/截距
• 分组面板：按内容长度、主题、用户活跃度、新老文章等维度的MAE/WAPE与NDCG
• 统计显著性：对会话级NDCG、样本级误差做配对bootstrap，报告95%置信区间与相对提升（如MAE相对下降%)

长尾与极端值

• 建议在评估中同时报告原尺度（MAE）与对数尺度（RMSLE/log1p-MAE）；对NDCG使用增益截断 T_cap 或log增益，避免极端值主导。
• 可对评估用的误差进行Winsorize（如99.5分位）用于稳定均值类指标，但需同时保留未经截断的报告以透明化。

会话/曝光粒度与数据切分

• 排序类指标必须在“同一会话/同一曝光池”内计算后再平均，严禁跨会话混排。
• 采用时间切分或留后验证，避免时间泄漏；尽量保证训练/验证分布一致。

0值与很小停留

• MAPE不适合含0值场景；优先WAPE或sMAPE。对对数类指标使用log1p以避免log(0)。
• 如存在测量下限（如<1秒记为0），在解释相对误差时需特别提示。

文章长度与用户差异的混杂

• 建议同时报告“归一化误差”：如 nMAE = |y−ŷ| / max(ε, 期望阅读时长基线)，基线可由字数/阅读速度估计。
• 分组评估（长文/短文、冷启动/热门、不同用户活跃度）以发现系统性偏差。

校准诊断

• 除斜率/截距外，可做预测分位分桶（如10等频），对比每桶平均ŷ与平均y，计算分桶校准MAE/RMSE。
• 若用于人机协作建议（写作指导），不良校准会直接影响信任度，应作为优化目标（可引入校准正则或后处理缩放）。

不确定性与分位数（若输出）

• 检查PICP是否接近目标置信水平（如95%）；过宽区间虽高覆盖但实用性差，需结合平均区间宽度（PINAW/Winkler）权衡。
• 分位数预测用Pinball Loss评估 τ=0.5/0.9/0.95 等关键分位，提升对长尾上侧风险的刻画。

统计显著性与可复现实验

• 对关键指标（会话级NDCG、样本级MAE/RMSLE）做配对bootstrap或置换检验，报告CI与p值。
• 固化会话划分、暴露池构造、截断/增益函数、评估脚本版本，确保横向比较公平。

业务一致性

• 排序用指标与线上目标要一致（如线上优化Top-K时，线下应报告相同K）；写作指导强调可解释的绝对误差与良好校准。
• 引入简单而强的基线（如“按字数×平均阅读速度”或“用户历史平均停留”），报告相对提升，便于业务方理解。