评估指标

准确率作为分类指标有什么缺陷？为什么在样本不均衡时不可靠？¶

准确率（Accuracy）定义为预测正确的样本数占总样本数的比例：

其中 TP=真正例，TN=真负例，FP=假正例，FN=假负例。

缺陷：

对类别分布敏感：当类别严重不均衡时，准确率会高估模型性能。例如某二分类任务中负样本占 99%，模型只需将所有样本预测为负类，就能获得 99% 的准确率，但完全无法识别正类，毫无实用价值。
无法反映不同类型的错误代价：它将假正例和假负例视为同等重要，但在很多场景（如疾病诊断、欺诈检测）中漏掉一个正例的代价远高于误判一个负例，准确率掩盖了这些细节。
多分类时忽略小类别：对于多类问题，即使某些小类完全预测错误，只要大类正确率高，整体准确率仍可能很高，无法衡量模型在小类上的表现。

因此，在不均衡数据上，更应关注精确率、召回率、F1 分数、PR 曲线等指标。

精确率（Precision）和召回率（Recall）的公式是什么？两者之间如何权衡？¶

精确率（Precision）：在所有被模型预测为正类的样本中，真正为正类的比例。

召回率（Recall）：在所有真实正类样本中，被模型正确预测为正类的比例。

权衡

精确率和召回率通常是一对矛盾的指标。模型通常输出一个置信度分数，设定阈值来划分正负类。

提高阈值：更严格地预测正类，预测出的正类数量减少，精确率可能升高，但有些正样本可能因分数不够而被漏掉，导致召回率下降。
降低阈值：更宽松地预测正类，能找出更多真实正样本，召回率上升，但也会引入更多假正例，导致精确率下降。

因此，需要根据任务需求在精确率和召回率之间寻找平衡点，或使用 F1 分数（调和平均）来综合衡量，也可通过 PR 曲线可视化不同阈值下的表现。

F1-Score 是精确率和召回率的调和平均，为什么使用调和平均而非算术平均？¶

F1-Score 公式：

它是精确率和召回率的调和平均数。

为什么用调和平均：

调和平均对极小值更敏感。如果其中一个指标很低，F1 分数会非常低，而算术平均可能会掩盖这种不平衡。例如，精确率 = 1.0，召回率 = 0.01，算术平均 ≈ 0.505，但 F1 ≈ 0.02。F1 能更真实地反映模型在两者上的综合表现，避免“偏科”情况。
它惩罚极端值，鼓励精确率和召回率同时都较高，这符合实际需求：一个好模型应该既有较高的查准率也有较高的查全率。
若使用算术平均，模型可能投机取巧（例如将几乎全部样本预测为正，召回率≈1，精确率较低，算术平均仍可能不低），而 F1 能有效抑制这种策略。

因此，F1 分数成为不均衡分类中最常用的综合指标之一。

在什么场景下更关心精确率？什么场景下更关心召回率？请举例。¶

更关心精确率（Precision）的场景

当假正例（错误报警）的代价很高时，我们希望模型预测出的正例尽可能准确。

垃圾邮件检测：将正常邮件误判为垃圾邮件（假正例）比漏掉垃圾邮件更糟糕，用户可能丢失重要信息。高精确率意味着标记为垃圾邮件的几乎都是真的垃圾。
推荐系统（推送通知）：向用户推送不感兴趣的内容（FP）会造成骚扰，降低用户体验，因此每次推送都应力求精准。
金融交易预警：误把合法交易标记为欺诈（FP）会冻结正常交易，引起客户不满。

更关心召回率（Recall）的场景

当假负例（漏检）的代价极高时，我们希望尽可能找出所有正例，宁可多一些误报。

疾病筛查：漏掉一个癌症患者（FN）后果致命，而误报（FP）可通过进一步检查排除。高召回率保证不放过潜在患者。
欺诈检测：漏掉一笔欺诈交易（FN）导致直接经济损失，误报（FP）只是增加人工审核成本，可接受。
安全检测（机场安检）：漏掉危险物品（FN）威胁安全，宁可多检查一些无问题的行李（FP）。

在应用中，可通过调整阈值或使用 F-beta 分数（F2 更重视召回率，F0.5 更重视精确率）来适应该需求。

ROC 曲线是如何绘制的？AUC 的含义是什么？¶

ROC 曲线（Receiver Operating Characteristic Curve）

以假正率（FPR）为横轴，真正率（TPR，即召回率）为纵轴绘制的曲线。

绘制过程：

对于二分类模型，它对每个样本输出一个正类概率。
将概率从高到低排序，依次将每个概率值作为阈值。
对每个阈值，计算 TPR = TP/(TP+FN) 和 FPR = FP/(FP+TN)。
在坐标图中描点，连接即得 ROC 曲线。

当阈值很高时，几乎所有样本被预测为负，TPR≈0，FPR≈0，点靠近左下角；阈值很低时，几乎所有样本被预测为正，TPR≈1，FPR≈1，点靠近右上角。理想模型靠近左上角（TPR=1, FPR=0）。

AUC（Area Under Curve）

AUC 是 ROC 曲线下的面积，范围 [0, 1]。它衡量模型区分正负类的能力：

AUC = 1：完美分类器。
AUC = 0.5：随机猜测（对角线）。
AUC < 0.5：比随机还差，但可反向使用。

AUC 的直观意义：随机选取一个正样本和一个负样本，分类器给正样本的预测值大于负样本的概率。AUC 越大，模型越有可能将正样本排在负样本前面。它对类别不平衡不敏感（因为 TPR 和 FPR 都是比率，不受正负样本绝对数量影响），但易受极端不平衡或小样本评估波动影响。

AUC 对样本分布是否敏感？为什么它在某些样本不均衡场景下仍会被“欺骗”？¶

理论上，AUC 对类别不均衡不敏感：因为 TPR 和 FPR 都是类别内部的条件概率，独立于正负样本的绝对数量。即使正负比从 1:1 变为 1:100，AUC 的计算结果不会自动改变（只要模型排序能力不变）。因此常被认为是不均衡场景下可靠的指标。

但 AUC 仍有被“欺骗”的风险：

极度不均衡且小样本：当正样本极少时，TPR 估算非常不稳定，微小的 FP 变化可能导致 ROC 曲线波动剧烈，AUC 估计值不可靠。
评估关注点错位：AUC 反映全局排序能力，而不考虑具体阈值。实际业务可能只关心前 k% 的预测（如推荐系统的 top-N），ROC 对此不敏感，可能导致选出 AUC 高但实际表现差的模型。
掩盖局部性能问题：如果模型在低 FPR 区域表现极差（例如 FPR 稍增加就会漏掉大量正样本），但中高 FPR 区域表现好，AUC 总体仍可能较高。但在欺诈检测等场景，我们恰恰只关心低 FPR 区域。此时 PR 曲线或 partial AUC 更能反映问题。
负样本内部结构影响：当负样本包含不同子群，且模型对某些子群的评分异常，可能扭曲 AUC 但业务上可能仍可接受。

因此，尽管 AUC 相对鲁棒，但在极端不均衡或聚焦特定工作点时，应结合 PR 曲线、F1、或局部 AUC 等指标综合判断。

PR 曲线和 ROC 曲线有何不同？在正负样本极度不均衡时，应该看哪条曲线？¶

PR 曲线（Precision-Recall Curve）以召回率（Recall）为横轴，精确率（Precision）为纵轴。PR 曲线更关注正类的预测效果。

区别：

查看内嵌表格

极度不均衡时选择

应优先看 PR 曲线，理由：

当负样本极多（例如 99.9% 负类），FPR = FP/(FP+TN) 中的 TN 巨大，即使引入大量假正例，FPR 变化仍微小，ROC 曲线会呈现“乐观”的高 AUC。但实际上，这些假正例会极大降低精确率，因为精确率 = TP/(TP+FP)，FP 增加导致精确率急剧下降。PR 曲线能尖锐地反映这种下降。
在不均衡问题中，我们更关心正样本是否能被有效找出（召回率）且代价可承受（精确率）。PR 曲线直接展示这个权衡，更贴合业务需求。

因此，在极度不均衡时（如异常检测、点击率预估），PR 曲线比 ROC 更能揭示模型真实性能。

混淆矩阵能提供哪些信息？如何从中推导出 TPR、FPR 等指标？¶

混淆矩阵（Confusion Matrix）

对于二分类，是一个 2×2 表格：

查看内嵌表格

从中可以直接读出 TP、FN、FP、TN 的数量。

推导常见指标：

真正率（TPR/Recall/Sensitivity） = TP / (TP + FN) 反映正样本被正确识别的比例。
假正率（FPR） = FP / (FP + TN) 反映负样本被误判为正的比例。
真负率（TNR/Specificity） = TN / (FP + TN) = 1 - FPR
精确率（Precision） = TP / (TP + FP)
准确率（Accuracy） = (TP + TN) / (TP+TN+FP+FN)
F1 分数 = 2 × (Precision × Recall) / (Precision + Recall)

多分类混淆矩阵同理，是一个 k×k 矩阵，对角线为正确分类，可计算每个类别的精确率、召回率，并可宏观/微观平均得到全局指标。

混淆矩阵提供了原始数据，可灵活计算各种指标，并直观展示各类别的混淆情况。

对于多分类任务，如何计算宏观平均（macro）和微观平均（micro）的精确率、召回率、F1？¶

假设有 K 个类别，对于每个类别 i，可得到 TPᵢ, FPᵢ, FNᵢ, TNᵢ。

在样本不均衡时，微观平均受大类主导，而宏观平均平等对待每个类，能反映小类性能。

Macro-F1 和 Micro-F1 在样本不均衡时表现有何不同？¶

Macro-F1：给每个类别相同的权重，不论该类别样本多少。它对小类别的性能非常敏感。如果某个小类预测极差，Macro-F1 会显著降低，即使大类表现很好。这有助于发现模型在少数类上的不足，适用于需要关注所有类别的情形。

Micro-F1：将所有样本平等看待，每个样本对最终指标的贡献相同。因此，大类的样本数多，主导了计算结果。在不均衡数据上，即使小类完全错误，只要大类正确率高，Micro-F1 仍然可以很高。它实际等同于整体准确率（在多类单标签情况下），无法反映小类效果。

选择：

若你关心所有类别同等重要（例如，每个类别代表不同的疾病，漏掉任何一种都不行），应使用 Macro-F1。
若你更看重整体样本的正确率，且大类别占据绝对多数，可以用 Micro-F1，但必须清楚其局限性。
有时会使用 Weighted-F1，按各类样本数加权平均，折中方案。

因此在极度不均衡时，通常 Macro-F1 更能暴露模型对小类的忽视。

什么是 Top-K 准确率？它常用于哪些任务？¶

Top-K 准确率：在分类时，对于每个样本，如果真实标签出现在模型预测概率最高的 K 个类别之中，则认为预测正确。例如 Top-5 准确率：预测的 top-5 类别中包含真实标签即算对。

适用任务：

图像分类：ImageNet 竞赛常用 Top-1 和 Top-5 准确率，因为一张图像可能包含多个可能的标签或类别间有模糊性，允许模型有多选机会。
推荐系统：评估推荐列表的命中率，如 Top-N 推荐，用户是否点击了列表中的某个商品。
信息检索：查准率@K、召回率@K。
大规模词汇识别/语言模型：衡量模型在多义词和近义词上的容错能力。

它降低了严格单标签评估带来的惩罚，对类别数量极大、存在歧义的任务更为公平。

回归任务的常用评估指标有哪些：MSE、RMSE、MAE、R²，各自的含义和适用场景？¶

MSE（均方误差）：

平方误差放大离群点影响，对大误差惩罚更重。可导，常用于损失函数。场景：对异常值不敏感时，如一般预测任务。
RMSE（均方根误差）：

与目标变量同量纲，更易解释。对离群值同样敏感。广泛用于评估预测精度，如房价预测、温度预测。
MAE（平均绝对误差）：

线性惩罚，对异常值鲁棒。当数据有噪声或很多离群值时，MAE 比 MSE 更稳定。场景：金融异常值较多时，或需要鲁棒估计。
R²（决定系数）：

衡量模型解释的变异占总体变异的比例。最大为 1，越接近 1 越好；可为负（表示模型比简单均值还差）。提供了无量纲的相对评价。场景：比较不同模型对同一目标变量的拟合优度，或线性回归的评估。

选择：需考虑是否对离群值敏感，是否要求可解释性，以及目标变量尺度。

R² 分数可能为负数吗？在什么情况下为负数？¶

可能为负数。当模型预测值比直接使用均值预测的误差还要大时：

常见情况：

在测试集上，若模型过拟合严重或根本未学到规律，预测误差极大。
使用了不适当的模型（如线性模型去拟合非线性关系），导致预测偏差很大。
数据分布与训练时完全不同（概念漂移）。

当目标变量分布有偏时，用哪个回归指标更鲁棒？¶

目标变量有偏（如长尾分布、存在极端值）时，基于平方误差的 MSE/RMSE 会被离群值主导，导致评估偏向大值端。此时更鲁棒的指标有：

MAE（平均绝对误差）：因线性惩罚，不受少数极端值大幅影响。
MAPE（平均绝对百分比误差）：相对误差，无量纲，但要求非零，且对小值惩罚重（当真实值很小，百分比误差极大）。对正数有偏分布可用，但需注意处理真实值为零的情况。
中位数绝对误差（MedAE）：取绝对误差的中位数，完全忽略离群值的大小，非常鲁棒。
分位数损失（Quantile Loss）：可评估不同分位数，对离群值不敏感。
Huber Loss：结合 MSE 和 MAE，对离群值鲁棒。

通常，如果目标是典型用户，可用 MAE 或 MedAE；如果关心所有用户的平均误差，可使用 Huber 损失。选用时也需考虑业务解释，比如 MAE 直观易懂。

在目标检测中，IoU 是如何计算的？mAP 又是如何基于 IoU 和 Precision-Recall 计算的？¶

IoU（Intersection over Union）：预测边界框与真实边界框的交集面积除以并集面积。

IoU 衡量定位精度，通常设定阈值（如 0.5）判定预测框是否正确（真阳性）。

mAP（mean Average Precision）是目标检测的核心指标。

计算步骤：

对每个类别，收集所有预测框（通常按置信度排序），计算与所有真实框的 IoU。
应用 IoU 阈值（如 0.5），匹配预测框与真实框（通常每个真实框只匹配一个预测框，最高 IoU 且超过阈值）。得到 TP、FP；未匹配的真实框算作 FN。
按置信度排序，逐渐增加预测框，计算累积的精确率和召回率，绘制 PR 曲线。
对该类别的 PR 曲线计算 Average Precision (AP)，即插值后的 PR 曲线下面积，或使用 101 点插值法（Pascal VOC）或积分法（COCO 使用 101 点插值？COCO 使用 101 点插值实际上是在 0 到 1 的 recall 上取 101 个等间距点，计算精确率，然后平均。或者直接使用所有 recall 值计算 AUC。COCO 采用 101 点插值平均。）
对所有类别的 AP 取平均，即为 mAP。

常用 mAP 变体：

mAP@0.5：IoU 阈值固定为 0.5。
mAP@0.5:0.95：IoU 从 0.5 到 0.95，步长 0.05，共 10 个阈值，分别计算 AP 再取平均，强调高定位精度。

mAP 同时考虑分类准确率和定位精度，是目标检测的标准评估指标。

mAP@0.5 和 mAP@0.5:0.95 的区别是什么？¶

mAP@0.5：IoU 阈值为 0.5，只要预测框与真实框的 IoU ≥ 0.5 即视为正确检测。该标准相对宽松，对小偏移容忍度高，主要评估“是否存在物体”。在 Pascal VOC 竞赛中常用。

mAP@0.5:0.95 (COCO mAP)：以 0.05 为步长，计算 IoU 从 0.5 到 0.95 共 10 个阈值下的 AP，然后取平均。这要求模型在不同 IoU 标准下都能表现良好，对定位精度要求更高，奖励那些能精确贴合物体边界的检测器。更严格，也更符合实际应用需求。COCO 数据集以此作为主要指标。

区别总结：

mAP@0.5 侧重检测召回，对框的精确度要求较低；mAP@0.5:0.95 综合评估定位精度和召回，更全面。
在模型比较时，mAP@0.5:0.95 更能拉开差距，反映高质量检测能力。
许多实际应用（如自动驾驶）需要高定位精度，因此 mAP@0.5:0.95 更有参考价值。

图像生成常用的指标 IS 和 FID 是如何计算的？FID 为什么通常比 IS 更优？¶

Inception Score (IS)

计算过程：

高 IS 意味着单张图像类别明确（低条件熵）且整体类别多样（高边缘熵）。IS 衡量生成图像的清晰度和多样性，但仅考虑生成样本，未与真实样本比较。
缺陷：
依赖 Inception 网络对 ImageNet 类别的敏感度，不适用于其他类型图像。
对模式坍塌不完全敏感（即使只生成一个类内的清晰图像，IS 仍可较高）。
对生成图像的细微噪声或伪影不敏感。
无法检测过拟合（如果生成样本仅记忆训练样本，IS 仍可能高）。

Fréchet Inception Distance (FID)

计算过程：

较低的 FID 表示生成分布与真实分布更接近，图像质量和多样性都更好。

FID 优于 IS 的原因

FID 直接对比生成样本与真实样本的特征分布，而 IS 仅依赖生成样本自身的类别分布，未与真实数据比较。
FID 对模式坍塌更敏感：若生成器只生成少数模式，其协方差将远小于真实协方差，FID 急剧升高。
FID 在不同数据集上的一致性更好，且对人类感知质量的相关性更强。
FID 不要求类别标签，对非自然图像也能合理评估（只要有合适的特征提取器）。
IS 可能被对抗样本“欺骗”，而 FID 更能反映整体分布偏移。

因此，FID 是目前图像生成质量评估的主流指标。实践中常同时报告 IS 和 FID，但以 FID 为主要参考。

在文本生成中，BLEU 和 ROUGE 分别用于什么任务？它们是如何计算的？¶

BLEU (Bilingual Evaluation Understudy)

用途：主要用于机器翻译评估，衡量生成译文与参考译文之间的 n-gram 重叠度。
计算：
对于生成文本，统计每个 n-gram（通常 n=1~4）的出现次数，并截断为在参考译文中该 n-gram 的最大出现次数（避免重复生成抬高分数）。
计算每个 n 的 precision：
计算几何平均再乘以简短惩罚 BP：

优点：简单快速，与人工评价有一定相关性。缺点：忽略语义，对词序和流畅度不敏感，不适合长句或创意文本。

ROUGE (Recall-Oriented Understudy for Gisting Evaluation)

用途：主要用于自动摘要评估，侧重召回率，即参考摘要中的信息在生成摘要中出现的比例。
常见变体：
ROUGE-N：计算 n-gram 召回率，类似 BLEU 但以 recall 为主：

ROUGE-L：基于最长公共子序列（LCS）的 F-measure，考虑词序。
ROUGE-W：加权 LCS，给连续匹配更高权重。
ROUGE-S：跳跃二元组（skip-bigram）统计。
通常报告多个 ROUGE 变体，ROUGE-L 最为常用。与 BLEU 类似，仍基于表面匹配，对语义理解不足。

BLEU 的简短惩罚（Brevity Penalty）是什么？为什么需要？¶

简短惩罚（BP）是 BLEU 评分中用于惩罚生成译文过短的因子。因为 n-gram 精确率天然偏向短句子（短句更容易匹配到参考 n-gram，导致精确率高），如果不加惩罚，模型可能通过生成极短句子来获得高分，但这显然不是好的翻译。

公式：设 c 为生成译文的长度，r 为参考译文的长度（当有多个参考时，取与生成译文长度最接近的参考长度）。则：

当生成长度小于参考长度时，BP 小于 1，按指数衰减，惩罚短译文的倾向。当生成长度大于参考长度时，BP=1，不加惩罚（因为过长不会虚增精确率，甚至可能降低）。

为什么需要：保证 BLEU 不仅奖励精确匹配，也要求生成足够内容的译文，使评估更符合人类对“完整翻译”的期望。

为什么 BLEU 不适合评价开放域对话生成？有什么更好的自动评价指标？¶

BLEU 的局限性

开放域对话没有标准答案，存在大量合理回复，BLEU 要求与有限参考严格匹配，会惩罚合理但措辞不同的回复。
对话追求自然流畅、上下文一致、情感适当，而 BLEU 只看 n-gram 重叠，无法评估这些维度。
回复长度差异大，简短通用回复（如“好的”）可能因高频词匹配而获得不合理的 BLEU 高分，但实际是无意义回复。

更好的自动评价指标

基于词向量的相似度：如 Greedy Matching、Embedding Average、Vector Extrema，计算生成回复与参考回复的词嵌入相似度，容忍同义词变化。
BERTScore：利用预训练 BERT 上下文嵌入计算生成文本与参考文本的 token 级相似度（精确率、召回率、F1），与人类判断相关性显著高于 BLEU。
BLEURT：基于 BERT 的回归模型，在大量人工评分数据上微调，直接预测人类评分，对语义变化更敏感。
MoverScore：将词移距离（Word Mover's Distance）推广到上下文嵌入，测量语义差异。
Perplexity（困惑度）：仅衡量语言模型的流畅度，但无法评估回复相关性。
人工评估：目前仍是最可靠的，常用多维评分（流畅性、一致性、趣味性）或 A/B 测试。

开放域对话常用人工评估结合自动指标（如 BERTScore）作为辅助。

语音识别中，WER（词错误率）如何计算？插入、删除、替换错误是怎么统计的？¶

WER (Word Error Rate) 是语音识别中最核心的评估指标，基于将识别结果（Hypothesis）与参考文本（Reference）对齐后的编辑操作。

编辑操作：
替换（Substitution）：参考词被识别为另一个词。
删除（Deletion）：参考词未被识别出来。
插入（Insertion）：识别结果中多出了参考中没有的词。
对齐算法：通过动态规划（Levenshtein 距离）找到最小编辑操作序列，使得识别结果变换为参考文本。
公式：

WER 可能超过 1（当编辑数大于参考词数时）。通常以百分比表示，越低越好。

示例：

参考：hello world today

识别：helo world today nice

对齐：hello(替换) world today (插入nice) -> S=1, I=1, D=0, N=3, WER=2/3≈66.7%。

检索系统的评估中，Recall@K、Precision@K、MRR、NDCG 分别衡量什么？¶

Recall@K（召回率@K）：前 K 个检索结果中相关项目的数量占所有相关项目总数的比例。衡量系统找到所有相关结果的能力，适合高召回需求场景（如专利检索）。
Precision@K（精确率@K）：前 K 个结果中相关项目的比例。衡量前 K 个结果的纯度，适合用户只关注第一页结果的场景（如网页搜索）。
MRR (Mean Reciprocal Rank)：每个查询中第一个相关文档的排序位置的倒数的平均值。重视第一个正确答案出现的位置，适合导航类查询（如寻找一个特定的页面）。

NDCG (Normalized Discounted Cumulative Gain)：考虑排序位置和相关度等级（如0-3分），越相关得分越高，位置越靠后折扣越大。NDCG 对多级相关性评估极为有效。

NDCG = DCG / IDCG（理想排序下的DCG），值在0~1之间。NDCG 是排序质量的金标准。

NDCG 如何考虑排序位置的重要性？DCG 和 IDCG 是什么？¶

位置重要性通过折扣因子体现：位置 i 上的相关度 relireli 除以 log⁡2(i+1)（或 log⁡2(i+1)的某种变体）。因为用户从上到下浏览，位置越靠后，用户关注的概率越小，故贡献应被折扣。

DCG (Discounted Cumulative Gain)：累积到位置 K 的折扣后增益：

或更常用的公式：

第一种用于直接给 rel 数值，后者当 rel 是指数增益时。

IDCG (Ideal DCG)：将所有文档按真实相关度降序排列后计算出的 DCG@K，即理想排序下的最大 DCG。

NDCG@K = DCG@K / IDCG@K，归一化到 [0,1]，可跨查询比较。

NDCG 的核心正是通过位置折扣强调前几个结果的排序质量。

如何评价一个推荐系统的多样性、新颖性、覆盖率？¶

除了准确率/召回率，推荐系统需从更多维度评估。

多样性 (Diversity)：衡量推荐列表内物品之间的不相似性，避免重复推荐类似物品。常用：

或基于类目的 ILS (Intra-List Similarity)。高多样性提升用户浏览体验。
新颖性 (Novelty)：推荐物品对用户而言是否“新鲜”，一般用推荐物品的流行度（Popularity）的负对数或物品在全体用户中的知晓度来度量。常用平均推荐物品的 log-流行度（取负）。新颖性高意味着推了冷门物品，可能带来惊喜。
覆盖率 (Coverage)：推荐系统能够覆盖多大比例的长尾物品或所有物品。物品覆盖率 = 被推荐过的唯一物品数 / 总物品数。低覆盖率意味着只推热门，容易造成马太效应。还包括用户覆盖率（获取推荐的用户比例）。
惊喜度 (Serendipity)：推荐物品既相关又出乎意料，通常通过距离热门推荐的距离来评估。
时效性 (Timeliness)：推荐是否为用户当前兴趣服务。

综合评价能防止系统堕入“热门陷阱”，提升长期用户满意度。

在模型评估中，为什么需要划分训练集、验证集、测试集？验证集的作用是什么？¶

训练集（Training Set）：用于训练模型参数。

验证集（Validation Set）：用于调参、模型选择（如选择超参数、早停、选择最佳模型结构）。

测试集（Test Set）：仅使用一次，用于最终评估模型的泛化性能，不能参与任何训练或调参决策。

验证集的作用：

超参数优化：在验证集上评估不同超参数组合，选表现最好的一组。若没有验证集，直接用测试集调参会导致对测试集过拟合，测试结果虚高，泛化能力假象。
早停（Early Stopping）：当验证集损失不再下降时停止训练，防止过拟合。
特征选择与模型结构对比：客观选择最佳模型。
估计泛化误差：验证集上的误差可近似最终测试误差，但测试集仍需独立保持最终公正。

划分避免“信息泄露”：测试集的信息绝不应在训练或调参过程中被模型“看到”，否则高估性能。

交叉验证（Cross-Validation）如何操作？K 折交叉验证的优缺点？¶

操作：

将数据集随机均分为 K 折（folds）。
进行 K 次训练-评估：每次选择其中一份作为验证集，其余 K-1 份作为训练集。
记录每次的评估分数。
最终分数为 K 次评估的平均值（或平均±标准差）。

优点：

数据利用率高，每个样本都曾被用作验证和训练，适合小样本情况。
评估结果更稳定、可靠，减少单次划分的随机性影响。
能够估计模型性能的方差。

缺点：

训练次数增加 K 倍，计算开销大，不适合大规模深度学习模型。
对于时间序列数据，不能随机分割（会泄露未来信息），需使用时间序列交叉验证。
如果数据集内部存在分组结构（如同一患者的多条记录），需按组进行划分，否则高估性能。

常见变种：留一法（K=N）、分层 K 折（保持类别比例）、重复 K 折。

当数据集较小时，如何保证评估的可靠性？¶

使用交叉验证（如 5 折或留一法），避免单次划分的高方差。
分层抽样：保证训练/验证/测试集中的类别比例一致，尤其在不均衡数据时。
数据增强：生成更多有效训练样本，但测试集应保持原始真实数据。
多次重采样评估：随机多次划分训练/测试，报告均值和置信区间。
使用简单的模型：避免过拟合，减小评估方差。
外部验证：如果能获取独立的检验集（来自不同来源），即使小，也可作为有力佐证。
统计检验：使用 McNemar 检验、成对 t 检验等比较模型差异是否显著。
效应量（Effect Size）：不仅看 P 值，还要看实际性能差异大小。

如何处理测试集与训练集分布不一致的情况？此时常规评估指标会失效吗？¶

分布不一致（Dataset Shift）包括协变量偏移、标签偏移、概念漂移等。

常规指标会失效吗？

如果分布不一致，测试集上的评估指标可能无法反映模型在新环境下的真实性能。例如，训练集是白天的图片，测试集是夜间的，指标可能大幅下降，但若指标仍高，也可能因为测试集中简单样本占主导，掩盖了模型在关键子集上的失败。因此常规指标可能仍是一个平均度量，但不一定可靠。

应对措施：

领域适应（Domain Adaptation）：在目标域有少量标注或无标注数据时调整模型。
重要性加权：对训练样本加权，使其分布逼近测试分布。
评估时细分：按子域（如时间、地点）分别评估，报告每个子集的性能。
收集与目标分布匹配的验证/测试集：重新标注或从真实日志中采样。
使用鲁棒性更强的指标：如校准误差、分位数误差。
持续监控：部署后在线评估，及时发现性能退化。

总之，分布变化下需重新审视评估数据，不能完全信赖旧测试集。

什么是 A/B 测试？在线上模型评估中如何进行 A/B 测试？¶

A/B 测试（对照实验）是将流量随机分入实验组（新模型 B）和对照组（旧模型 A），通过比较两组的关键业务指标（如点击率、转化率、留存率）来确定新模型是否带来显著提升。

在线模型评估的步骤：

定义核心指标（OEC）：如收入、点击率、用户满意度评分。
分流：通过随机哈希将用户均匀分配到 A、B 桶，确保两组用户特征分布一致。
运行实验：同时运行 A 和 B 模型一段时间，通常几天到几周，收集足够样本。
统计检验：计算两组指标差异的置信区间和 p 值（常用 t 检验或 z 检验），判断显著性。
结果分析：除了整体指标，还需分析不同人群、场景下的细分效果，排除辛普森悖论。
做出决策：若新模型显著正向且无负向副作用，则全量上线；否则回退或继续优化。

注意事项：实验期间避免其他改动，控制网络延迟等因素一致，保证用户和实验员无偏（必要时做盲测）。A/B 测试是衡量线上效果的金标准。

如何对模型预测进行置信度估计？校准曲线（Calibration Curve）和 ECE 是什么？¶

置信度估计：模型输出概率应反映真实似然。例如，当模型给出一批样本预测概率为 0.8 时，大约 80% 的样本实际应为正类。但很多模型（尤其现代深度网络）过度自信或不够自信。

校准曲线（可靠性图）：

将预测概率从 0 到 1 分桶（如 10 个桶），每个桶内计算平均预测概率（横坐标）和实际正类比例（纵坐标）。
完美校准时，点应落在对角线 y=x 上。

ECE (Expected Calibration Error)：

改善校准的方法：Platt Scaling、等渗回归、温度缩放（Temperature Scaling）——对 logits 除以一个温度 T，T 在验证集上优化以最小化负对数似然。

校准在风险敏感领域（医疗、金融）至关重要。

如何评估模型的公平性？有哪些常用的公平性指标（如统计均等、机会均等）？¶

公平性评估旨在检查模型对不同敏感群体（如种族、性别）是否存在系统性偏差。

常用指标：

评估时，计算各群体的以上指标差异（如 TPR 差），并用图表展示。公平性通常与精度存在权衡，需结合法律和伦理考量。

什么是模型的鲁棒性评估？如何构造对抗样本进行测试？¶

鲁棒性评估衡量模型对输入微小扰动或不相关变化的稳定性和抵抗欺骗的能力。在安全攸关应用中（自动驾驶、身份验证），鲁棒性至关重要。

对抗样本构造方法：

白盒攻击（知道模型参数和梯度）：

PGD (Projected Gradient Descent)：迭代 FGSM，每次小步加扰动并投影回允许范围，更强大。
CW (Carlini & Wagner)：优化小扰动使错误分类，同时最小化 L2 距离。
黑盒攻击（无梯度信息）：
基于查询的估计梯度，或使用替代模型生成对抗样本。
自然鲁棒性测试：加噪声、模糊、颜色抖动、旋转、光照变化、合成雨雾等。

评估：在标准测试集上应用各种扰动，观察准确率下降程度。也可以报告攻击成功率（扰动后被错误分类的比例）。好的模型应具有低攻击成功率和高自然干扰下的稳定性。

鲁棒性评估应与常规准确率共同考量，因为鲁棒性与标准精度常常互为 trade-off。

对于生成模型，除了自动指标，为什么还需要人工评估？有哪些常用的人工评估方法（如 MOS、成对比较）？¶

为什么需要人工评估：

自动指标（如 BLEU、ROUGE、FID）往往只捕捉表面统计特征，难以评估语义正确性、创意、情感、风格等高级属性。
生成任务常追求自然性、多样性、上下文连贯性，这些目前没有完美自动度量。
人类感知更全面，可以发现自动指标无法捕捉的缺陷（如逻辑谬误、不恰当幽默、文化敏感性）。
自动指标和人类偏好可能存在偏差（如 FID 不一定完全反映人眼感知质量）。

常用人工评估方法：

MOS (Mean Opinion Score)：评估者根据特定标准（如自然度、清晰度）给生成样本打分（1-5 分），取平均分。简单直观，但受评估者个人偏好影响，需要足够多评估者。
成对比较 (Pairwise Comparison)：给定一对生成样本，由评估者选择更好的那个。通过 Elo 评分或 Bradley-Terry 模型得出相对排序。比单点打分更易判别，可靠度更高。
排名 (Ranking)：对多个输出排序。能提供更多细粒度信息。
多维评分：分别对多个维度打分，如流畅度、一致性、信息量、趣味性。更全面。
A/B 测试（在线）：用户无意识地给出反馈（点击、停留时间），反映真实偏好。

质量控制：须设计清晰任务指南，招募足够数量、有代表性的评估者，进行一致性检验（如 Krippendorff's alpha），剔除无效评估。人工评估成本高、慢，但仍是验证生成质量的关键环节。

在多任务学习中，如何综合评估模型性能？¶

多任务学习（Multi-Task Learning，MTL）同时优化多个相关任务，因此评估不能仅看单一任务，必须从整体和局部两个层面进行。

单任务独立评估
对每个任务单独计算其核心指标。例如，任务1是分类，则看准确率、F1；任务2是回归，则看MSE、MAE。
记录每个任务在验证集/测试集上的最佳值和最终值，观察各任务是否都得到了充分训练，是否有任务被“拖累”。
综合指标聚合
平均指标（Average Metrics）：计算所有任务指标的平均值。但需注意不同任务指标尺度不同（如准确率0～1，MSE可能>100），直接平均会被大尺度任务主导。因此常采用：
归一化后的平均：将每个任务的指标归一化到[0,1]或基于基线模型的相对提升百分比。
排名平均：对每个任务按性能排序，取平均排名。
调和平均：若关注所有任务都不能太差，可用调和平均。
加权平均：根据业务重要性赋予不同任务权重，计算加权得分。例如，在自动驾驶中，检测行人的权重远高于检测车道线，综合得分应体现。
帕累托分析：多任务学习常存在任务冲突，可绘制帕累托前沿，观察模型在不同任务上的权衡曲线。如果模型A在所有任务上都优于模型B，则A帕累托占优；否则需根据偏好选择。
任务间公平性
避免某个任务“坍缩”（训练损失不下降但其他任务继续优化）。可记录每个任务的训练动态，检查是否存在某些任务梯度主导或消失。
使用任务不确定性加权（如Kendall et al.的同方差不确定性）的方法训练时，最终验证时可观察自动学习的权重，辅助分析任务重要性。
迁移与泛化评估
多任务学习的初衷是借助辅助任务提升主任务。因此需设置单任务基线（单独训练各任务），比较多任务模型的主任务性能是否提升，以及辅助任务性能是否达到可接受水平。
跨任务泛化测试：在某一任务数据缺失或噪声增大时，其他任务是否仍能提供有效归纳偏置，可通过消融实验验证。
效率指标
多任务模型的推理速度、内存占用等也是重要考量。如果精度略有下降但推理时间显著减少，可能值得部署。
综合报告
除了数值，应展示每个任务的指标分布（如箱线图）和多任务模型的帕累托图，直观对比。
若进行超参数搜索，可报告各任务指标的热力图或平行坐标图。

综合来看，多任务评估应结合单任务精度、加权综合得分、任务间公平性、相比单任务基线的增益、以及计算效率，并依据具体应用场景选择主要关注点。

如何评估一个异常检测模型的性能？除了精确率召回率，还需关注什么？¶

异常检测（Anomaly Detection）任务通常极度不均衡（异常占比极低），而且误报和漏报的代价不同，因此评估必须多维度。

核心指标

精确率（Precision）与召回率（Recall）：必看。重点关注召回率（找出多少真正的异常）和精确率（报警中多少是真异常）。通常用PR曲线及AUC-PR来整体评估，因为正类稀少，PR曲线比ROC更能体现模型真实能力。
F1-score：Precision-Recall调和平均，适合选择阈值时参考。
ROC-AUC：整体排序能力，但由于负类极多，AUC可能虚高（少量FP被巨大分母稀释），应谨慎解读，最好结合PR-AUC。

额外需关注的维度

特定代价指标

异常检测常伴随非对称代价：漏报代价 >> 误报代价。因此应引入：

代价矩阵（Cost Matrix）：定义将正常误报为异常的代价 CFPCFP 和漏报异常的代价 CFNCFN，计算总代价或期望代价。
归一化折扣累积增益（NDCG）或平均精度（Average Precision, AP）：当需要排序报警优先级时，AP关注将真正的异常排在前面的能力，非常适用。
误报率（False Positive Rate）

在业务中经常有“每位客户每天允许误报次数”的限制。因此要关注在特定召回率下的误报率，或固定误报率下的召回率（如FPR=0.01时的Recall）。可绘制ROC曲线找到工作点。

提前检测能力

对于时序异常，需要衡量检测延迟，即从异常实际发生到模型发出警报的时间差。可定义允许的最大延迟窗口，计算在该窗口内的召回率（例如，异常发生后5分钟内检测到视为成功）。

鲁棒性与稳定性
序列误报持续时长：是否在短时间内连续报警（连续FP会导致操作员疲劳）。可统计一次误报事件的持续时间。
对抗噪声的鲁棒性：正常数据有波动时，误报是否激增。
季节性/概念漂移：模型在新模式出现时是否大量误报。
可解释性与事后分析

异常检测模型常需人工审核报警，因此模型的异常得分要有可解释性（如哪些特征导致高分）。可通过模拟异常案例确认模型是否捕捉到合理的模式。

覆盖率与多样性

能否检测到多种类型的异常（点异常、上下文异常、集体异常），可通过人工构造不同类型的异常来测试。

因此，异常检测评估需要结合基于混淆矩阵的指标、代价敏感指标、PR/ROC曲线、检测延迟、误报持续性和业务约束，而不仅仅是精确率与召回率。

在时间序列预测中，除了 MSE，还有哪些重要指标？如 MAPE、sMAPE 的优缺点？¶

常用指标分类

基于绝对/平方误差的指标

意图：修正 MAPE 的不对称问题，并将分母限制在均值。
优缺点：当真实值和预测值都接近0时仍不稳定；实际上 sMAPE 并非真正对称（除以均值仍受二者影响），且范围在0~200%。它的对称性仍有争议，但比 MAPE 好一些。
局限性：同样不适合含有零或负值的情况，且对极低值敏感。

相对误差指标

MASE (Mean Absolute Scaled Error)：将 MAE 除以历史 naive 预测（如持续性模型）的 MAE。尺度无关，适用于任何数据，尤其适合比较不同序列的预测效果。MASE < 1 说明比 naive 预测好。
RMSSE (Root Mean Squared Scaled Error)：类似 MASE 但基于平方误差。M4 竞赛采用。

其他

R² (决定系数)：与简单均值模型比较，若目标有趋势/季节，均值模型可能很差，R² 会很高但无意义。
分位数损失（Quantile Loss）：用于区间预测评估。
Diebold-Mariano 检验：统计检验两个预测模型是否显著不同。

选择建议：如果序列均为正且无零值，MAPE 可解释性好；若有零值或需要尺度无关鲁棒评估，MASE 是更好的选择；sMAPE 作为折中但非最佳。通常结合多个指标报告，如 RMSE、MAE、MAPE（如果适用）、MASE，并考虑业务场景。

什么是“评估指标的陷阱”？举一个指标很好但模型却不可用的例子。¶

评估指标的陷阱指单一指标或不当指标造成对模型性能的误判，即指标表现优异但实际业务效果差，或模型存在致命缺陷却被高分数掩盖。

原因：

指标与最终目标不一致（如优化点击率却忽视用户体验）。
数据不均衡、分布偏移时，某些指标仍很高。
指标被“钻空子”（gaming），例如模型学到了伪相关或捷径。
未考虑模型的公平性、鲁棒性或解释性，仅看精度。

典型例子

例1：不均衡数据上的准确率陷阱

信用卡欺诈检测，正常交易占99.9%，欺诈0.1%。模型将所有交易预测为正常，准确率99.9%，看似完美，但召回率为0，完全没有检测到欺诈，造成巨额资金损失。指标（准确率）优秀但模型完全不可用。应使用PR-AUC、F1等。

例2：BLEU在对话系统中的陷阱

一个开放域聊天机器人总是回复“好的，呵呵”，在某些对话数据集中，因为参考回复也有类似的短句，BLEU得分可能中上，看似不错。但实际用户体验极差，对话无信息量。指标好但不可用。需要加入多样性、信息量等评估。

例3：推荐系统点击率陷阱

模型为了提升点击率，大量推荐低俗或标题党内容，点击率上升，但用户满意度、留存率下降。短期指标（CTR）变好，长期业务受损。需要同时监测用户停留时长、互动质量等北极星指标。

例4：医学影像分割的Dice系数陷阱

在CT图像中分割肿瘤，若肿瘤占比极小，模型预测全为背景（无肿瘤），Dice系数可能为0，此例并非指标好。另一个例子：模型预测出大致形状但边缘粗糙，Dice仍可达0.85，但临床不可接受（边缘浸润判断错误）。指标好但模型不可用，需结合边界距离（Hausdorff距离）。

启示：必须使用与任务目标对齐的多维评估体系，结合业务指标、鲁棒性测试和人工抽查，避免单一指标陷阱。

如何设计一个综合的评估体系来对比两个模型的优劣？¶

对比模型A和模型B，需要一个结构化、多维度的评估框架，以确保结论可靠。

定义评估目标与业务对齐
明确最终目标：是提高用户满意度、降低风险，还是提升效率？
确定北极星指标（如收益、留存、误报率），并将离线指标与北极星指标关联。
确定评估维度与指标集
核心效果指标：任务的主要准确率指标（如分类F1，回归MSE，排序NDCG等）。
鲁棒性指标：在噪声、分布偏移、对抗样本下的表现。
公平性指标：不同敏感群体（如性别、地区）的性能差异。
效率指标：推理延迟、吞吐量、模型大小、显存占用。
业务相关指标：误报/漏报代价、用户投诉率等（如有条件）。
可靠性指标：置信度校准（ECE）、预测置信区间覆盖率。
可解释性：特征归因一致性（若需要）。
实验设计
固定的训练/验证/测试集划分，或多次交叉验证，确保对比公平。
统计显著性检验：用配对t检验、McNemar检验或Bootstrap计算指标差异的置信区间。
控制变量：除了模型本身，数据预处理、优化器、随机种子等尽量一致。对多个随机种子取平均，报告标准差。
超参数调优：对每个模型进行公平调优（相同的搜索预算），然后比较最佳配置。
多维度综合分析
雷达图/平行坐标图：展示各维度指标。
帕累托前沿：若存在效率-精度权衡，找出占优点。
分段分析：按样本难度、类别、场景细分，观察不同子集表现。可能A在整体略优，B在关键子集（如高风险群体）更好。
劣化测试（Stress Test）：构造极端案例，检验模型下限。
人工评估与A/B测试
对于生成类或主观任务，离线指标需辅以人工评估（MOS、成对比较）。
若可能，进行小流量在线A/B测试，对比真实业务指标。
决策矩阵

构建加权评分卡，根据各维度重要性赋权，计算模型A和B的综合得分，同时要分析在不可接受的最低阈值（如公平性不得低于某值）下，哪个模型通过筛选。

最终报告

不仅给出最终结论，还要说明模型在哪些情况下优于对方，存在哪些风险与不足，为模型选择提供全面参考。

模型评估中，置信区间如何计算？如何使用 Bootstrap 方法来估计指标的方差？¶

置信区间（Confidence Interval, CI）表示指标估计的不确定性。例如，测试集上的准确率为 92% ± 1.5%（95% CI）。它能帮助判断模型A相比B的提升是否显著。

常用方法

Bootstrap 估计指标方差与置信区间的步骤：

假设测试集有 N 个样本，具有真实标签和模型预测。
重复以下步骤 B 次（B通常为1000或更多）：
从测试集中有放回地随机抽取 N 个样本，形成一个 Bootstrap 样本（可能包含重复）。
在该 Bootstrap 样本上计算感兴趣的评价指标（如 F1-score、RMSE），得到 θi∗。
得到 B 个 Bootstrap 统计量的经验分布。

示例（Python 伪代码）：

def bootstrap_ci(y_true, y_pred, metric_func, B=1000, alpha=0.95):
    n = len(y_true)
    scores = []
    for _ in range(B):
        idx = np.random.choice(n, size=n, replace=True)
        score = metric_func(y_true[idx], y_pred[idx])
        scores.append(score)
    lower = np.percentile(scores, (1-alpha)/2 * 100)
    upper = np.percentile(scores, (1+alpha)/2 * 100)
    return np.mean(scores), lower, upper

评估指标差异的显著性

为比较模型A和B，可采用配对 Bootstrap：对同一测试集，计算每个 Bootstrap 样本上两模型指标之差，得到差的分布，若差的95%置信区间不包含0，则差异显著。
或者使用配对 t 检验、McNemar 检验等。

注意事项：

测试集必须真实反映未来数据分布；若存在概念漂移，Bootstrap 只能反映测试集上的不确定度。
对于图像、文本等样本，当数据集有内在分组结构（如同一患者多张影像），应使用 block bootstrap，保持组内样本一起抽样，否则会低估方差。
指标若接近极端值（0或1），Bootstrap 可能产生边界效应，BCa 校正更合适。

解释“辛普森悖论”在模型评估中可能的表现。¶

辛普森悖论是指：在分组数据中观察到的趋势，当合并所有组时趋势发生逆转。在模型评估中，表现为整体性能指标与各子群性能指标的趋势相矛盾。

场景举例：

假设有两款推荐模型A和B，在用户群中进行评估。分别在高活跃用户（多点击）和低活跃用户（少点击）中统计点击率（CTR）：

查看内嵌表格

计算整体：

模型A整体CTR = 0.8×0.10 + 0.2×0.02 = 0.084 = 8.4%
模型B整体CTR = 0.8×0.12 + 0.2×0.01 = 0.098 = 9.8% 整体看 B 优于 A。

但如果用户群分布不是固定的，或者我们更关注低活跃用户体验，可能决策不同。更经典的辛普森悖论表现：模型A在两组中均优于B，但整体B优于A，这是由于分组样本量比例差异巨大，且模型在不同组效果差异大导致。

真实案例：

医疗诊断：某AI诊断系统在总体准确率上优于另一系统，但在各年龄段分别计算时，另一系统却在每个年龄段都更优。原因可能是新系统在大量年轻人的简单案例上表现稍好，而在复杂老年案例上表现略差，但由于年轻样本占比极大，掩盖了老年群体上的劣势。
面部识别：整体识别准确率模型A > 模型B，但按人种分组后，模型B在所有主要人种上准确率都高于A，原因可能是模型A在占绝大多数的人种A上表现极好，但在少数人种上极差，整体依然占优。

如何避免与检测：

细分评估：按关键属性（地域、活跃度、类别）分组报告指标，不要只看整体。
标准化整体指标：当分组分布与目标分布不同时，可使用标准化/加权的指标（如按各子群等权平均），而非原始整体平均。
可视化对比：绘制各子群的指标条形图，观察是否存在逆转。
统计交互作用：检查模型与分组的交互项，若显著，说明存在辛普森悖论风险。

辛普森悖论提醒我们，模型评估不能停留在顶层，深入子群分析才能发现真实效果与公平性问题。