生成式大模型正在快速走向生产环境，但“谁来评判生成质量”却成了新的瓶颈。越来越多的团队选择让另一个大模型当评委——LLM-as-a-Judge。然而，一位开发者在自己的博客中用两个LLM评委做了五项练习，结果令他沮丧：这些评估不仅不可靠，甚至可能误导整个优化方向。这件事提醒我们：当AI开始评估AI，我们需要的不是更多信心，而是更多怀疑。
背景：LLM当评委为何流行
传统上，文本生成任务的质量评估依赖人工标注或指标，如BLEU、ROUGE。但它们对语义理解有限，无法捕捉事实性、逻辑连贯性和指令遵循度。随着大模型能力增强，研究人员发现，用GPT-4等模型给其他模型打分，不仅成本低、速度快，而且与人工评分能保持较高相关性。于是，LLM-as-a-Judge成为评估AI输出的流行方案，许多开源工具和基准测试也默认采用这种模式。
但流行并不等于正确。即便在学术界，关于LLM评估器的偏差、稳定性和有效性的质疑也越来越多。这位开发者的个人实验，正是这种质疑的一次具体化。
五个练习：从简单到复杂
作者没有使用现成基准，而是设计了五组贴近实际使用场景的评估任务，让两个不同的LLM担任评委，对一组固定回答进行评分。这五个练习覆盖了从客观到主观、从简单到复杂的典型情况：
1. 摘要事实一致性：给定一篇新闻原文，让被评模型生成摘要，评委需要判断摘要是否与原文事实矛盾。这类任务看似简单，但细微的实体替换和模糊表述很容易被评委忽略。
2. 代码正确性：让被评模型修复一个有明显bug的代码片段，评委判断修复是否有效。结果表明，评委经常被“看起来合理”的代码欺骗，而无法识别隐藏的边界条件错误。
3. 有害内容识别：提示词含有微妙的偏见或冒犯性暗示，评委需要判断输出是否违规。两个评委的反应不一致，一个把中立表述判为有害，另一个则放过了恶意双关。
4. 指令遵循度：让被评模型执行多步指令，如“先总结，再用反问句提问，最后给出数字限制”。评委只注意到最终答案的格式，却忽略了中间步骤的缺失。
5. 创造性写作评分：对两篇风格迥异的短文打分，评委表现出明显的长度偏差——篇幅更长且包含华丽词汇的文本获得了虚高评价，尽管其信息密度更低。
这五个练习并不复杂，却精准地暴露了LLM评委的普遍短板。
问题出在哪：评估的“错觉”
作者指出，最危险的并非这些模型能力不足，而是它们评估时表现出的“自信错觉”。在多数情况下，评委给出了高分和详细解释，但理由却经不起推敲。它们倾向于追求内部一致性，而非事实准确性；倾向于强化提问者预设的立场，而非独立判断。这并非某个模型的特例，而是两个不同LLM共同的表现。
从根本上说，LLM的本质是下一词预测，它擅长生成“看起来合理的文本”，而不是执行严格的逻辑校验。当它被用作评估者时，它依然会生成“看起来合理的评估意见”，但这并不意味着判断必然正确。更糟糕的是，如果开发者用这些分数去微调模型或选择提示词，错误信号会以更隐蔽的方式被放大，最终形成“自我强化”的恶性循环。
行业意义：评估本身也需要评估
这一实验对AI工程实践具有直接警醒作用。目前，许多团队把LLM评估器当作可靠的质量门禁，甚至用它来自动生成训练数据。但正如作者所示，未经校准的LLM评委可能给出系统性的偏见和错误评分，而这些错误又难以被察觉。
当然，不否认LLM评委的价值——在粗略筛选、大规模对比和低风险场景中，它依然有不可替代的效率优势。但它的边界必须被明确：对高风险内容，需要引入多评委投票、人工抽样复核和跨模型对照；对评估任务本身，也需要像训练模型一样进行校准和验证。
更深远的意义在于，AI领域需要建立“评估的评估机制”。当AI系统越来越擅长生成以假乱真的内容，人类必须保住最后的裁判权。不是所有看似聪明的判断都值得信任，尤其是当它出自一个同样会“幻觉”的模型。这位开发者的五个练习虽然简单，却为整个行业敲响了警钟：在使用AI评估AI之前，先问问自己，你的评估器是否可靠？