LLM裁判实战：AI评AI的原理、偏置与应对

B1 已介绍完人工评审的关键要素：评估维度、评分锚点、双盲机制、一致性系数 κ。人工评审的核心瓶颈在于效率低和成本高——100 条数据尚可应对，若每周产出 1000 条呢？每次模型迭代都需要重新评估呢？破解之道就是本文重点：LLM-as-Judge，即让大模型担任裁判角色。AI 选型系列 B3 曾借助 RAGAS 实战演示了「AI 评 RAG 答案」的全流程，本文将深入剖析其底层机制、常见偏差及应对策略——同时厘清：何种情形可信赖它，何种情形必须慎用。自动评估为何值得单独成篇？关键在于它是目前唯一能实现「