作为评判者的LLM已成为评估模型解决任务能力的主要方式，因为它不依赖于测试集，并且能够处理答案不唯一的情况。 但尽管这种方法被广泛使用，几乎所有报告的结果都存在高度偏见。 很高兴分享我们关于如何正确使用LLM作为评判者的预印本。 🧵 === 那么人们实际上是如何使用LLM作为评判者的呢？ 大多数人只是将LLM用作评估者，并报告LLM认为答案看起来正确的经验概率。 当LLM完美时，这种方法很好，并且提供了一个无偏估计。 如果LLM不完美，这种方法就会失效。 考虑一个案例，其中LLM正确评估的概率为80%。 更具体地说，如果答案是正确的，LLM以80%的概率说“这看起来正确”，而当答案实际上是错误的时，LLM同样以80%的概率说“这看起来正确”。 在这种情况下，你不应该报告经验概率，因为它是有偏的。为什么？ 设被测试模型正确的真实概率为p。 那么LLM说“正确”的经验概率（= q）为： q = 0.8p + 0.2(1 - p) = 0.2 + 0.6p 因此，无偏估计应该是： (q - 0.2) / 0.6 如果错误模式不对称，或者你事先不知道这些错误率，情况会变得更加有趣。 === 那么这意味着什么？ 首先，遵循我们预印本中建议的指导方针。 没有免费的午餐。除非你的LLM作为评判者被证明在评判上是完美的，否则你无法评估你的模型有多好。 根据它与完美评估者的接近程度，你需要足够大小的测试集（= 校准集）来估计评估者的错误率，然后你必须对此进行修正。 其次，非常不幸的是，我们在过去几年中看到的许多研究结果需要重新审视。 除非两篇论文使用了完全相同的LLM作为评判者，否则在它们之间比较结果可能会产生虚假的声明。改进可能仅仅来自于稍微改变评估流程。迫切需要进行严格的元研究。 === tldr: (1) 在过去几年中，几乎所有LLM作为评判者的评估都是以有偏估计报告的。 (2) 这很容易修正，所以请等待我们的完整预印本。 (3) 许多LLM作为评判者的结果应谨慎对待。 完整的预印本将在几天内发布，请保持关注！ 我的学生和合作者们做了惊人的工作。 @chungpa_lee @tomzeng200 @jongwonjeong123 和 @jysohn1108