我第一次意识到，AI研究中有一个完全私密的子领域。 每个实际训练模型的公司都在使用带有评分标准的强化学习（RL）和大型语言模型（LLM）评判的奖励。 但学术界的工作仍然停留在使用自动奖励（数学问题和代码）的强化学习上。这对于基准测试来说干净得多，也更容易撰写论文。

如果我经营一家第一方模型公司，我会雇佣数百名人文学科的人来进行微妙的数据编辑，以改善模型的“感觉”。 有人需要深入到RLHF数据中，痛苦地纠结于每一个动词选择、每一个感叹词、每一个分号。

我该如何购买一件对抗样本的卫衣？ （说真的，我会穿它）