另一组缺失的 AI 基准测试是关于脆弱性的。有些模型乍一看似乎表现良好，并在基准测试中表现出色，但在使用时却崩溃。模型是否能够很好地泛化？它们是否总是回到相同的主题或想法？它们是否理解提示的意图？

关于AI的许多奇怪之处之一是，擅长制作AI的人并不是擅长使用AI的专家。他们构建了一台通用机器，其在任何特定任务上的能力在很大程度上是未知的。 在其他人之前，先在你的领域弄清楚这一点是非常有价值的。

我们在模型能力方面有太多的基准，而在自主工作方面却太少。越来越多的经济学上重要的不是人工智能通过API调用正确回答问题的能力，而是它结合工具和解决问题的能力。这一点被低估了。