另一組缺失的 AI 基準是關於脆弱性。有些模型乍看之下似乎不錯，並且在基準測試中表現良好，但在使用時卻會崩潰。這些模型是否能很好地泛化？它們是否總是回到相同的主題或想法？它們是否理解提示的意圖？

關於AI的許多奇怪之處之一是，擅長製作AI的人並不是擅長使用AI的專家。他們建造了一台通用機器，其在任何特定任務上的能力在很大程度上是未知的。 在其他人之前，先在你的領域中弄清楚這一點是非常有價值的。

我們對模型能力的基準測試太多，而對代理工作則太少。越來越多的經濟意義在於，AI 通過 API 調用正確回答問題的能力並不是最重要的，而是它結合工具和解決問題的能力。這一點被低估了。