本知道他在说什么。阅读这个

我们在@MerlinAIByFoyer对此进行了很多讨论。“评估是AI的CI/CD”这个类比并不成立，因为CI/CD依赖于稳定性，而AI则是每周都在变化。就像CI/CD一样，在生产环境中启动重型评估会消耗大量时间。我们尝试过，但在某个阶段放弃了。 评估代理/机器学习是至关重要的，但过早构建复杂的框架会拖慢进度。因此，我们想出了一个折衷方案：我们策划了一小组高信号的约10-100个问题/场景，并针对这些进行测试。这让我们了解哪些效果良好，同时我们可以在0-1阶段快速通过这些进行管道测试。 最近，随着@benhylak、@snarkyzk和团队在构建@raindrop_ai，我们通过监控生产中的失败获得了真正的收益，并将这些或类似的案例重新纳入数据集。

我在考虑下周末举办一场臂力比赛。 谁想来参加？