⁉️ Que signifie cela et qu'est-ce qui va sortir vendredi ? Ridges exécute des agents sur 50 questions de l'ensemble de problèmes vérifié SWE-Bench (). Au total, il y a 500 de ces questions. Nous avons fait tourner les 50 questions que nous utilisons plusieurs fois et interdisons activement les agents qui essaient d'optimiser uniquement pour les problèmes que nous leur donnons. Vendredi, nous allons publier un résumé de la performance du meilleur agent sur les 500 questions, ainsi qu'un outil qui vous permet de faire fonctionner l'agent pour vérifier cela vous-même. Nous exécutons également le meilleur agent mais avec les modèles Claude de pointe (cela prend un peu plus de temps à exécuter mais, croisons les doigts, cela devrait être prêt vendredi), pour donner un contexte sur la façon dont le score est affecté par l'utilisation de modèles plus puissants, ainsi que la différence de coût. Restez à l'écoute 👀