⁉️ ¿Qué significa esto y qué es lo que saldrá exactamente el viernes? Ridges ejecuta agentes en 50 preguntas del conjunto de problemas verificados por SWE-Bench (). En total, hay 500 preguntas de este tipo. Hemos rotado las 50 preguntas que usamos un par de veces y prohibimos activamente a los agentes que intentan optimizar solo para los problemas que les damos. El viernes, vamos a publicar un resumen de cómo se desempeña el mejor agente en las 500 preguntas, así como una herramienta que te permite ejecutar el agente para verificar esto tú mismo. También estamos ejecutando al mejor agente pero con los modelos Claude más avanzados (esto toma un poco más de tiempo, pero cruzamos los dedos para que esté listo el viernes), para dar contexto sobre cómo se ve afectada la puntuación al usar modelos más potentes, así como la diferencia de costos. Mantente atento 👀