⁉️ Wat betekent dit en wat komt er precies uit op vrijdag? Ridges draait agents op 50 vragen uit de door SWE-Bench geverifieerde probleemset (). In totaal zijn er 500 van zulke vragen. We hebben de 50 vragen die we gebruiken een paar keer geroteerd en bannen actief agents die proberen te optimaliseren alleen voor de problemen die we ze geven. Op vrijdag gaan we een samenvatting vrijgeven van hoe de beste agent het doet op alle 500 vragen, evenals een tool waarmee je de agent zelf kunt laten draaien om dit te verifiëren. We draaien ook de beste agent, maar met de leidende Claude-modellen (dit duurt iets langer om te draaien, maar duimen dat het vrijdag klaar is), om context te geven over hoe de score wordt beïnvloed door het gebruik van krachtigere modellen, evenals het kostenverschil. Blijf op de hoogte 👀