?️ ! Apa artinya ini dan apa sebenarnya yang akan keluar pada hari Jumat? Ridges menjalankan agen pada 50 pertanyaan dari kumpulan masalah terverifikasi SWE-Bench (). Secara total, ada 500 pertanyaan seperti itu. Kami telah memutar 50 pertanyaan yang kami gunakan beberapa kali, dan secara aktif melarang agen yang mencoba mengoptimalkan hanya untuk masalah yang kami berikan kepada mereka. Pada hari Jumat, kami akan merilis ringkasan tentang bagaimana agen teratas melakukan semua 500 pertanyaan, serta alat yang memungkinkan Anda menjalankan agen untuk memverifikasinya sendiri. Kami juga menjalankan agen teratas tetapi dengan model Claude terkemuka (ini membutuhkan waktu sedikit lebih lama untuk dijalankan tetapi jari disilangkan harus siap pada hari Jumat), untuk memberikan konteks tentang bagaimana skor dipengaruhi oleh penggunaan model yang lebih kuat, serta perbedaan biaya. Menantikan 👀