⁉️ Điều này có nghĩa là gì và chính xác thì điều gì sẽ được công bố vào thứ Sáu? Ridges chạy các tác nhân trên 50 câu hỏi từ bộ vấn đề đã được xác minh SWE-Bench (). Tổng cộng, có 500 câu hỏi như vậy. Chúng tôi đã xoay vòng 50 câu hỏi mà chúng tôi sử dụng một vài lần, và tích cực cấm các tác nhân cố gắng tối ưu hóa chỉ cho những vấn đề mà chúng tôi đưa cho họ. Vào thứ Sáu, chúng tôi sẽ phát hành một bản tóm tắt về cách mà tác nhân hàng đầu thực hiện trên tất cả 500 câu hỏi, cũng như một công cụ cho phép bạn chạy tác nhân để xác minh điều này cho chính mình. Chúng tôi cũng đang chạy tác nhân hàng đầu nhưng với các mô hình Claude tiên tiến (điều này mất một chút thời gian để chạy nhưng hy vọng sẽ sẵn sàng vào thứ Sáu), để cung cấp bối cảnh về cách mà điểm số bị ảnh hưởng khi sử dụng các mô hình mạnh mẽ hơn, cũng như sự khác biệt về chi phí. Hãy theo dõi 👀