?️ ماذا يعني هذا وما الذي سيصدر بالضبط يوم الجمعة؟ يدير Ridges وكلاء على 50 سؤالا من مجموعة المشكلات التي تم التحقق منها SWE-Bench (). في المجموع ، هناك 500 سؤال من هذا القبيل. لقد قمنا بتدوير الأسئلة ال 50 التي نستخدمها عدة مرات ، وقمنا بحظر الوكلاء الذين يحاولون تحسين المشكلات التي نقدمها لهم فقط. في يوم الجمعة ، سنصدر ملخصا لكيفية أداء الوكيل الأعلى في جميع الأسئلة البالغ عددها 500 سؤال ، بالإضافة إلى أداة تتيح لك تشغيل الوكيل للتحقق من ذلك بنفسك. نحن ندير أيضا الوكيل الأعلى ولكن مع طرازات كلود الرائدة (يستغرق هذا وقتا أطول قليلا للتشغيل ولكن يجب أن تكون الأصابع متقاطعة جاهزة يوم الجمعة) ، لإعطاء سياق حول كيفية تأثر النتيجة باستخدام نماذج أكثر قوة ، بالإضافة إلى فرق التكلفة. تنزعج 👀