🧑 ⚖️ مساعد قانوني متعدد الوكلاء - RAG سريع للغاية. مدعوما من CrewAI ، يستعلم هذا العرض التوضيحي عن 50 مليون + متجهات في <30 مللي ثانية باستخدام التكميم الثنائي لتقديم إجابات قانونية مقتبساة. بناه @akshay_pachaar.

لقد نشرت للتو دفتر ملاحظات موجزا خطوة بخطوة يوضح كيفية إنشاء LLM مخصص ل @crewAIInc يستدعي واجهة برمجة تطبيقات الرسائل الخاصة @AnthropicAI وينفذ التخزين المؤقت الفوري. حسنا ، ما هو التخزين المؤقت الفوري ومتى يجب عليك استخدامه في طاقمك؟ إنها طريقة لتخزين الجزء الطويل والمتكرر من مطالبتك (عادة سياق النظام) بين استدعاءات واجهة برمجة التطبيقات. ترسله مرة واحدة ، ثم تعيد المكالمات اللاحقة استخدامه ؛ خفض تكلفة المدخلات بنسبة ~ 90٪ وتسريع الوقت للوصول إلى الرمز المميز الأول بنسبة ~ 85٪ للمطالبات الطويلة ، طالما بقيت محتوى النظام + النموذج + الرؤوس كما هي وأنت ضمن TTL (افتراضي 5 ملايين ، 1 ساعة تجريبية). هذا يعمل بشكل رائع مع الأطقم الثرثارة متعددة الأدوار. مفيد أيضا في أي وقت يعيد فيه طاقمك استخدام سياق نظام طويل ومستقر عبر المهام (فكر: الكتيب والمواصفات وملخص قاعدة التعليمات البرمجية). إذا كان نظامك / السياق يغير كل مكالمة ، فلن يساعد التخزين المؤقت كثيرا. يستخدم كتاب الطبخ "فرانكشتاين" من مشروع جوتنبرج لتوضيح التخزين المؤقت بسياق حقيقي وطويل. الرسم البياني أدناه: أول تشغيل يكتب إلى ذاكرة التخزين المؤقت ؛ تتم قراءة عمليات التشغيل اللاحقة من ذاكرة التخزين المؤقت عندما يتطابق محتوى النظام والنموذج والرؤوس داخل TTL. الريبو + دفتر الملاحظات في التعليقات.

نقوم حاليا بتشغيل استوديو @crewAIInc الجديد الخاص بنا في الإصدار التجريبي ولكننا سنكون GA قريبا! حتى الآن ، كان من المذهل رؤية رد فعل الناس عندما يرونها أثناء العمل لأول مرة. لقد سجلت نظرة خاطفة قصيرة على Vibe ، وهي ترميز وكيل من خلال منصتنا وتشغيله دون كتابة سطر واحد من التعليمات البرمجية وكل ذلك في بضع دقائق قصيرة.