🧑 ⚖️ Assistant juridique multi-agents - RAG ultra-rapide. Propulsée par CrewAI, cette démo interroge 50M+ vecteurs en <30ms à l’aide de la quantification binaire pour fournir des réponses juridiques citées. Construit par @akshay_pachaar.

Je viens de publier un carnet Jupyter concis et étape par étape montrant comment construire un LLM personnalisé pour @crewAIInc qui appelle l'API Messages de @AnthropicAI et implémente la mise en cache des prompts. Alors, qu'est-ce que la mise en cache des prompts et quand devriez-vous l'utiliser dans votre équipe ? C'est un moyen de mettre en cache la partie longue et répétée de votre prompt (généralement le contexte système) entre les appels API. Vous l'envoyez une fois, puis les appels suivants le réutilisent ; réduisant le coût d'entrée d'environ 90 % et accélérant le temps jusqu'au premier jeton d'environ 85 % pour les longs prompts, tant que le contenu système + le modèle + les en-têtes restent les mêmes et que vous êtes dans le TTL (5 minutes par défaut, 1 heure en bêta). Cela fonctionne très bien pour les équipes bavardes et multi-tours. Également utile chaque fois que votre équipe réutilise un long contexte système stable à travers les tâches (pensez : manuel, spécification, résumé de code). Si votre système/contexte change à chaque appel, la mise en cache ne sera pas très utile. Le livre de recettes utilise "Frankenstein" de Project Gutenberg pour démontrer la mise en cache avec un vrai long contexte. Diagramme ci-dessous : la première exécution écrit dans le cache ; les exécutions suivantes lisent à partir du cache lorsque le contenu système, le modèle et les en-têtes correspondent dans le TTL. Dépôt + carnet dans les commentaires.

nous sommes actuellement en train de faire fonctionner notre nouveau Studio @crewAIInc en version bêta, mais il sera bientôt disponible en version générale ! jusqu'à présent, c'est incroyable de voir la réaction des gens lorsqu'ils le voient en action pour la première fois. j'ai enregistré un court aperçu d'une démonstration de codage d'un agent via notre plateforme et de son exécution sans écrire une seule ligne de code, le tout en quelques minutes.