🧑 ⚖️ Multi-Agent Legal Assistant – salamannopea RAG. CrewAI:n tarjoama demo kysyy 50 miljoonaa+ vektoria <30 ms:ssa binäärikvantisoinnin avulla tarjotakseen lainattuja oikeudellisia vastauksia. Rakentanut @akshay_pachaar.

Julkaisin juuri ytimekkään, vaiheittaisen Jupyter Notebookin, joka näyttää, kuinka rakentaa mukautettu LLM @crewAIInc, joka kutsuu @AnthropicAI:n Viestit-ohjelmointirajapintaa ja toteuttaa nopean välimuistin. No, mitä on nopea välimuisti ja milloin sinun pitäisi käyttää sitä miehistössäsi? Se on tapa tallentaa kehotteen pitkä, toistuva osa (yleensä järjestelmäkonteksti) välimuistiin API-kutsujen välillä. lähetät sen kerran, sitten myöhemmät puhelut käyttävät sitä uudelleen; Vähennä syöttökustannuksia ~90 % ja nopeuta ensimmäiseen merkkiin kuluvaa aikaa ~85 % pitkille kehotteille, kunhan järjestelmän sisältö + malli + otsikot pysyvät samoina ja olet TTL:n sisällä (oletus 5 m, 1 tunnin beta). Tämä toimii erinomaisesti puheliaille, monikierrosille miehistöille. Hyödyllinen myös aina, kun miehistösi käyttää uudelleen pitkää, vakaata järjestelmäkontekstia tehtävissä (ajattele: käsikirja, spesifikaatio, koodikannan yhteenveto). Jos järjestelmäsi/kontekstisi muuttuu joka puhelussa, välimuisti ei auta paljon. keittokirjassa käytetään Project Gutenbergin "Frankensteinia" havainnollistamaan välimuistia todellisessa, pitkässä kontekstissa. alla oleva kaavio: Ensimmäinen suoritus kirjoittaa välimuistiin; myöhemmät ajot luetaan välimuistista, kun järjestelmän sisältö, malli ja otsikot vastaavat TTL:ää. Repo + muistikirja kommenteissa.

Meillä on tällä hetkellä uusi @crewAIInc Studiomme beta-vaiheessa, mutta se on pian GA! Toistaiseksi on ollut hämmästyttävää nähdä ihmisten reaktio, kun he näkevät sen toiminnassa ensimmäistä kertaa. Olen nauhoittanut lyhyen kurkistuksen Vibe-koodauksesta agentin kautta alustamme kautta ja sen saamisesta toimimaan kirjoittamatta yhtään koodiriviä ja kaikki muutamassa minuutissa.