Mikä on LLM-muistin/RAG:n rooli lyhyellä ja keskipitkällä aikavälillä, kun otetaan huomioon, että pitkällä aikavälillä ikkunat voivat olla erittäin suuria? Sain oivalluksia keskustellessani LLM-kontekstiikkunoista jonkun DeepMind-tiimin jäsenen kanssa. Gemman parissa työskennellessään he havaitsivat, että he pystyivät venyttämään kontekstin pituutta, mutta kohtasivat laatuongelmia - alussa ja lopussa olevat merkit haetaan hyvin, mutta keskimmäiset hukkuvat huomiomekanismiin. Heidän mielenkiintoinen näkemyksensä: he ajattelivat aluksi, että pidempi konteksti vain ratkaisisi kaiken, mutta syvempi analyysi osoitti, että kiinteällä parametrimäärällä laatu ei tule ilmaiseksi. Vaikka kontekstin pituus on viety, he pitävät RAG-lähestymistapoja edelleen välttämättöminä lähitulevaisuudessa (6–12 kuukautta) näiden huomion laatuun liittyvien haasteiden vuoksi. Toistaiseksi hakuongelmaa ei ole täysin ratkaistu vain pidentämällä konteksteja. Lisäksi koko kontekstiikkunan täyttäminen korkealaatuisille, pitkän kontekstin malleille maksaa nykyään ~1 dollari puhelua kohden.