Představujeme lepší recept na sběr post-tréninkových dat při použití GRPO. Sběr vzorků od odborníků je drahý, rozpočty na anotace jsou omezené. Za které příklady se vlastně vyplatí zaplatit? Zjistili jsme, že zaměření na tvrdé vzorky vede ke zlepšení o 30-40 %. 1/7

0/ Co kdyby Web3 mohl pohánět umělou inteligenci tím, že umožní spolupráci agentů mezi organizacemi v nedůvěryhodném prostředí? Naše ERC-8004: 🤖Trustless Agents rozšiřuje protokol Agent2Agent a poskytuje jednotné rozhraní pro zjišťování agentů a budování důvěry prostřednictvím reputace a validace. Napsáno pomocí @ethereumfndn AI Lead @DavideCrapis a mnoha #DeAI builderů🧵

Je docela skvělé vidět zde zobrazenou kancelář Eternis (není označena)

1/ Spuštění Enchanted ✨ Každý člověk si zaslouží skutečně osobní umělou inteligenci. Ani takový, který by ovládala velká laboratoř. Ne takový, který hromadí vaše data. Použijte Enchanted.

V posledních dvou měsících jsem toho moc netweetoval, protože jsem strávil čas učením se a experimentováním s různými technikami RL. Těším se, že se brzy podělím o některé WIP: 1. Výpočtově optimální recept na školení GRPO 2. Nástroj využívající RL pro zvýšení soukromí v interakcích s LLM Experimenty byly slibné 👀

Dnes oznamujeme Plejády, sérii modelů epigenetických základů (90M→7B parametrů) trénovaných na 1,9T tokenech lidské methylace a genomických dat. Plejády přesně modelují epigenetiku pro predikci genomických stop, generaci a detekci neurodegenerativních onemocnění z cfDNA, čímž překonávají předchozí čisté DNA základní linie.

Jaká je role LLM paměti/RAG v krátkodobém až střednědobém horizontu vzhledem k tomu, že v dlouhodobém horizontu mohou být okna extrémně velká? Získal jsem nějaké postřehy z diskuse o kontextových oknech LLM s někým z týmu DeepMind. Při práci na Gemmě zjistili, že mohou natáhnout délku kontextu, ale narazit na problémy s kvalitou - tokeny na začátku a na konci se načítají dobře, ale prostřední se ztrácejí v mechanismu pozornosti. Jejich zajímavý pohled: zpočátku si mysleli, že delší kontext prostě vyřeší vše, ale hlubší analýza ukázala, že s pevným počtem parametrů není kvalita zadarmo. Navzdory tomu, že posouvají kontextové délky, stále vidí přístupy RAG jako nezbytné pro blízkou budoucnost (6-12 měsíců) kvůli těmto výzvám v oblasti kvality pozornosti. Prozatím není problém s načítáním zcela vyřešen pouhým prodlužováním kontextů. Kromě toho, vyplnění celého kontextového okna pro vysoce kvalitní modely s dlouhým kontextem je dnes ~1 $ za hovor.