"Myslel jsem, že jemné ladění Transformers GPT-OSS MoE bylo rozbité, jak jste to zprovoznili?"

Přišel jsem na to, jak "vrátit zpět" RL a změnit GPT-OSS zpět na základní model zítra shodí činky Gn

Dobře, potřebuji pomoc! O víkendu jsem se pokusil doladit GPT-OSS. funguje pro ~100 kroků, pak vyvolá chybu CUDA z nedostatku paměti Můj odhad je, že jednou za čas jsou všechny tokeny směrovány k jedinému expertovi. Pak trénink spadne. Existuje snadné řešení? nikdy předtím jsem žádné MoE nevyladil

Který model bychom měli udělat příště?

Zajímají vás trénovací data nových modelů GPT-OSS od OpenAI? Já jsem byl také. tak jsem vygeneroval 10M příkladů z gpt-oss-20b, provedl nějakou analýzu a výsledky byly... Docela bizarní Je čas na hluboký ponor 🧵

nejkratší vysvětlení GPT-5: přesně to předpovídaly zákony škálování! Model je lepší, výnosy klesají a bohužel absolutní zlepšení obecné inteligence se bude jen zmenšovat Dobrou zprávou je, že je toho ještě tolik co dělat. Osobnost, uvažování, paměť a kreativita jsou stále otevřené problémy

je na čase připomenout, že vysoké skóre na SWEbench opravdu jen indikuje, že tréninková data obsahovala dostatečně velký podíl Djanga

nejpůsobivější částí GPT-5 je skok v dlouhodobém kontextu Jak to vůbec děláte? produkují nějaká podivná syntetická data s dlouhým dosahem? skenovat spoustu knih?

svět VC poskytuje velkou hodnotu, ale někdy to vypadá, jako by právě zapálili peníze. několik startupů, které znám, získalo před třemi lety celkem ~100 milionů na výrobu AI, vytvořilo software, který nikdo nikdy nepoužil, a nyní všechny pracují jinde na nesouvisejících věcech. Kam se poděly všechny ty peníze?

V éře sociálních médií je divné cítit, že všichni pracují na recenzích a protiargumentech NeurIPS, ale nikdo o tom veřejně nemluví. Přispěl jsem ke třem protiargumentům. Jeden z těchto tří byl extrémně frustrující. Kdo další pracuje na vyvracení? Jak se daří vám?