"En av de veldig forvirrende tingene med modellene akkurat nå: hvordan skal man forene det faktum at de gjør det så bra på evalueringene. Og du ser på vurderingene og tenker, 'Det er ganske harde vurderinger.' Men den økonomiske effekten ser ut til å være dramatisk bak. Det finnes [en mulig] forklaring. Da folk gjorde fortrening, ble spørsmålet om hvilke data man skulle trene på besvart, fordi det svaret var alt. Så du trenger ikke å tenke på om det skal være disse dataene eller de dataene. Når folk gjør RL-trening, sier de: 'Ok, vi vil ha denne typen RL-trening for dette og den typen RL-trening for det der.' Du sier: 'Hei, jeg vil gjerne at modellen vår gjør det veldig bra når vi slipper den. Jeg vil at evalueringene skal se flotte ut. Hva ville vært RL-trening som kunne hjelpe med denne oppgaven?' Hvis du kombinerer dette med en generalisering om at modellene faktisk er utilstrekkelige, har det potensial til å forklare mye av det vi ser, denne koblingen mellom evalueringsytelse og faktisk virkelighetsmessig ytelse."

"Det er flere selskaper enn ideer, med god margin. Compute er stort nok til at det ikke er åpenbart at du trenger så mye mer compute for å bevise en idé. AlexNet ble bygget på 2 GPU-er. Transformatoren var bygget på 8 til 64 GPU-er. Som ville vært, hva, 2 GPU-er i dag? Man kan argumentere for at O1-resonnement ikke var det mest krevende på beregning i verden. For forskning trenger du definitivt en viss mengde beregning, men det er langt fra åpenbart at du trenger den absolutt største mengden beregning. Hvis alle er innenfor samme paradigme, blir beregning en av de store forskjellene.» @ilyasut

"Fra 2012 til 2020 var det forskningsalderen. Fra 2020 til 2025 var det skaleringens tidsalder. Er troen på at hvis du bare øker skalaen hundre ganger, vil alt bli forvandlet? Jeg tror ikke det stemmer. Det er tilbake til forskningsalderen igjen, bare med store datamaskiner." @ilyasut