「今のモデルたちで非常に混乱している点の一つは、評価でこれほど良い成績を収めているという事実をどう折り合いつけるかということです。 評価を見て、『かなり厳しい評価だ』と思います。 しかし、経済的影響は劇的に遅れているようです。 [可能な]説明があります。かつては、誰がプレトレーニングをしていたかという問いは、どのデータでトレーニングするかという問いに答えがありました。なぜなら、その答えがすべてだったからです。だから、このデータかあれのデータかを考える必要はありません。 人々が強化学習のトレーニングを行うとき、『この種の強化学習を、あれらの強化学習をあれにしたい』と言います。 「モデルがリリースされたら本当に成功してほしいです」と言います。評価結果を素晴らしく見せたいのです。この課題に役立つ現実学習のトレーニングにはどんなものがあるでしょうか?」 これに加えて、モデルが実際には不十分であるという一般化を組み合わせれば、評価成績と実際のパフォーマンスの乖離を説明できる可能性があります。

「アイデアよりも会社の数がずっと多い。 計算量は十分に大きいため、あるアイデアを証明するのにそれほど多くの計算が必要だとは明らかではありません。 AlexNetは2つのGPUで構築されました。トランスは8から64のGPUで構成されていました。つまり、今日のGPUは2台くらいでしょうか?o1推論は世界で最も計算負荷の高いものではなかったと主張することもできます。 研究には確かにある程度の計算量が必要ですが、絶対に最大量の計算量が必要だとは決して明白ではありません。 もし全員が同じ範疇内にいるなら、計算は大きな差別化要因の一つになります。」 @ilyasut

「2012年から2020年までは研究の時代でした。2020年から2025年まではスケーリングの時代でした。 スケールを100倍にすれば、すべてが変わるという信念でしょうか? それは違うと思います。また研究の時代に戻ったのですが、大きなコンピューターが使われています。」 @ilyasut