在預訓練時代，重要的是互聯網文本。你主要希望擁有一個大型、多樣化、高質量的互聯網文檔集合來學習。 在監督微調時代，重要的是對話。雇用合同工來為問題創建答案，有點像你在 Stack Overflow / Quora 等地方看到的，但更針對 LLM 的用例。 我認為上述兩者都不會消失，但在這個強化學習的時代，現在重要的是環境。與上述不同，它們給 LLM 提供了實際互動的機會——採取行動、查看結果等。這意味著你可以希望比統計專家模仿做得更好。它們可以用於模型訓練和評估。但就像以前一樣，現在的核心問題是需要一個大型、多樣化、高質量的環境集合，作為 LLM 練習的練習場。 在某種程度上，我想起了 OpenAI 的第一個項目（gym），這正是一個希望建立一個大型環境集合的框架，但那是在 LLM 之前。因此，這些環境是當時簡單的學術控制任務，比如 cartpole、ATARI 等。@PrimeIntellect 環境中心（以及 GitHub 上的 `verifiers` 倉庫）構建了現代化版本，專門針對 LLM，這是一個偉大的努力/想法。今年早些時候，我建議有人構建類似的東西： 環境具有這樣的特性，一旦框架的骨架到位，原則上社區/行業可以在許多不同領域並行化，這令人興奮。 最後的想法——就個人和長期而言，我對環境和代理互動持樂觀態度，但對強化學習持悲觀態度。我認為獎勵函數非常可疑，我認為人類並不使用 RL 來學習（也許他們在某些運動任務等方面使用，但在智力問題解決任務中並不使用）。人類使用不同的學習範式，這些範式顯著更強大且樣本效率更高，而這些範式尚未得到適當的發明和擴展，儘管早期的草圖和想法已經存在（例如，“系統提示學習”的想法，將更新移動到令牌/上下文而不是權重，並可選擇將其提煉為權重，作為一個類似於睡眠的單獨過程）。