非常興奮 @karpathy 注意到我們的工作！希望這能幫助更廣泛的社區意識到 *精確性* 在我們的設計空間中應該佔有一席之地。

BF16 -> FP16 是一個如此簡單（在 Oat 中只需更改一個配置）但對於推理與訓練不匹配來說卻是根本性的修正。 使用 FP16，最基本的重要性取樣 PG 超越了 BF16 中所有的算法修正。讓我們從精度的角度重新思考 RL 穩定性。🔎

在2025年結束之前，撰寫關於LLM的強化學習（RL）論文提案沒有什麼比這更令人興奮的了！！ 涵蓋我在過去1.5年中作為第一作者完成的一部分作品（在從傳統的RL轉向LLM RL之後…） 當然，這只是暫定標題。