热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币，引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
Matt Turck
VC在@FirstMarkCap。 主持人：MAD播客;组织者：Data Driven NYC，作者：MAD Landscape。
. @lukaszkaiser 来自 @OpenAI 讲述了为什么泛化仍然是关键：
“我对泛化很着迷。我一直认为这是机器学习和理解智能的关键话题。预训练有点不同……它不一定会增加泛化能力。它只是利用了更多的知识。”
“我们推动模型。它们学习的是我们教给它们的内容周围的东西。它们仍然有局限性，因为它们不生活在物理世界中，因为它们在多模态方面表现不佳，因为推理仍然很年轻，我们的做法中还有很多错误。”
“有人说，这就像在雾中快速驾驶。你永远不知道自己离得有多远或多近。”
完整的节目与 Łukasz 在下面 - 或在 YouTube、Spotify 或 Apple Podcasts 上查找 "MAD Podcast with Matt Turck"。
11月27日 01:07
感恩节周的特别节目：与@lukaszkaiser的史诗对话——“Attention Is All You Need”（Transformers）的合著者，以及在@OpenAI工作的首席研究科学家，致力于GPT-5.1时代的推理模型。
00:00 – 冷开场和介绍
01:29 – “AI减速”与新前沿模型的狂野一周
08:03 – 低垂的果实、基础设施、强化学习训练和更好的数据
11:39 – 什么是推理模型，用简单的语言
17:02 – 思维链和用强化学习训练思维过程
21:39 – Łukasz的道路：从逻辑和法国到谷歌和库兹韦尔
24:20 – Transformer故事的内部，以及“注意力”真正意味着什么
28:42 – 从谷歌大脑到OpenAI：文化、规模和GPU
32:49 – 预训练、GPU和蒸馏的下一步是什么
37:29 – 我们还能理解这些模型吗？电路、稀疏性和黑箱
39:42 – GPT-4 → GPT-5 → GPT-5.1：实际改变了什么
42:40 – 后训练、安全性和教GPT-5.1不同语调
46:16 – GPT-5.1应该思考多久？推理令牌和不规则能力
47:43 – 五岁小孩的点点难题，仍然打破前沿模型
52:22 – 泛化、儿童般的学习以及推理是否足够
53:48 – 超越Transformers：ARC、LeCun的想法和多模态瓶颈
56:10 – GPT-5.1 Codex Max、长期运行的代理和压缩
1:00:06 – 基础模型会吞噬大多数应用吗？翻译类比和信任
1:02:34 – 仍需解决的问题，以及AI可能的下一步
2.32K
热门
排行
收藏