🚨突发消息:特斯拉创建了一种新的文件格式 .SMOL,以将 FSD 训练速度提高 4 倍 特斯拉工程师意识到 GPU 并不是瓶颈。 存储系统才是。 旧格式如 MP4 和 CSV 强迫系统扫描、解码并搜索巨大的文件,仅仅是为了找到几帧数据。这浪费了时间。昂贵的 GPU 在等待数据加载时处于闲置状态。 因此,特斯拉从头开始构建了一种自定义格式。 这个想法简单但强大: 在文件的最前面放置一个主索引,告诉系统每一块数据的确切位置。 无需扫描。无需解码。无需搜索。 系统直接跳到所需的确切字节,并立即将数据提供给 GPU。 结果: • I/O 操作减少 400% • 在 PB 级别上文件大小减少约 11% • GPU 始终保持忙碌,而不是等待 • FSD 模型在没有新硬件的情况下训练得更快 特斯拉还以可直接使用的张量形式存储数据,因此 CPU 在 GPU 可以使用之前不会浪费时间转换格式。 更有趣的是。 专利表示这种格式不仅仅适用于汽车。...