來自 @aelluswamy 的一個新的 30 分鐘演示已經發布,他是特斯拉的 AI 副總裁,他在演示中談到了 FSD、AI 以及團隊的最新進展。 演示亮點: • 特斯拉的車隊每天可以提供 500 年的駕駛數據。 維度詛咒: • 8 個高幀率攝像頭 = 每 30 秒駕駛上下文數十億個標記。 • 特斯拉必須壓縮並提取感官輸入與控制行動之間的正確關聯。 數據優勢: • 特斯拉擁有“尼亞加拉瀑布般的數據”——數百年的集體車隊駕駛數據。 • 使用智能數據觸發器捕捉稀有邊緣案例(例如,複雜的交叉口、不可預測的行為)。 質量與效率: • 僅提取訓練模型所需的基本數據,以提高效率。 調試與可解釋性: • 儘管系統是端到端的,特斯拉仍然可以提示模型輸出可解釋的數據: 3D 占用、道路邊界、物體、標誌、交通信號燈等。 • 自然語言查詢:詢問模型為什麼做出某個決策。 • 這些輔助預測不會駕駛汽車,但幫助工程師進行調試並確保安全。 特斯拉的先進高斯點雲技術(3D 場景建模): • 特斯拉開發了一個自定義的超快速高斯點雲系統,從有限的攝像頭視角重建 3D 場景。 • 即使從少數攝像頭角度也能產生清晰、準確的 3D 渲染——遠超標準的 NeRF/點雲方法。 • 使駕駛環境的 3D 快速視覺調試成為可能。 評估與世界模型: • 評估是最具挑戰性的問題:模型在離線時可能表現良好,但在現實世界條件下可能失敗。 • 特斯拉建立了平衡、多樣的評估數據集,專注於邊緣案例——不僅僅是簡單的高速公路駕駛。...