集群 NVIDIA DGX Spark + M3 Ultra Mac Studio 以實現 4 倍更快的 LLM 推理。 DGX Spark: 128GB @ 273GB/s, 100 TFLOPS (fp16), $3,999 M3 Ultra: 256GB @ 819GB/s, 26 TFLOPS (fp16), $5,599 DGX Spark 的記憶體頻寬比 M3 Ultra 少 3 倍，但 FLOPS 多 4 倍。 通過在 DGX Spark 上運行計算密集型的預填充，在 M3 Ultra 上運行記憶體密集型的解碼，並通過 10GbE 流式傳輸 KV 快取，我們能夠充分利用這兩種硬體，實現巨大的速度提升。 此主題的簡短說明及完整部落格文章的連結如下。

將 NVIDIA DGX Spark 與 M3 Ultra Mac Studio 集群以實現 4 倍更快的 LLM 推理。 DGX Spark：128GB @ 273GB/s，100 TFLOPS (fp16)，$3,999 M3 Ultra：256GB @ 819GB/s，26 TFLOPS (fp16)，$5,599 DGX Spark 的記憶體頻寬比 M3 Ultra 少 3 倍，但 FLOPS 多 4 倍。 通過在 DGX Spark 上運行計算密集型的預填充，並在 M3 Ultra 上運行記憶體密集型的解碼，並通過 10GbE 流式傳輸 KV 快取，我們能夠充分利用兩種硬體，實現巨大的速度提升。 此主題的簡短說明及完整部落格文章的連結如下。

結合 NVIDIA DGX Spark + Apple M3 Ultra Mac Studio，以 EXO 實現 4 倍更快的 LLM 推理。 DGX Spark: 128GB @ 273GB/s, 100TFLOPS (fp16) M3 Ultra Mac Studio: 512GB @ 819GB/s, 26 TFLOPS (fp16) DGX Spark 的 FLOPS 約為 M3 Ultra 的 4 倍，但內存帶寬少了 3 倍。 通過結合這些設備並仔細重疊計算和網絡通信（超過 10GbE），我們能夠實現 4 倍的性能提升。怎麼做到的？ LLM 推理由兩個階段組成：預填充和解碼。 預填充是計算密集型的，隨著 FLOPS 的增加而變得更快。 解碼是內存密集型的，隨著內存帶寬的增加而變得更快。 通過在 DGX Spark 上運行計算密集型的預填充，並在 M3 Ultra 上運行內存密集型的解碼，我們能夠實現預填充相比於單獨的 M3 Ultra Mac Studio 快 4 倍，生成相比於單獨的 DGX Spark 快 3 倍。 更多詳情請參見下面的博客文章。