集群 NVIDIA DGX Spark + M3 Ultra Mac Studio，实现 4 倍更快的 LLM 推理。 DGX Spark: 128GB @ 273GB/s, 100 TFLOPS (fp16), $3,999 M3 Ultra: 256GB @ 819GB/s, 26 TFLOPS (fp16), $5,599 DGX Spark 的内存带宽是 M3 Ultra 的 1/3，但 FLOPS 是其 4 倍。 通过在 DGX Spark 上运行计算密集型的预填充，在 M3 Ultra 上进行内存密集型的解码，并通过 10GbE 流式传输 KV 缓存，我们能够充分利用这两种硬件，实现巨大的速度提升。 此线程中的简短说明及完整博客文章链接如下。

集群 NVIDIA DGX Spark + M3 Ultra Mac Studio，实现 4 倍更快的 LLM 推理。 DGX Spark: 128GB @ 273GB/s, 100 TFLOPS (fp16), $3,999 M3 Ultra: 256GB @ 819GB/s, 26 TFLOPS (fp16), $5,599 DGX Spark 的内存带宽是 M3 Ultra 的 1/3，但 FLOPS 是其 4 倍。 通过在 DGX Spark 上运行计算密集型的预填充任务，在 M3 Ultra 上运行内存密集型的解码任务，并通过 10GbE 流式传输 KV 缓存，我们能够充分利用这两种硬件，实现巨大的速度提升。 此线程中的简短说明及完整博客文章链接如下。

将 NVIDIA DGX Spark 与 Apple M3 Ultra Mac Studio 结合，实现 4 倍更快的 LLM 推理，使用 EXO。 DGX Spark：128GB @ 273GB/s，100TFLOPS（fp16） M3 Ultra Mac Studio：512GB @ 819GB/s，26 TFLOPS（fp16） DGX Spark 的 FLOPS 大约是 M3 Ultra 的 4 倍，但内存带宽少 3 倍。 通过结合这两台设备并仔细重叠计算和网络通信（超过 10GbE），我们能够实现 4 倍的性能提升。怎么做到的？ LLM 推理由两个阶段组成：预填充和解码。 预填充是计算密集型的，随着 FLOPS 的增加而加快。 解码是内存密集型的，随着内存带宽的增加而加快。 通过在 DGX Spark 上运行计算密集型的预填充，在 M3 Ultra 上运行内存密集型的解码，我们能够实现与单独使用 M3 Ultra Mac Studio 相比，预填充速度提升 4 倍，与单独使用 DGX Spark 相比，生成速度提升 3 倍。 更多细节请参见下面的博客文章。