¡tinybox roja v2! 4x9070XT, enchufe único de 15A. ¿A qué precio están comprando la gente?

Ancho de banda completo PCIe 4 x16 entre las 4 GPU. Procesador EPYC de 32 núcleos, 128 GB de RAM, 2TB NVMe.

¿Por qué estoy usando la herramienta de ancho de banda de AMD? Aquí hay una versión codificada en tinygrad. Se admite P2P completo entre las GPU en el controlador AMD de stock (a diferencia de ciertas otras empresas verdes que lo bloquean porque son malas).

Buen soporte de dtype, 165 TFLOPS MMAPEAK para bf16 acc f32. 315 TFLOPS para fp8.

Buen soporte de dtype, 165 TFLOPS MMAPEAK para bf16 acc f32. 315 TFLOPS para fp8. Esto es, por supuesto, por tarjeta.

¡Soporte completo para el controlador AM de tinygrad, lo que significa que puedes rmmod amdgpu y sigue funcionando! Python está mapeando los BARs PCIe en el proceso y controlando directamente la GPU.

AMD ha hecho un gran progreso con ROCm. La versión 7.1 viene estándar, junto con la última versión de PyTorch. 133 TFLOPS de GEMM logrados de 165 MMAPEAK no está mal, ¡y el controlador amdgpu parece estable en RDNA4!

tinygrad 13 líneas gpuburn! Maximizando la potencia a 304W por tarjeta, la fuente de alimentación lo maneja genial y apenas es audible en la oficina.

Aquí está con amdgpu en lugar del controlador AM. No sé de qué habla sobre el estado de bajo consumo, eso es potencia máxima, ¡y mira esas temperaturas frías después de quemar durante 10 minutos!

Parece una tinybox de emisión estándar, hermosa pantalla frontal, gran botón clicable, círculos calmantes.