tinybox rouge v2 ! 4x9070XT, prise unique de 15A. À quel prix les gens achètent-ils ?

Bande passante complète PCIe 4 x16 entre les 4 GPU. Processeur EPYC 32 cœurs, 128 Go de RAM, 2 To NVMe.

En fait, pourquoi j'utilise l'outil de bande passante d'AMD ? Voici une version codée dans tinygrad. Le P2P complet entre les GPU est pris en charge par le pilote AMD d'origine (contrairement à certaines autres entreprises vertes qui le bloquent parce qu'elles sont méchantes)

Bon support de dtype, 165 TFLOPS MMAPEAK pour bf16 acc f32. 315 TFLOPS pour fp8.

Bon support de dtype, 165 TFLOPS MMAPEAK pour bf16 acc f32. 315 TFLOPS pour fp8. C'est bien sûr par carte.

Prise en charge complète du pilote AM tinygrad, ce qui signifie que vous pouvez rmmod amdgpu et cela fonctionne toujours ! Python mappe les BAR PCIe dans le processus et pilote directement le GPU.

AMD a fait beaucoup de progrès avec ROCm. La version 7.1 est standard, avec le dernier PyTorch. 133 TFLOPS GEMM atteints sur 165 MMAPEAK n'est pas mal, et le pilote amdgpu semble stable sur RDNA4 !

tinygrad 13 lignes gpuburn ! Maximisation de la puissance à 304W par carte, l'alimentation gère cela très bien et est à peine audible dans le bureau.

Voici avec amdgpu au lieu du pilote AM. Je ne sais pas de quoi il s'agit concernant l'état de faible consommation d'énergie, c'est la puissance maximale, et regardez ces températures glaciales après avoir brûlé pendant 10 minutes !

On dirait une tinybox standard, bel écran avant, gros bouton cliquable, cercles apaisants.