Cluster Mainboard Framework untuk LLM

Framework mengirim empat mainboard AMD Ryzen AI Max+ 395 untuk diujikan sebagai cluster mini ITX.

Perakitan cluster menggunakan DeskPi 2U tray dan rack DeskPi 8U dengan NVMe SSD 1TB.

Konsumsi daya tiap node: tidur 2W, idle 11W, beban penuh 145–155W.

Empat node mencapai >1 TFLOP performa FP64 pada benchmark HPL.

AI inference dengan CPU dan iGPU mudah digunakan, dukungan AMD ROCm dan NPU masih bermasalah.

llama.cpp RPC paling menjanjikan untuk inference terdistribusi namun terbatas pada mode round-robin dan crash di model besar.

Alat clustering AI open source belum matang, performa dan jaringan masih menjadi hambatan.

Biaya cluster sekitar US$8004 dengan throughput 0.7 token/s untuk Llama 3.1 405B, kurang kompetitif dibanding perangkat tunggal high-end.

Disarankan mengutamakan skala vertikal dengan hardware khusus dan interkoneksi cepat daripada cluster multi-node saat ini.