MoGE mengelompokkan ahli untuk menyeimbangkan beban kerja dan meningkatkan efisiensi sistem.
Pangu Pro MoE memiliki 72 miliar parameter total dan 16 miliar diaktifkan per token.
Arsitektur ini dioptimalkan untuk Ascend 300I Duo dan 800I A2 melalui simulasi sistem ekstensif.
Kinerja inferensi mencapai 1148 token/s per kartu dan meningkat hingga 1528 token/s dengan akselerasi spekulatif.
Pangu Pro MoE unggul dibanding model Dense 32B dan 72B serta model terbuka seperti GLM-Z1-32B dan Qwen3-32B.
Get notified when new stories are published for "🇮🇩 Hacker News Bahasa Indonesia"