Pangu Pro MoE: Grupperet ekspertmodel for effektiv sparsitet

1

MoGE grupperer eksperter for at sikre jævn belastning på tværs af enheder.

2

Pangu Pro MoE har 72 mia. parametre, hvoraf 16 mia. aktiveres per token.

3

Modellen er optimeret for Ascend 300I Duo og 800I A2 via systemsimulation.

4

MoGE opnår bedre load balancing og mere effektiv træning og inferens på Ascend NPUs.

5

Inferenshastigheden når 1148 tokens/s per kort og op til 1528 tokens/s med spekulativ acceleration.

6

Modellen overgår sammenlignelige 32B og 72B dense modeller og åbne modeller som GLM-Z1-32B og Qwen3-32B.

7

Pangu Pro MoE har fremragende cost-to-performance-ratio på Ascend 300I Duo.