Mengenal Desain dan Skalabilitas TPU Google

TPU adalah ASIC Google yang dioptimasi untuk throughput matriks ekstrem dan efisiensi energi.

Setiap chip TPU memiliki dua TensorCore dengan MXU (systolic array 128x128), VPU, serta memori on-chip besar (CMEM, VMEM, SMEM) dan HBM.

Desain TPU mengandalkan systolic arrays + pipelining untuk mempercepat operasi matriks dan convolusi tanpa banyak akses memori.

AoT compilation dengan XLA menghilangkan kebutuhan cache tradisional, meminimalkan akses memori dan konsumsi energi.

Skalabilitas dicapai melalui hierarki: chip → tray (4 chip) → rack (4×4×4 chip) → pod (4096 chip) → multislice (multi-pod) menggunakan ICI dan OCS.

Optical Circuit Switching (OCS) memungkinkan slice nonkontigu, topologi fleksibel (twisted torus), serta pengaturan bentuk slice untuk optimasi bandwidth.

XLA compiler mengatur komunikasi kolektif di berbagai dimensi paralelisme (data, tensor, pipeline) sehingga developer cukup mengatur flags tanpa ubah kode banyak.

TPUv5p–v7 mencapai eksaFLOPS per pod, mendukung pelatihan dan inferensi skala besar Google AI services.