TPUs zijn door Google ontwikkelde gespecialiseerde chips gericht op matrixvermenigvuldigingen en energie-efficiëntie.
Elke TPU-chip bevat TensorCores met systolische arrays en grote on-chip geheugens (CMEM, VMEM, SMEM).
De designfilosofie rust op systolische arrays met pipelining en Ahead-of-Time compilatie via de XLA compiler om cachegebruik te vermijden.
TPU-systemen schalen door chips te organiseren in trays, racks en pods met hoge-bandbreedte interconnects (ICI en OCS).
Flexibele 3D torus- en twisted torus-topologieën verbeteren communicatiebandbreedte en benutting bij grootschalige training.
De XLA compiler coördineert automatisch communicatieroutines over meerdere chips en pods voor efficiënte ML-training op schaal.
Get notified when new stories are published for "🇳🇱 Hacker News Dutch"