Οι TPU είναι εξειδικευμένες ASICs της Google για εξαιρετική απόδοση πολλαπλασιασμών πινάκων και χαμηλή κατανάλωση ενέργειας.
Κάθε TPUv4 chip περιλαμβάνει δύο TensorCores με συστολικό πίνακα 128x128 (MXU), μονάδα VPU και μεγάλα scratchpad memories (CMEM, VMEM, SMEM) αντί για cache.
Η αρχιτεκτονική βασίζεται σε systolic arrays και pipelining για μέγιστο throughput στο matrix multiplication και στις συνελικτικές πράξεις.
Η Ahead-of-Time (AoT) μεταγλώττιση με τον XLA compiler επιτρέπει προβλέψιμες προσπελάσεις μνήμης, αποφεύγοντας ενεργοβόρες cache.
Η κλίμακα επιτυγχάνεται συνδέοντας chips μέσω Inter-Core Interconnect (ICI) και Optical Circuit Switching (OCS) σε 3D τοπολογία (rack 4×4×4, pod 64 racks).
Τα OCS παρέχουν wraparound, ευέλικτες μη-συνεχείς slices και twisted torus τοπολογίες για βελτιωμένη επικοινωνία.
Η XLA αναλαμβάνει αυτόματα τις επικοινωνιακές συλλογικές λειτουργίες (collectives) σε επίπεδα rack, pod και multi-pod.
Get notified when new stories are published for "🇬🇷 Hacker News Ελληνικά"