Et hold af begyndere genopfandt en TPU fra bunden for at lære hardwaredesign og dyb læring ved at eksperimentere og 'hacke' løsninger uden eksterne kilder.
En TPU er en specialiseret ASIC, der er optimeret til matrixmultiplikationer, som udgør størstedelen af beregningerne i neurale netværk.
Kernen i designet er en systolisk array bestående af Processing Elements (PE), der udfører multiply-accumulate-operationer hvert clock cycle.
Input- og vægtmatricer roteres, forsinkes (staggering) og transponeres for at strømline dataflowet gennem systolisk array.
Pipelining, dobbelt buffering samt kontrolsignaler (start, switch og accept) muliggør kontinuerlig inferens uden idle moduler.
Under systolisk array findes moduler til bias-tilføjelse og Leaky ReLU-aktivering, samlet i en vektorbehandlingsenhed (VPU) til elementvise operationer.
Til træning genbruges samme arkitektur til backpropagation ved hjælp af kædereglen, gradientberegninger i hardware og en Unified Buffer-scratchpad til at gemme mellemresultater.
En 94-bit instruktionssætarkitektur styrer alle moduler og sikrer effektiv udnyttelse af TPU’en til både inferens og træning.
Get notified when new stories are published for "Hacker News 🇩🇰 Dansk"