Tiny TPU: Por Que e Como

O projeto visa reinventar um TPU como exercício didático e desafiante, partindo de zero sem depender de ferramentas de IA.

Um TPU é um chip ASIC otimizado para inferência e treino de modelos de aprendizagem automática, especializado em multiplicações matriciais numa matriz sistólica de PEs.

A arquitetura implementa pipelining, buffering duplo e um buffer unificado para manter a matriz sistólica continuamente alimentada e maximizar a utilização dos PEs.

Na fase de inferência, o exemplo do problema XOR demonstra a multiplicação matricial, adição de bias e aplicação do Leaky ReLU em hardware.

O mesmo hardware suporta o treino via retropropagação, usando unidades de processamento vetorial (VPU) para cálculos element-wise, buffer unificado para armazenar ativações e gradientes e módulo de descida de gradiente.

Uma ISA personalizada de 94 bits e uma unidade de controlo coordenam todos os sinais e módulos, permitindo operações paralelas e eficiente fluxo de dados.

A filosofia de design privilegiou abordagens experimentais “hacky”, aprendizagem visual e reinvenção dos mecanismos da TPU em vez de engenharia reversa.