Rekayasa Ulang TPU untuk Inferensi dan Pelatihan

Proyek Tiny-TPU merupakan upaya merekayasa ulang TPU secara terbuka dengan pandangan pemula.

TPU adalah chip ASIC khusus ML yang mengoptimalkan operasi matrix multiply-accumulate melalui systolic array.

Systolic array terdiri dari grid Processing Elements yang menyinkronkan input, bobot, dan penjumlahan kumulatif per siklus jam.

Implementasi menggunakan jaringan MLP 2→2→1 untuk menyelesaikan masalah XOR sebagai studi kasus.

Proses input dan bobot diatur melalui rotasi, penundaan baris (staggering), dan transposisi agar sesuai dengan arsitektur systolic array.

Modul tambahan seperti FIFO, accumulator, pipeline, dan sinyal start travelling meningkatkan efisiensi dan penggunaan PE.

Mekanisme double buffering memungkinkan pergantian bobot tanpa menghentikan komputasi, mendukung inferensi berkelanjutan.

Unit VPU (Vector Processing Unit) mengintegrasikan operasi elemen per elemen untuk bias, aktivasi, loss, dan derivatif aktivasi.

Unified Buffer (UB) dengan akses multi-port memfasilitasi penyimpanan dan pembacaan data bobot, input, dan aktivasi selama forward dan backward pass.

Arsitektur sama mendukung inferensi dan pelatihan, termasuk perhitungan backpropagation dan pembaruan bobot real-time.