TPU 구조 및 설계 심층 분석

TPU는 구글의 ASIC으로, 높은 행렬곱 처리량과 에너지 효율에 최적화됨

단일 칩에는 128×128 크기의 매트릭스 곱 유닛(MXU), 벡터 유닛(VPU), CMEM·VMEM·SMEM 등 대용량 온칩 메모리가 포함됨

설계 철학은 시스톨릭 배열과 파이프라이닝, 사전 컴파일(AoT) 기반 XLA 컴파일러와의 하드웨어·소프트웨어 코드공동설계에 기반함

사전 컴파일을 통해 캐시 대신 스크래치패드 메모리를 활용하고 예측 가능한 메모리 접근으로 에너지 효율 극대화

트레이→랙(4×4×4 3D 토러스)→풀 팟(64랙)→멀티팟 계층별로 엑사플롭스급 연산 성능과 유연한 확장성 제공

광스위치(OCS)를 통해 비연속적 슬라이스 구성, 랙 간 랩어라운드, 토폴로지 변경(트위스트 토러스) 등을 지원해 대규모 리소스 활용 최적화

XLA 컴파일러가 계층별 집단통신 코드를 자동 삽입하여 대규모 병렬 학습 환경에서도 개발자 경험 단순화