Buku Panduan Inference LLM Produksi

Buku ini adalah glossary, panduan, dan referensi lengkap untuk inference LLM di lingkungan produksi.

Mencakup konsep dasar, metrik kinerja, teknik optimasi seperti continuous batching dan prefix caching, serta praktik terbaik operasi.

Memberikan panduan praktis untuk deployment, skalabilitas, dan pengelolaan LLM di produksi.

Menggabungkan pengetahuan yang tersebar di berbagai sumber seperti makalah akademik, blog vendor, dan forum teknis.

Ditujukan untuk engineer yang ingin membuat inference LLM lebih cepat, murah, dan andal.

Handbook ini dapat dibaca secara menyeluruh atau digunakan sebagai referensi cepat, dan akan terus diperbarui seiring perkembangan bidang.