Daur Permintaan Inference vLLM

Blog menjelaskan alur lengkap permintaan inference pada vLLM V1 dari penerimaan hingga streaming hasilnya.

Setiap permintaan diubah menjadi token oleh AsyncLLM lalu dikirim ke EngineCore melalui IPC asinkron.

EngineCore menggunakan Scheduler untuk melakukan continuous batching dan mengelola KV Cache di GPU.

ModelRunner menjalankan forward pass pada GPU untuk memproses prompt dan menghasilkan token baru.

AsyncLLM mengumpulkan hasil, mendetokenisasi, dan mengirim respons ke klien secara streaming atau penuh.

Arsitektur ini memungkinkan pemrosesan LLM efisien dan terukur di lingkungan multi-GPU.