Desain Index Pencarian Berperforma Tinggi

Indeks pencarian Marginalia dirombak menggunakan struktur data baru yang mengutamakan performa pada NVMe SSD.

Struktur inverted index diimplementasikan ulang menjadi skip list blok deterministik untuk optimasi intersection list.

Pemilihan ukuran blok 128 KB terbukti memberikan kinerja baca terbaik dengan peningkatan throughput hingga 100x dibanding blok kecil.

Kombinasi mode baca buffered dan direct, serta penggunaan io_uring, menyeimbangkan kecepatan throughput dan konsistensi latensi.

Pengelompokan data posisi per dokumen meningkatkan lokalitas data dan mengurangi operasi I/O acak.

Bottleneck utama bergeser ke proses pengambilan posisi dan perankingan dokumen, dengan potensi peningkatan via kompresi posisi atau teknik bloom filter.