Penurunan Kinerja LLM dengan Konteks Panjang

Kinerja model LLM menurun konsisten saat panjang konteks input meningkat.

Penurunan performa semakin cepat pada pasangan pertanyaan-jarum dengan kemiripan semantik rendah.

Distraktor dalam konteks meningkatkan degradasi kinerja dan berdampak tidak merata tergantung distraktor dan model.

Kemiripan semantik antara jarum dan haystack memengaruhi kesuksesan model secara tidak konsisten.

Struktur haystack yang terorganisir justru menurunkan kinerja model dibandingkan haystack acak.

Model unggul pada prompt terfokus dibandingkan prompt penuh dengan konteks tidak relevan.

Replikasi teks sederhana pun gagal konsisten saat panjang konteks input dan output bertambah.

Posisi kata unik dalam tugas pengulangan memengaruhi akurasi model.