Model Bahasa Mandiri Adaptif

Model bahasa besar (LLM) yang ada saat ini statis dan tidak bisa beradaptasi dengan tugas baru, pengetahuan, atau contoh.

SEAL adalah kerangka kerja yang memungkinkan model LLM untuk menyesuaikan diri dengan menghasilkan data finetuning dan update secara mandiri.

Model ini menggunakan self-edit-a dan pembaruan berbasis gradient untuk melakukan penyesuaian.

Pendekatan ini tidak memerlukan modul adaptasi terpisah atau jaringan tambahan, karena SEAL menggunakan generasi internal model untuk mengendalikan proses adaptasinya.

Eksperimen menunjukkan bahwa SEAL dapat meningkatkan inkorporasi pengetahuan dan generalisasi few-shot.