Optimisasi Prompt Melalui Seleksi Model

Keberhasilan diukur dengan metrik utama yang mencerminkan nilai bisnis, serta batasan pas/gagal seperti format output, latensi, biaya, dan keamanan.

Pengumpulan data evaluasi harus menggunakan sampel acak dan stratifikasi, dengan jumlah contoh yang memadai (sekitar 400-1000) dan pembagian data yang tepat untuk validitas statistik.

Pemecahan prompt menjadi komponen modular (instruksi, batasan, penalaran, skema, demonstrasi) memungkinkan pencarian prompt yang lebih terstruktur melalui operator edit terbatas.

Metode menghasilkan kandidat meliputi meta-prompting, pencarian evolusioner, penyempurnaan berbasis kegagalan, dan optimisasi berbasis RL dengan fungsionalitas yang berbeda.

Strategi evaluasi efisien menggunakan filter keberagaman dan algoritma racing untuk memangkas kandidat berdasarkan batas kepercayaan, mengurangi biaya evaluasi hingga 50-80%.

Kendali keras terhadap kepatuhan format, batasan latensi/biaya, keamanan, dan kejujuran wajib diaudit manusia sebelum produksi.