Half-Life dari Keberhasilan Agen AI

Studi menunjukkan bahwa kinerja agen AI dalam menyelesaikan tugas jangka panjang dapat diprediksi dengan model matematis sederhana, mirip dengan laju kegagalan konstan.

Hasil ini memungkinkan perkiraan tingkat keberhasilan agen AI dalam berbagai durasi tugas, menunjukkan adanya 'half-life' tiap agen AI.

Data dari METR menunjukkan bahwa panjang tugas yang dapat diselesaikan agen AI secara efektif berlipat ganda setiap 7 bulan.

Model laju kegagalan konstan menyiratkan bahwa untuk meraih tingkat kesuksesan yang lebih tinggi, diperlukan pengurangan yang sistematis dalam laju kegagalan.

Perbandingan dengan kinerja manusia menunjukkan bahwa manusia mungkin memiliki kemampuan lebih baik untuk memperbaiki kesalahan awal dalam tugas jangka panjang.