AI Memperlambat Pengembang Berpengalaman 19%

Studi RCT oleh METR pada awal 2025 dengan 16 pengembang berpengalaman mengukur produktivitas penggunaan AI coding tools di proyek open-source matang.

Hasil menunjukkan penggunaan AI coding tools menyebabkan penurunan produktivitas 19%, meski developer memperkirakan peningkatan 20%.

Desain studi melibatkan 246 tugas, estimasi waktu tanpa AI, penugasan acak ke kondisi AI diizinkan dan AI dilarang, serta pencatatan waktu dan rekaman layar.

Berbagai potensi bias (efek John Henry, penggunaan AI terbatas, cheating, perbedaan definisi tugas, dan dropout) dan kekurangan (tidak terblind) telah diperiksa dan tidak menjelaskan hasil.

Faktor penyebab meliputi waktu yang terbuang untuk prompting AI, menunggu respons, dan mereview kode yang sering tidak memadai (hanya 39% hasil generasi AI diterima).

AI tools lebih efektif pada proyek greenfield kecil dan untuk pengembang kurang berpengalaman, sedangkan pada basis kode besar dan pengembang berpengalaman AI menciptakan beban tambahan.

Meskipun hasil menunjukkan penurunan produktivitas, developer merasakan percepatan kerja karena kesalahan persepsi dan bias retrospektif.

Temuan mencerminkan keterbatasan saat ini dari AI coding tools, namun penggunaan dan kemampuan AI diharapkan semakin baik.

Pentingnya data objektif karena laporan subjektif sering menyesatkan; developer percaya AI mempercepat meski realitas terbalik.