Tak Ada Ide Baru Di AI Hanya Data

Kemajuan besar dalam AI lebih dipengaruhi oleh akses ke sumber data baru daripada penemuan ide baru.

Empat terobosan utama AI berawal dari pemanfaatan dataset baru: ImageNet, teks web, umpan balik manusia, dan verifikator.

Inovasi teknis seperti FlashAttention dan speculative decoding terutama meningkatkan efisiensi penggunaan data.

Peningkatan kemampuan model terbaru hanya berkembang secara marginal karena keterbatasan data teks.

Terobosan berikutnya kemungkinan datang dari sumber data lain seperti video YouTube atau data sensor robot.

Batas kapasitas model lebih ditentukan oleh volume dan kualitas dataset daripada arsitektur model.