Biaya Inferensi AI Mencapai $100K Per Pengembang

Pertumbuhan token pada tools AI open source melonjak karena pengguna beralih akibat throttle dari layanan berbayar.

Industri salah mengira biaya inferensi aplikasi akan turun, namun justru meningkat.

Harga token frontier tetap stabil karena model makin besar dan test-time scaling.

Konsumsi token per aplikasi melonjak seiring jendela konteks lebih panjang dan saran model lebih besar.

Paket langganan $200 dibatasi bagi pengguna intensif sehingga mendorong penggunaan tools open source tanpa throttle.

Optimasi efisiensi token di tools open source mencakup pemecahan tugas, mode khusus, caching, dan pengelolaan konteks.

Biaya inferensi aplikasi diprediksi lebih dari $100K per tahun karena agen paralel dan kerja lebih lama sebelum umpan balik manusia.

Biaya pelatihan model jauh lebih tinggi, dengan insinyur pelatihan mengelola ratusan juta hingga miliaran dolar.