Dokumen ini merangkum perkembangan ukuran dan data latih model bahasa besar (LLM) sejak GPT-2 hingga gelombang MoE terkini.
GPT-2 diluncurkan tahun 2019 dengan kapasitas 137 juta hingga 1,61 miliar parameter, ditraining pada sekitar 10 miliar token.
GPT-3 (2020) memiliki 175 miliar parameter dengan sekitar 400 miliar token latih, memerlukan ribuan GPU A100 selama berbulan-bulan.
+7 more insights
Jack Welch memopulerkan memaksimalkan nilai pemegang saham dengan cara downsizing, outsourcing, dan buyback saham, memicu ketimpangan sosial-ekonomi.
Filosofi Welch menggeser prioritas perusahaan dari rekayasa produk ke rekayasa keuangan, tercermin pada krisis Boeing 737 Max.
Kompensasi besar Welch menjadi contoh bagi eksekutif lain, memperlebar kesenjangan pendapatan sementara upah buruh stagnan.
+3 more insights
Banyak produsen AS mempertimbangkan produksi lokal setelah tarif impor tinggi, tapi biaya produksi domestik jauh lebih mahal.
Plufl menemukan biaya pembuatan kasur memori busa di AS mencapai 150 USD per unit tanpa mencakup bahan impor, membuat harga jual mendekati 500 USD.
Pengecer seperti Costco dan Albertsons enggan menaikkan harga jual, memaksa perusahaan seperti Plufl dan Moment menyerap kenaikan biaya.
+2 more insights
IKKO Activebuds menggunakan sistem Android dengan ADB diaktifkan secara default sehingga mudah dieksploitasi.
Kunci API OpenAI tertanam pada perangkat dan dapat diekstrak tanpa otentikasi tambahan.
Perangkat berkomunikasi langsung dengan OpenAI dan server chat.iamjoy.cn tanpa enkripsi kuat.
+5 more insights
Cloudflare meluncurkan pengaturan izin untuk memblokir bot AI secara default dari pengambilan data digital situs.
Pengaturan baru mencegah pengikisan data tanpa izin, pemilik situs harus memberikan akses secara aktif.
Tujuan kebijakan ini untuk melindungi konten asli dan mendorong penciptaan konten digital baru.
+4 more insights
Fungsi Math.Pow(-1, 2) mengembalikan -1 pada Windows 11 Insider Preview, Canary channel (27881.1000).
Pengujian serupa di Python menghasilkan nilai yang benar (1).
Panggilan std::pow(-1, 2) di C++ juga menghasilkan -1, menunjukkan masalah lebih luas di Windows.
+1 more insights
Gunakan teks tautan singkat namun bermakna agar relevan meski dibaca terpisah konteks.
Hindari penggunaan frasa mekanik seperti "klik di sini".
Jangan sertakan kata kerja secara eksplisit dalam teks tautan.
+3 more insights
Spanyol dan Brasil meluncurkan inisiatif global untuk meningkatkan kontribusi pajak kaum super-kaya dalam upaya mengurangi ketimpangan pendapatan.
Orang terkaya sering membayar tarif pajak efektif lebih rendah daripada kelas menengah dan bawah akibat celah hukum.
Inisiatif ini mendorong pertukaran data antar pemerintah dan otoritas pajak untuk menutup celah, memerangi penghindaran, dan meningkatkan transparansi.
+3 more insights
RRRA didirikan untuk meneliti dan mempromosikan jaringan jalan Romawi di Kepulauan Inggris.
RRRA menggunakan teknologi LiDAR untuk memetakan rute jalan Romawi tersembunyi.
Jurnal Itinera adalah publikasi peer reviewed khusus jalan dan infrastruktur transportasi Romawi.
+3 more insights
MoGE mengelompokkan ahli untuk menyeimbangkan beban kerja dan meningkatkan efisiensi sistem.
Pangu Pro MoE memiliki 72 miliar parameter total dan 16 miliar diaktifkan per token.
Arsitektur ini dioptimalkan untuk Ascend 300I Duo dan 800I A2 melalui simulasi sistem ekstensif.
+2 more insights