TokenDagger adalah implementasi performa tinggi untuk OpenAI TikToken dengan throughput 2x.
Tokenisasi kode 4x lebih cepat dibandingkan dengan TikToken asli.
Optimisasi mesin regex PCRE2 meningkatkan efisiensi pencocokan pola token.
Kompatibel penuh sebagai pengganti langsung TikToken dalam aplikasi.
Instalasi mudah melalui pip install tokendagger dan dependensi PCRE2.
Get notified when new stories are published for "🇮🇩 Hacker News Bahasa Indonesia"