TokenDagger é uma implementação de alto desempenho do TikToken da OpenAI.
Oferece até 2x de throughput e tokenização de código 4x mais rápida.
Compatível como substituto direto do TikToken original.
Utiliza motor regex PCRE2 otimizado e algoritmo BPE simplificado.
Disponível via pip com licença MIT.
Get notified when new stories are published for "🇵🇹 Hacker News Português"