TokenDagger è un'implementazione ad alte prestazioni di OpenAI TikToken.
Offre un throughput doppio e velocizza la tokenizzazione del codice di 4 volte.
Utilizza PCRE2 per parsing regex ottimizzato dei token.
È compatibile come sostituto drop-in di OpenAI TikToken.
Adotta un algoritmo BPE semplificato per ridurre l'impatto sulle prestazioni.
Supporta Python 3.8+ e può essere installato da PyPI con pip install tokendagger.
Include test di confronto e benchmark delle prestazioni.
Get notified when new stories are published for "🇮🇹 Hacker News Italiano"