TokenDagger est une mise en œuvre performante de TikToken d’OpenAI.
Il offre un débit deux fois plus élevé et une tokenisation de code quatre fois plus rapide.
Il utilise un moteur regex PCRE2 optimisé pour des correspondances de tokens efficaces.
Il se substitue directement au tokenizer TikToken d’OpenAI sans changement de code.
Il simplifie l’algorithme BPE pour minimiser l’impact sur la performance.
L’installation se fait facilement via pip ou par clonage du dépôt Git avec peu de dépendances.
Get notified when new stories are published for "🇫🇷 Hacker News Français"