TokenDagger обеспечивает двукратное увеличение пропускной способности по сравнению с TikToken.
При токенизации кода достигается ускорение в четыре раза.
Полная совместимость с токенизатором OpenAI TikToken обеспечивает бесшовную замену.
Оптимизированный движок регулярных выражений PCRE2 повышает эффективность разбора токенов.
Упрощённый алгоритм BPE снижает нагрузку при работе с большим словарём специальных токенов.
Пакет легко устанавливается через pip и поддерживает Python 3.8+.
Get notified when new stories are published for "🇷🇺 Hacker News Русский"