TokenDagger是OpenAI TikToken的高性能实现.
该实现提供2倍文本处理吞吐量并在代码分词上达到4倍加速.
完美兼容TikToken，可直接替换使用.
采用PCRE2优化正则解析和简化的BPE算法以提升性能.
支持Python 3.8+环境，通过pip即可安装(tokendagger).
Get notified when new stories are published for "🇨🇳 Hacker News 简体中文"
No Sign-In needed. One-Click Subscribe.