TokenDagger to szybka, zamienna implementacja TikToken od OpenAI.
Oferuje dwukrotnie większą przepustowość i czterokrotnie szybsze tokenizowanie kodu.
Wykorzystuje zoptymalizowany silnik PCRE2 do wydajnego dopasowywania wzorców.
Jest w pełni kompatybilny z oryginalnym tokenizerem TikToken.
Uproszczony algorytm BPE zmniejsza wpływ dużego słownika specjalnych tokenów na wydajność.
Instalacja odbywa się przez pip lub klonowanie repozytorium z wymaganymi zależnościami.
Get notified when new stories are published for "🇵🇱 Hacker News Polski"