TokenDagger, OpenAI’nin TikToken kütüphanesine yüksek performanslı, tam uyumlu bir alternatiftir.
C++ temelli hızlı PCRE2 regex ayrıştırma ve basitleştirilmiş BPE algoritması sayesinde 2 kat daha yüksek iş hacmi ve kod örneklerinde 4 kat daha hızlı tokenlaştırma sağlar.
AMD EPYC 4584PX üzerinde yapılan testlerde kod tokenlaştırmada 4.02 kat hız artışı gözlemlenmiştir.
Python 3.8+ desteği vardır ve pip install tokendagger komutuyla kolayca kurulabilir.
MIT lisansı ile açık kaynak olarak GitHub’da barındırılmaktadır.
Get notified when new stories are published for "🇹🇷 Hacker News Türkçe"