LLM’lerde Blueberry Harf Sayma Hatası

GPT-5 Chat modeli “blueberry” kelimesindeki b harflerini sıkça yanlış sayıyor ve çoğunlukla 3 yerine 2 demesi gerekirken 3 diyor.

GPT-5 varyantlarının yeni model yönlendiricisi bozuk olsa da hatanın tutarlı şekilde devam ettiği gözlemleniyor.

gpt-oss, Claude, Gemini ve Kimi K2 gibi diğer popüler LLM’ler genellikle doğru sonuç verirken bazı varyantlarda farklı sayım hataları yapılıyor.

Çilek kelimesindeki r harfleri sayım testinde neredeyse tüm modeller mükemmel performans göstererek eğitim verisindeki düzeltmelere işaret ediyor.

Tokenizasyon zorluğu bu hatayı tam açıklamasa da farklı biçimlendirmeler ve çoklu denemelere rağmen LLM’ler tutarsızca başarısız oluyor.

Bu çalışma, modern LLM’lerin basit harf sayma gibi temel görevlerde bile idiosynkratik ve tutarsız hatalar yapabileceğini gösteriyor.