Zincir Düşünce Modellerinin Kırılgan Gerçeği

LLM'lerin zincir düşünce (CoT) yetenekleri gerçek mantıksal akıl yürütme değil, eğitim verisinden öğrendikleri desenlerin taklidine dayanıyor.

CoT modelleri, eğitim verisinden farklı veya yeni mantıksal dönüşümlerle karşılaştıklarında performansları hızla bozuluyor.

Eğitim verisindeki uzunluk, format veya içerik farklılıkları yanıt doğruluğunu önemli ölçüde düşürüyor.

Modeller bazen doğru sonuçlara yanlış veya güvenilmez akıl yürütme yollarıyla ulaşabiliyor.

Süpervizörlü ince ayar (SFT) ile ufak ölçüde gelişme sağlansa da, bu gerçek genelleme yeteneği sağlamıyor.

CoT modellerinin ürettiği akıcı ama anlamsız metinler yanıltıcı bir güvenilirlik hissi yaratıyor.

Gelecekte model değerlendirmelerinde eğitim verisinden bağımsız görevler kullanılmalı, modeller derin çıkarımsal yetenekler göstermeli.