LLM Kesulitan Mengembalikan Kode dalam JSON

LLM menghasilkan kualitas kode lebih rendah saat diminta mengemas kode ke dalam respons JSON terstruktur dibandingkan teks markdown.

Benchmark pada 133 latihan Python menunjukkan penurunan skor semua model ketika menggunakan JSON-wrapping.

Mode strict JSON dari OpenAI tidak memperbaiki kualitas kode dibandingkan JSON biasa.

Pembungkusan JSON menyebabkan lebih banyak kesalahan sintaks dan indentasi karena kompleksitas escape dan quoting.

JSON-wrapping dapat mengganggu kemampuan model dalam memecahkan masalah pemrograman.

Kesimpulannya, sebaiknya tetap menggunakan format teks biasa untuk keluaran kode daripada JSON terstruktur.