Il progresso dell’IA è guidato più dai dataset disponibili che da nuove idee tecniche.
Le quattro svolte nei modelli di linguaggio (ImageNet, Internet, feedback umani, verificatori) hanno sfruttato nuove fonti di dati.
Innovazioni come FlashAttention, transformers e RLHF ottimizzano l’uso dei dati piuttosto che introdurre concetti completamente nuovi.
C’è un limite a ciò che si può apprendere da un singolo dataset, indipendentemente dalle migliorie architetturali.
La prossima grande svolta arriverà dall’accesso a nuove fonti di dati, come video di YouTube o dati raccolti da robot.
Get notified when new stories are published for "🇮🇹 Hacker News Italiano"