Brak nowych pomysłów w AI, tylko nowe dane

Przełomy w modelach językowych opierały się głównie na zastosowaniu nowych, dużych zbiorów danych.

Cztery kluczowe etapy rozwoju AI to: sieci DNN z ImageNet, transformery uczone na tekście z Internetu, RLHF z opiniami ludzi oraz modele reasoning wspierane przez weryfikatory.

Postęp w AI napędzany jest bardziej przez dostęp do nowych źródeł danych niż przez wynalazki algorytmiczne.

Kolejny duży przełom prawdopodobnie wynikać będzie z pozyskania wcześniej nieeksploatowanych danych, na przykład z wideo (YouTube) lub sensorów robotycznych.