AI-progresjon skyldes i stor grad nye datasett snarere enn helt nye ideer.
Fire store gjennombrudd i språkteknologi oppsto ved bruk av DNNer/ImageNet, transformere, RLHF og resonnement.
Hvert gjennombrudd introduserte en ny datakilde som ImageNet, internetttekster, menneskelige tilbakemeldinger og verifikatorer.
De grunnleggende metodene bak disse gjennombruddene var kjent allerede på 1940- og 1990-tallet.
Tilgang til større og nye datasett har større effekt enn tekniske modellinnovasjoner.
Neste paradigmeskifte vil trolig komme fra nye datakilder som video (YouTube) eller robotinnsamlet sanntidsdata.
Get notified when new stories are published for "🇳🇴 Hacker News Norsk Bokmål"