AI-agent prestaties op langere taken kunnen worden verklaard door een model met een constante faalkans per tijdseenheid, wat leidt tot een exponentieel dalende succesratio naarmate de taak langer duurt.
Er is ontdekt dat elke 7 maanden de lengte van de taken die AI-systemen kunnen voltooien verdubbelt.
De 50% succesratio wordt gebruikt als criterium omdat die gemakkelijk te schatten is, maar voor praktisch nut zijn hogere succesratio’s vaak nodig, zoals 80% of meer.
Bij een 80% succesratio is de tijdsduur waarvoor de AI succesvol is, een derde van die van een 50% succesratio.
De beschrijving van AI-prestaties in termen van een 'halfwaardetijd' geeft aan dat de prestaties meetbaar en voorspelbaar verbeteren met constante intervallen.
Er zijn echter vragen over de generaliseerbaarheid van deze resultaten naar andere taken, omdat de gemeten taken mogelijk niet alle AI-mogelijkheden vertegenwoordigen.
Get notified when new stories are published for "🇳🇱 Hacker News Dutch"