Em IA Não Há Ideias Novas, Apenas Dados

Os quatro grandes avanços em IA vieram de novas fontes de dados: ImageNet para visão computacional, a Web para modelos de linguagem, rótulos humanos via RLHF e verificadores no treino de raciocínio.

As principais técnicas (redes profundas, transformers, RLHF e modelos de raciocínio) existiam desde os anos 1990, mas só se tornaram transformadoras quando aplicadas a conjuntos de dados massivos.

Existe um limite no que melhorias de arquitetura e algoritmos podem extrair de um mesmo conjunto de dados, como mostra a equivalência de desempenho entre transformers e state-space models treinados nos mesmos dados.

O próximo grande salto em IA deve surgir da incorporação de novas fontes de dados em larga escala, como vídeos do YouTube ou dados sensoriais de sistemas robóticos.