El progreso en IA se debe sobre todo a la incorporación de nuevos conjuntos de datos, no a ideas completamente nuevas.
Los cuatro hitos de los modelos de lenguaje (redes profundas, transformadores, RLHF y razonamiento) se basan en conocimientos previos aplicados a nuevas fuentes de datos.
Cada gran avance habilitó el uso masivo de una nueva fuente de datos: ImageNet, el contenido de la web, etiquetas humanas y verificadores automatizados.
La mejora de rendimiento en modelos de IA tiene un límite impuesto por la cantidad y calidad del conjunto de datos, más que por innovaciones arquitectónicas.
El próximo paradigma en IA llegará al explotar fuentes de datos aún no aprovechadas, como videos de YouTube o datos recogidos por robots.
Get notified when new stories are published for "🇪🇸 Hacker News Espanyol"