Все ключевые прорывы в ИИ опирались на использование новых крупных наборов данных.
Четыре основных этапа развития LLM: глубокие нейронные сети (ImageNet), трансформеры (веб-тексты), RLHF (человеческие оценки) и обучение рассуждению (верификаторы).
Технические инновации без расширения и обновления данных дают ограниченный эффект.
Каждое новое применение данных вызывает бурный интерес к их сбору и эффективному использованию.
Следующий крупный прорыв в ИИ вероятнее всего будет связан с новыми источниками данных, такими как видео на YouTube или сенсорные данные роботов.
Объём и разнообразие данных важнее новых архитектур или алгоритмов.
Для ускорения прогресса в ИИ необходимо акцентировать усилия не на новых идеях, а на доступе к новым данным.
Get notified when new stories are published for "🇷🇺 Hacker News Русский"