AI进步靠新数据

AI的四次重大突破是深度神经网络、Transformer大模型、RLHF和推理训练。

每次突破的关键在于利用了新的大规模数据源：ImageNet、互联网文本、人类标签和验证器数据。

尽管模型和训练方法不断优化，但数据规模对AI能力提升的影响最大。

对于给定数据集存在学习上限，模型改进无法替代更多或更丰富的数据。

下一次范式转变可能来自尚未充分利用的新数据源，如海量视频和机器人传感器数据。