AI革新はデータが鍵

最近のAI進化は主に新たなデータセットの活用によって推進されてきた。

AIの大きな4つのブレークスルー（DNN→トランスフォーマーLLM→RLHF→推論モデル）はそれぞれ新規データソースの導入によるものである。

モデル性能向上においては新しいアルゴリズムよりもデータの質と量が最大の要因となる可能性が高い。

次のAIパラダイムシフトは未利用のデータソース（大量動画データやロボットによる実世界情報など）の解放に依存すると予想される。