AI 혁신은 데이터에 달려 있다

AI의 주요 발전은 새로운 아이디어보다 새로운 데이터 활용에서 비롯되었다.

딥신경망, 트랜스포머+LLM, RLHF, 추론 모델은 각각 이미지넷, 웹, 인간 평가, 검증자라는 새로운 데이터 소스를 대규모로 사용하게 해주었다.

모델의 성능을 결정짓는 가장 중요한 요소는 알고리즘보다 데이터의 규모와 품질이다.

다음 AI 패러다임 전환은 아직 활용되지 않은 데이터 소스를 확보하는 데서 나올 가능성이 크다.

유튜브 동영상이나 로봇 센서 데이터가 차세대 AI 학습 데이터로 주목받고 있다.