Q-러닝의 확장성 문제

RL은 기존의 다양한 학습 목표와는 달리 아직 확장성이 충분하지 않다.

현재의 Q-learning 알고리즘은 100단계 이상의 긴 호라이즌 문제에 대해 더 많은 데이터와 컴퓨터 파워를 사용하더라도 확장성을 발휘하지 못한다.

Q-learning의 확장성 장애는 예측 목표의 편향이 문제를 더 깊고 복잡하게 만드는 주된 원인이다.

현재의 오프-정책 강화학습은 데이터와 컴퓨팅 파워가 충분해도 길고 복잡한 문제를 해결하는 데 실패하고 있다.

호라이즌 감소 기술이 Q-learning의 확장 가능성을 향상시키는 효과적인 방법임을 발견했다.

완전히 확장 가능한 오프-정책 RL 알고리즘을 찾는 것이 머신러닝의 가장 중요한 과제 중 하나로 지적하고 있다.