Q-learning не масштабируется

Q-learning пока не является масштабируемым в решении задач с длинным горизонтом. Существуют проблемы с накоплением смещения в предсказательных целях, что препятствует масштабируемости.

Использование off-policy RL, такого как Q-learning, потенциально позволяет использовать любые данные независимо от времени и способа их сбора, что улучшает эффективность использования образцов.

Исследования показывают, что Q-learning не может эффективно решать сложные задачи даже с увеличением объема данных и вычислительных ресурсов.

Техники сокращения горизонта, такие как n-step returns и иерархическое RL, помогают улучшить масштабируемость, но не решают проблему полностью.

Авторы призывают к дальнейшим исследованиям по поиску масштабируемых off-policy RL алгоритмов.