Q-learning nie jest jeszcze skalowalny

Obecne metody Q-learningu nie skalują się efektywnie do złożonych problemów o długim horyzoncie decyzyjnym, wymagających więcej niż 100 kroków decyzyjnych.

Q-learning ma problem z gromadzeniem się błędów, które zwiększają się z każdym kolejnym krokiem, co ogranicza jego skalowalność.

W badaniach empirycznych standardowe algorytmy offline RL nie były w stanie rozwiązać złożonych zadań nawet z dużą ilością danych.

Redukcja horyzontu jest jedną z metod poprawy skalowalności Q-learningu, ale nie rozwiązuje problemu fundamentalnie.

Wezwanie do dalszych badań w celu opracowania skalowalnego algorytmu RL, który poradzi sobie z długimi horyzontami i złożonymi zadaniami.