Q-Learning ist nicht skalierbar

Q-Learning skaliert derzeit nicht gut für komplexe und langwierige Probleme aufgrund von Akkumulation von Verzerrungen in Schätzungen der Vorhersageziele.

Off-Policy RL-Methoden wie Q-Learning können theoretisch effizienter sein, aber in der Praxis sind algorithmische Durchbrüche erforderlich, um die Skalierung zu verbessern.

Trotz großer Datensätze können bestehende Offline-RL-Algorithmen komplexe Aufgaben nicht vollständig lösen, da die Leistung oft nicht optimal ist.

Reduzierung des Horizonts, z. B. durch mehrstufige Rückführungen oder hierarchisches RL, kann die Skalierbarkeit von Q-Learning verbessern.

Ein Aufruf zu weiteren Forschungen in skalierbaren Off-Policy RL-Algorithmen wird als entscheidend für die zukünftige Lösung vielfältiger realer Probleme angesehen.