Q学習のスケーラビリティ問題

Q学習は現時点ではスケーラブルではないとされている。

現行のQ学習アルゴリズムは、100ステップ以上の長期的な問題に対してはスケーラブルではない。

バイアスの蓄積がQ学習における重大な問題となっている。

標準的なオフライン強化学習アルゴリズムは、複雑な長期タスクにおいてうまくスケールできていない。

ホライゾン短縮がQ学習のスケーラビリティを大幅に改善することが示された。

新しいスケーラブルなオフポリシー強化学習アルゴリズムが必要である。