適応的Qチャンキングによるオフラインからオンラインへの強化学習

- Offline-to-online reinforcement learning における action chunking の手法。 - 従来は全状態で固定の chunk size を使用していたが、状態に応じて chunk size を適応的に選択する Adaptive Q-Chunking (AQC) を提案。 - 接触イベント付近では短い chunk で反応的制御、自由空間移動では長い chunk で credit assignment を改善することを狙う。 - OGBench と Robomimic で offline/online の成功率を SOTA に。 - 大規模 VLA モデルにも適用可能で、RoboCasa-GR1 タスクの性能を大幅に向上。

- 既存の offline-to-online RL with action chunking は全状態で固定 chunk size を使用。 - 固定 chunk size は最適でなく、状態に応じた適応が望ましいという問題を指摘。 - 単純に複数 chunk size の critic を学習し各状態で最良を選ぶと、discount-scale mismatch により最短 chunk に崩壊し、低価値状態ではノイズに劣化する。 - AQC はこの2つの失敗を解決し、理論的に adaptive chunking が任意の固定 chunk size より価値支配することを証明。 - 実験で SOTA を達成し、大規模 VLA モデルにも適用可能。

- 複数の chunk size に対する critic を学習。 - 各 chunk size の advantage を per-horizon baseline に対して比較し、discount factor で正規化。 - この基準により、真の信号がない場合は偏りのある誤答を不偏なほぼランダムな選択に変換し、特定のスケールがより良い計画を可能にする場合は識別力を持つ。 - advantage selector のノイズ耐性と、adaptive chunking の固定 chunk size に対する価値支配の理論的限界を証明。

- OGBench と Robomimic で offline および online の成功率を評価し、SOTA を達成。 - 大規模 VLA モデルに適用し、RoboCasa-GR1 タスクで性能を大幅に向上。 - 理論的証明により、advantage selector のノイズ耐性と adaptive chunking の価値支配を検証。

- 要旨からは不明。 - 理論的限界と実験結果は示されているが、限界や議論については明記されていない。

- 要旨で参照/比較されている研究: 既存の offline-to-online RL with action chunking（固定 chunk size の手法）。 - 関連手法: action chunking, offline-to-online reinforcement learning, VLA models, OGBench, Robomimic, RoboCasa-GR1。 - 同分野の定番: Q-learning, advantage actor-critic, behavior cloning。 - 具体的な論文名は要旨に記載なし。