階層的アドバンテージ重み付けによるスパースなエピソード結果からのVLAオンラインRL微調整

本論文は、pretrained VLA policies を online RL で fine-tuning する際に、各 rollout episode が成功/失敗の binary outcome しか与えない問題に対処する手法 Hierarchical Advantage-Weighted Behavior Cloning (HABC) を提案する。 - 課題: actor update には per-transition supervision が必要だが、既存手法は sparse outcome を単一 scalar reward/advantage に還元し、transition-level feedback を混同する。 - 提案: viability と efficiency の2目的を分離し、state-adaptive gate で統合、intervention-aware credit assignment を導入。 - 検証: 実ロボットの contact-rich bimanual tasks 3種で SFT を大きく上回る成功率を報告。

既存の online RL fine-tuning 手法と比べ、以下の点が異なる。 - 従来は sparse episode outcome を単一 scalar reward/advantage に集約し、viability と efficiency を混同していた。 - 本手法は2つの critic head を別々の data subset で訓練し、state-adaptive balance で統合する。 - また、real-world rollouts で混在する autonomous/intervention segments に対し、naive な outcome 割当てが誤った credit assignment を生む問題を、intervention-aware credit assignment で防ぐ。 - 結果として、基本成功が達成可能になった後も efficiency を区別する勾配を提供できる。

HABC の肝は次の通り。 - viability と efficiency の2目的に対し、別々の critic head を異なる data subset で訓練。 - state-adaptive gate g_t が両者の one-step advantages を統合。成功が不確実な時は viability を優先し、viability が高い時のみ efficiency へ移行。 - 統合結果を actor loss 上の per-transition weights に変換。 - intervention-aware credit assignment により、outcome label を current policy が実行した segment に限定し、intervention 境界を越えた supervision の漏れを防ぐ。

実ロボット実験で検証。 - 3つの contact-rich bimanual tasks において、SFT baseline の成功率 36%, 44%, 12% を、HABC は 92%, 88%, 38% に向上。 - これにより、sparse episode outcomes からの online RL fine-tuning における有効性を示した。

要旨からは不明。 - 限界や失敗事例、計算コスト、ハイパーパラメータ感度、他タスクへの一般化については記述がない。 - 議論の有無は要旨からは判断できない。

要旨で参照/比較されている研究は明示されていない。 - 関連手法として、sparse outcome を単一 scalar reward/advantage に還元する既存の online RL fine-tuning 手法が挙げられるが、具体名は要旨からは不明。 - 同分野の定番として、Behavior Cloning (BC)、Supervised Fine-Tuning (SFT)、Advantage-Weighted Behavior Cloning、online RL fine-tuning of VLA policies などが次に読むべき候補。 - 具体的な論文名は要旨からは不明。