日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2604.03037

長期的操作のためのアドバンテージ報酬モデリング

ARM: Advantage Reward Modeling for Long-Horizon Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

長期的なロボット操作タスクにおいて、スパースな報酬の代わりに相対的なアドバンテージを推定する報酬モデリング手法を提案し、タオル折りタスクで高い成功率を達成した。

詳しい要約

1. どんなもの?

- 長期的なロボットマニピュレーションにおける強化学習(RL)の課題に対処するためのフレームワーク「Advantage Reward Modeling (ARM)」を提案。 - スパース報酬ではクレジット割り当てが困難なため、相対的なアドバンテージを推定するアプローチを採用。 - 三状態ラベリング(Progressive, Regressive, Stagnant)を導入し、人間の認知負荷を軽減しつつ高いアノテータ間一致を実現。 - 完全なデモンストレーションと断片的なDAggerスタイルデータの両方に対して自動進捗アノテーションを可能にする。 - オフラインRLパイプラインに統合し、適応的な行動報酬再重み付けにより劣悪なサンプルをフィルタリング。 - 難易度の高いタオル折りタスクで99.4%の成功率を達成し、VLAベースラインを上回る安定性とデータ効率を示す。

2. 先行研究と比べてどこがすごい?

- 従来の密な進捗報酬は取得コストが高く、バックトラッキングや回復などの非単調な行動に不向き。 - ARMは絶対的な進捗ではなく相対的なアドバンテージ推定に移行することで、これらの問題を回避。 - 三状態ラベリングにより、人間の認知負荷を抑えつつ高いアノテータ間一致を実現し、コスト効率が良い。 - 完全なデモと断片的なDAggerデータの両方に適用可能で、自動進捗アノテーションを実現。 - オフラインRLパイプラインに統合することで、適応的な報酬再重み付けと劣悪サンプルのフィルタリングを可能に。 - タオル折りタスクで99.4%の成功率を達成し、現在のVLAベースラインよりも安定性とデータ効率が向上。

3. 技術・手法の肝は?

- 相対的なアドバンテージを推定するAdvantage Reward Modeling (ARM)を提案。 - 三状態ラベリング戦略(Progressive, Regressive, Stagnant)を導入し、人間の認知負荷を軽減。 - これらの直感的な信号で訓練することで、完全なデモンストレーションと断片的なDAggerスタイルデータの自動進捗アノテーションを実現。 - オフラインRLパイプラインにARMを統合し、適応的な行動報酬再重み付けを可能に。 - これにより、劣悪なサンプルを効果的にフィルタリング。

4. どうやって有効だと検証した?

- 難易度の高い長期的タオル折りタスクで評価。 - 99.4%の成功率を達成。 - 現在のVLAベースラインと比較して、安定性とデータ効率の向上を実証。 - ポリシー訓練中の人間の介入がほぼゼロであることを示す。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:VLAベースライン、DAggerスタイルデータ。 - 関連手法:オフラインRL、密な進捗報酬、スパース報酬。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiming Mao, Zixi Yu, Weixin Mao, Yinhao Li, Qirui Hu, Zihan Lan, Minzhao Zhu, Hua Chen

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Long-horizon robotic manipulation remains challenging for reinforcement learning (RL) because sparse rewards provide limited guidance for credit assignment. Practical policy improvement thus relies on richer intermediate supervision, such as dense progress rewards, which are costly to obtain and ill-suited to non-monotonic behaviors such as backtracking and recovery. To address this, we propose Advantage Reward Modeling (ARM), a framework that shifts from hard-to-quantify absolute progress to estimating relative advantage. We introduce a cost-effective tri-state labeling strategy -- Progressive, Regressive, and Stagnant -- that reduces human cognitive overhead while ensuring high cross-annotator consistency. By training on these intuitive signals, ARM enables automated progress annotation for both complete demonstrations and fragmented DAgger-style data. Integrating ARM into an offline RL pipeline allows for adaptive action-reward reweighting, effectively filtering suboptimal samples. Our approach achieves a 99.4% success rate on a challenging long-horizon towel-folding task, demonstrating improved stability and data efficiency over current VLA baselines with near-zero human intervention during policy training.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI