日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2604.00055

長期的ロボットタスクのための一般化可能な密な報酬

Generalizable Dense Reward for Long-Horizon Robotic Tasks

シェア:XThreadsFacebookLINEはてブBluesky

LLMとVLMを用いてタスク進捗を認識する外部報酬と、ポリシーの自己確信度に基づく内部報酬を組み合わせた密な報酬フレームワークVLLRを提案し、長期的タスクにおけるRL微調整を手動報酬設計なしで改善した。

詳しい要約

1. どんなもの?

- ロボット基盤 policy を RL で finetune するための dense reward フレームワーク VLLR を提案 - 人手による reward engineering なしで多様な long-horizon タスクに汎化することを狙う - 対象は mobile manipulation と navigation を含む CHORES benchmark

2. 先行研究と比べてどこがすごい?

- 既存の robotic foundation policy は大規模 imitation learning 中心で、distribution shift と error accumulation により long-horizon タスクで苦戦 - 既存 RL finetuning は多様なタスクで人手 reward engineering なしには機能しにくい - VLLR は人手 reward engineering なしで in-distribution で SOTA RL finetuning 比最大 5%、out-of-distribution で最大 10% の成功率向上

3. 技術・手法の肝は?

- LLM でタスクを検証可能な subtask に分解 - VLM で進捗を推定し value function を初期化、短い warm-up で推論コストを抑制 - policy self-certainty による intrinsic reward を PPO finetuning 全体で per-step に付与 - extrinsic reward (LLM/VLM) と intrinsic reward (self-certainty) を組み合わせた dense reward

4. どうやって有効だと検証した?

- CHORES benchmark (mobile manipulation, navigation) で評価 - pretrained policy 比で最大 56% 絶対成功率向上 - in-distribution で SOTA RL finetuning 比最大 5%、out-of-distribution で最大 10% 向上 - ablation で VLM ベース value 初期化は完了効率、self-certainty は成功率(特に OOD)を改善

5. 議論はある?

- ablation により VLM value 初期化と self-certainty の補完的効果を確認 - VLM value 初期化は主にタスク完了効率、self-certainty は主に成功率を向上 - 人手 reward engineering 不要を主張 - 限界や失敗事例の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている SOTA RL finetuning 手法(具体名は要旨からは不明) - CHORES benchmark 関連研究 - LLM/VLM を用いた reward 設計や task decomposition の関連研究 - PPO による policy finetuning の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Silong Yong, Stephen Sheng, Carl Qi, Xiaojie Wang, Evan Sheehan, Anurag Shivaprasad, Yaqi Xie, Katia Sycara, Yesh Dattatreya

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Existing robotic foundation policies are trained primarily via large-scale imitation learning. While such models demonstrate strong capabilities, they often struggle with long-horizon tasks due to distribution shift and error accumulation. While reinforcement learning (RL) can finetune these models, it cannot work well across diverse tasks without manual reward engineering. We propose VLLR, a dense reward framework combining (1) an extrinsic reward from Large Language Models (LLMs) and Vision-Language Models (VLMs) for task progress recognition, and (2) an intrinsic reward based on policy self-certainty. VLLR uses LLMs to decompose tasks into verifiable subtasks and then VLMs to estimate progress to initialize the value function for a brief warm-up phase, avoiding prohibitive inference cost during full training; and self-certainty provides per-step intrinsic guidance throughout PPO finetuning. Ablation studies reveal complementary benefits: VLM-based value initialization primarily improves task completion efficiency, while self-certainty primarily enhances success rates, particularly on out-of-distribution tasks. On the CHORES benchmark covering mobile manipulation and navigation, VLLR achieves up to 56% absolute success rate gains over the pretrained policy, up to 5% gains over state-of-the-art RL finetuning methods on in-distribution tasks, and up to $10\%$ gains on out-of-distribution tasks, all without manual reward engineering. Additional visualizations can be found in https://silongyong.github.io/vllr_project_page/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI