日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2606.26175

RMTL: VLM報酬を用いた長時間操作のための強化マイクロタスク学習

RMTL: Reinforced Micro-task Learning for Long-Horizon Manipulation with VLM Rewards

シェア:XThreadsFacebookLINEはてブBluesky

長時間の操作タスクを複数のマイクロタスクに分解し、VLM報酬と逆カリキュラムで学習する階層的強化学習手法を提案。

詳しい要約

1. どんなもの?

VLMを報酬モデルとして使うロボットマニピュレーションのRLにおいて、長期的タスクを言語記述された少数のmicro-taskに分解し、エージェントがそれらを切り替えながら学習する手法RMTLを提案。各ステップで現在アクティブなmicro-taskのpromptによるmulti-view VLM報酬を複数カメラで平均して受け取る。reverse curriculumで難しい初期条件に徐々に晒し、PPO workerはまず固定のdistance-based ruleでmicro-taskを選択して訓練し、その後ruleを学習されたhierarchical managerに置き換える。Fetch環境で3つのstage-specific promptを使い追加のprompt tuningなしで実装。

2. 先行研究と比べてどこがすごい?

従来は手設計のdense reward(調整困難で脆い)やhuman demonstration/preferenceからの報酬学習(高コスト)が必要だった。近年はpretrained VLMをzero-shot報酬モデルとして使い単一text promptでコストを置き換える研究があるが、単一global promptはランダム初期条件を持つlong-horizon manipulationには粗すぎ、軌道の多くで報酬がほぼ平坦になり初期進捗を検出しにくい。RMTLはmicro-task固有の言語promptに分解することで、単一prompt VLM報酬より情報量の多い報酬信号を提供し学習を高速化する点がすごい。

3. 技術・手法の肝は?

タスクを言語記述された少数のmicro-taskに分解し、エージェントが切り替える。各ステップで現在アクティブなmicro-taskのpromptを使ったmulti-view VLM報酬を複数カメラビューで平均し、view-specific occlusionの影響を低減。reverse curriculumで難しい初期条件へ徐々に露出。PPO workerはまず固定のdistance-based ruleでactive micro-taskを選択して訓練し、その後ruleを学習されたhierarchical managerに置き換え、rule-based phase selectionを完全に学習されたhierarchical policyにする。Fetch環境で3つのshort stage-specific promptを使用、追加prompt tuningなし。

4. どうやって有効だと検証した?

Fetch manipulation環境で、3つのshort stage-specific promptを用い追加のprompt tuningなしでRMTLを実装。実験により、RMTLがsingle-prompt VLM報酬よりも情報量の多い報酬信号を提供し、より速い学習を可能にすることを示した。

5. 議論はある?

VLM報酬をmicro-task固有の言語promptに分解することが、言語誘導型RLのロボットマニピュレーションにおけるスケーラビリティを大幅に改善し得ると示唆。単一global promptの粗さと報酬の平坦さがlong-horizon・ランダム初期条件で問題になるという主張が議論の中心。

6. 次に読むべき論文は?

要旨で参照/比較されているのは、pretrained VLMをzero-shot reward modelとして単一text promptで使う近年の研究、human demonstrationやpreferenceから報酬を学習する手法、手設計のdense reward。関連手法としてPPO、reverse curriculum、hierarchical policy、Fetch manipulation environmentが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anıl Can Ateş, Orhan Kahraman, Cihan Topal

分類: cs.RO

原文アブストラクト

Reinforcement learning (RL) for robotic manipulation often requires manually designing a dense reward function, which is difficult to tune and often fragile, or learning a reward from human demonstrations or preferences, which can be expensive. A recent line of work uses pretrained vision-language models (VLMs) as zero-shot reward models, replacing these costs with a single text prompt. However, we argue that a single global prompt is too coarse for long-horizon manipulation tasks with randomized initial conditions. The single-prompt VLM reward is near-flat for much of the trajectory, making early progress hard for the agent to detect. We propose Reinforced Micro-Task Learning (RMTL), an approach that decomposes a manipulation task into a small set of language-described micro-tasks and trains the agent to switch between them. At each step, the agent receives a multi-view VLM reward computed using the prompt of the currently active micro-task and averaged across multiple camera views to reduce the effect of view-specific occlusions. A reverse curriculum gradually exposes the agent to harder initial conditions, while a PPO worker is first trained with a fixed distance-based rule that selects the active micro-task. We then replace this rule with a learned hierarchical manager, turning rule-based phase selection into a fully learned hierarchical policy. We instantiate RMTL on the Fetch manipulation environment using three short stage-specific prompts and without additional prompt tuning. Experiments show that RMTL provides more informative reward signals than single-prompt VLM rewards, enabling faster learning. These results suggest that decomposing VLM rewards into micro-task-specific language prompts can substantially improve the scalability of language-guided reinforcement learning for robotic manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI