日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.22402

ReLAM: 視覚ロボットマニピュレーションのための予測モデルによる報酬学習

ReLAM: Learning Anticipation Model for Rewarding Visual Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

画像から抽出したキーポイントで空間距離を推定し、行動なしの動画デモから予測モデルを用いて密な報酬を自動生成する階層強化学習フレームワークを提案。

詳しい要約

1. どんなもの?

- 視覚強化学習(RL)によるロボットマニピュレーションのための報酬設計手法 - 報酬設計は実世界の視覚設定では正確な位置情報が得られずボトルネックとなる - 画像から抽出したkeypointsで空間距離を暗黙的に推論する - action-freeなvideo demonstrationsから密で構造化された報酬を自動生成するReLAM (Reward Learning with Anticipation Model)を提案 - 階層強化学習(HRL)の枠組みでgoal-conditioned policyを訓練する

2. 先行研究と比べてどこがすごい?

- 従来は目標位置までの距離に基づく報酬設計が主流だが、実世界では正確な位置情報が得られない - 本研究はkeypointsを介して空間距離を暗黙的に推論し、この制約を回避する - action-freeなvideo demonstrationsから報酬を自動生成できる点が特徴 - 最終目標への最適経路上の中間subgoalsを提案し、タスクの幾何学的目標に沿った学習カリキュラムを構成する - 実験ではstate-of-the-art手法より学習を大幅に加速し優れた性能を達成したと報告

3. 技術・手法の肝は?

- 画像から抽出したkeypointsにより空間距離を暗黙的に推論する - anticipation modelを学習し、plannerとして機能させる - 最終目標への最適経路上でkeypointベースの中間subgoalsを提案する - 提案subgoalsに基づき連続的な報酬信号を生成する - HRLフレームワークの下で低レベルのgoal-conditioned policyを訓練する - provable sub-optimality boundを備える

4. どうやって有効だと検証した?

- 複雑でlong-horizonなマニピュレーションタスクで広範な実験を実施 - ReLAMが学習を大幅に加速することを示す - state-of-the-art手法と比較して優れた性能を達成したと報告 - 具体的なタスク名・データセット名・評価指標は要旨からは不明

5. 議論はある?

- provable sub-optimality boundが示されており、理論的保証についての議論がある - 実世界の視覚設定における知覚・センシングの制約が動機として述べられている - 具体的な限界・失敗ケース・計算コストに関する議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な先行研究名は明記されていない - 関連手法としてhierarchical reinforcement learning (HRL)、goal-conditioned policy、keypoint-based representation、video demonstrationsからの報酬学習(例: reward learning from demonstrations)が挙げられる - 同分野の定番としてvisual reinforcement learning、reward shaping、imitation learning関連の研究が次に読む候補となる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nan Tang, Jing-Cheng Pang, Guanlin Li, Chao Qian, Yang Yu

分類: cs.LG, cs.RO

原文アブストラクト

Reward design remains a critical bottleneck in visual reinforcement learning (RL) for robotic manipulation. In simulated environments, rewards are conventionally designed based on the distance to a target position. However, such precise positional information is often unavailable in real-world visual settings due to sensory and perceptual limitations. In this study, we propose a method that implicitly infers spatial distances through keypoints extracted from images. Building on this, we introduce Reward Learning with Anticipation Model (ReLAM), a novel framework that automatically generates dense, structured rewards from action-free video demonstrations. ReLAM first learns an anticipation model that serves as a planner and proposes intermediate keypoint-based subgoals on the optimal path to the final goal, creating a structured learning curriculum directly aligned with the task's geometric objectives. Based on the anticipated subgoals, a continuous reward signal is provided to train a low-level, goal-conditioned policy under the hierarchical reinforcement learning (HRL) framework with provable sub-optimality bound. Extensive experiments on complex, long-horizon manipulation tasks show that ReLAM significantly accelerates learning and achieves superior performance compared to state-of-the-art methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI