日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2608.03753

GORDON: グラフベースのオブジェクト中心報酬による長期的操作タスクの分解

GORDON: Graph-based Object-centric Rewards for Decomposition of Long-Horizon Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

ビデオデモからオブジェクト中心のグラフ表現を学習し、密な報酬を生成することで、長期的な操作タスクを自動的にサブタスクに分解して学習する手法を提案した。

詳しい要約

1. どんなもの?

GORDONは、アクションなしのビデオデモから密な報酬を学習する、グラフベースのオブジェクト中心報酬学習フレームワークである。各視覚シーンを検出されたオブジェクトと空間関係のグラフとして表現し、グラフニューラルネットワーク(GNN)を自己教師ありで訓練して、タスク整合的な潜在空間に埋め込む。報酬は、現在状態とデモの目標構成との潜在空間距離として計算される。さらに、長期的タスクでは報酬の時間プロファイルから自動的にサブタスクを発見し、サブタスク固有の報酬とポリシーを逐次的に構成する。

2. 先行研究と比べてどこがすごい?

従来の強化学習では、報酬設計の複雑さ、スパース報酬の限定的なガイダンス、手動サブタスクアノテーションの高コストが課題であった。視覚デモから報酬を学習する手法もあるが、生のピクセルから学習した報酬は視覚的変化や背景、ロボットの動きに敏感で脆い。GORDONは、オブジェクト中心のグラフ表現を用いることで、ピクセルレベルの変動に対して頑健であり、アクションなしのデモから密な報酬を学習できる点が新しい。また、報酬の時間プロファイルを利用した自動サブタスク発見により、手動セグメンテーションを不要にしている。

3. 技術・手法の肝は?

手法の肝は、(1) 各視覚シーンを検出オブジェクトと空間関係のグラフとして表現し、GNNでタスク整合的な潜在空間に埋め込む点、(2) アクティビティ認識加重プーリング(activity-aware weighted pooling)により、タスク関連オブジェクトを強調し、ロボットの動きによる支配をマスクする点、(3) 報酬を現在状態とデモ目標構成の潜在空間距離として定義する点、(4) 長期的タスクでは報酬の時間プロファイルから段階的なオブジェクト状態遷移を検出し、自動サブタスク発見を行う点、(5) 発見されたセグメントを用いてサブタスク固有の報酬と専門ポリシーを訓練し、それらを逐次的に構成する点。

4. どうやって有効だと検証した?

MAGICALとManiSkill3ベンチマークの7つの操作タスクで実験を行った。短期的設定ではオブジェクト中心報酬が強化学習を改善し、複雑な長期的タスクでは自動分解によりポリシー学習を成功させた。長期的タスク全体で平均成功率74.4%を達成し、最良の学習ベースラインと比較して平均約+35パーセントポイント、オラクルと比較して約+25パーセントポイントの改善を示した。

5. 議論はある?

要旨からは、提案手法の限界や潜在的な欠点についての議論は明示されていない。しかし、オブジェクト検出の精度に依存する可能性や、グラフ表現が複雑なシーンでスケールするかどうか、報酬の時間プロファイルからの自動サブタスク発見がタスクによっては不正確かもしれない、といった点が考えられるが、要旨には記載がない。

6. 次に読むべき論文は?

要旨で参照されているベンチマークはMAGICALとManiSkill3であり、関連手法としてはオブジェクト中心表現を用いた強化学習や報酬学習の研究が挙げられる。具体的には、オブジェクト中心報酬学習の先行研究や、グラフニューラルネットワークを用いた表現学習、アクションなしデモからの報酬学習などが関連する。次に読むべき論文としては、これらの分野の代表的な論文が考えられるが、要旨に明示されていないため、同分野の定番として「オブジェクト中心強化学習」や「報酬学習」に関する論文を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Andrea Protopapa, Davide Buoso, Francesca Pistilli, Georgia Chalvatzaki, Giuseppe Averta

分類: cs.RO

原文アブストラクト

Learning long-horizon manipulation skills with reinforcement learning remains challenging due to the complexity of reward design, the limited guidance of sparse rewards, and the high cost of manual subtask annotation. Visual demonstrations can provide supervision for reward learning, but rewards learned from raw pixels can be brittle and sensitive to visual variation, background appearance, and robot motion. In this work, we propose GORDON, a graph-based object-centric reward learning framework that learns dense rewards from action-free video demonstrations. Each visual scene is represented as a graph of detected objects and spatial relations, and a graph neural network is trained in a self-supervised manner to embed these graphs into a task-aligned latent space. To align the representation with semantic task progress, we introduce an activity-aware weighted pooling mechanism that emphasizes task-relevant objects while masking robot-dominated motion. The dense reward is then computed as distances in the learned latent space of the current state to demonstrated goal configurations, providing a measure of task progress. In long-horizon tasks, the temporal profile of this reward reveals stage-wise object-state transitions, enabling automatic subtask discovery without manual segmentation. The discovered segments are then used to train subtask-specific rewards and specialized policies that are composed sequentially. Experiments on seven manipulation tasks on MAGICAL and ManiSkill3 benchmarks show that our object-centric reward improves reinforcement learning in short-horizon settings and enables successful policy learning in complex long-horizon tasks through automatic decomposition, achieving an average success rate of 74.4% across the long-horizon tasks (on average approximately +35 p.p. vs. best learned baseline and approximately +25 p.p. vs. oracle).

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI