日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.11865

GLOVER++:人間の行動からアフォーダンス学習を解き放ちロボットマニピュレーションへ

GLOVER++: Unleashing the Potential of Affordance Learning from Human Behaviors for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

50万枚のアフォーダンス注釈付き大規模データセットHOVA-500Kを構築し、人間のデモからロボット操作へアフォーダンス知識を転移するグローバル・トゥ・ローカル学習フレームワークGLOVER++を提案した。

詳しい要約

1. どんなもの?

- 人間の実演動画から操作スキルを学ぶための、affordance注釈付き大規模データセットと学習フレームワークの研究。 - HOVA-500K: 500,000画像、1,726 object categories、675 actionsからなるaffordance注釈付きデータセット。 - マルチモーダルaffordance推論のための標準ベンチマークスイートも公開。 - GLOVER++: HOVA-500K上で構築されたglobal-to-local affordance学習フレームワーク。 - 人間の実演からactionable affordancesを下流のopen-vocabulary推論タスクへ転移する。

2. 先行研究と比べてどこがすごい?

- 先行研究の課題として、精密なaffordance注釈付き大規模データセットの不足と、多様なmanipulation文脈でのaffordance探索の不十分さを指摘。 - これに対しHOVA-500Kで大規模かつ精密注釈付きデータを提供。 - 多様な操作文脈をカバーするaffordance探索を可能にする。 - GLOVER++はHOVA-500K benchmarkでstate-of-the-artを達成。 - 多様な下流ロボットmanipulationタスクで強いgeneralizationを示す。

3. 技術・手法の肝は?

- GLOVER++はglobal-to-local affordance学習フレームワーク。 - 人間の実演からactionable affordance知識を下流のopen-vocabulary推論タスクへ効果的に転移。 - actionable affordancesを明示的にモデル化することで、scene・modality・taskをまたぐrobustな転移を促進。 - 詳細なアーキテクチャや学習手順は要旨からは不明。

4. どうやって有効だと検証した?

- HOVA-500K benchmark上で評価し、state-of-the-art結果を達成。 - 多様な下流ロボットmanipulationタスクでgeneralizationを検証。 - 具体的なタスク設定・比較手法・指標は要旨からは不明。

5. 議論はある?

- 人間の実演とロボットmanipulation能力のギャップを埋めるためのリソースとしてHOVA-500KとGLOVER++を位置づけ。 - actionable affordancesの明示的モデル化がscene・modality・taskをまたぐ転移を容易にすると主張。 - 限界や失敗事例、倫理的考察についての議論は要旨からは不明。

6. 次に読むべき論文は?

- HOVA-500K benchmarkおよびGLOVER++の原論文・関連資料。 - affordance learning、open-vocabulary manipulation、human demonstrationからの学習に関する関連研究。 - 要旨で具体的に参照・比較されている個別研究は不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Teli Ma, Jia Zheng, Zifan Wang, Ziyao Gao, Jiaming Zhou, Junwei Liang

分類: cs.RO, cs.CV

原文アブストラクト

Learning manipulation skills from human demonstration videos offers a promising path toward generalizable and interpretable robotic intelligence-particularly through the lens of actionable affordances. However, transferring such knowledge remains challenging due to: 1) a lack of large-scale datasets with precise affordance annotations, and 2) insufficient exploration of affordances in diverse manipulation contexts. To address these gaps, we introduce HOVA-500K, a large-scale, affordance-annotated dataset comprising 500,000 images across 1,726 object categories and 675 actions. We also release a standardized benchmarking suite for multi-modal affordance reasoning. Built upon HOVA-500K, we present GLOVER++, a global-to-local affordance training framework that effectively transfers actionable affordance knowledge from human demonstrations to downstream open-vocabulary reasoning tasks. GLOVER++ achieves state-of-the-art results on the HOVA-500K benchmark and demonstrates strong generalization across diverse downstream robotic manipulation tasks. By explicitly modeling actionable affordances, GLOVER++ facilitates robust transfer across scenes, modalities, and tasks. We hope that HOVA-500K and the GLOVER++ framework will serve as valuable resources for bridging the gap between human demonstrations and robotic manipulation capabilities.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI