日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2510.21121

物体中心表現による汎化可能な階層的スキル学習

Generalizable Hierarchical Skill Learning via Object-Centric Representation

シェア:XThreadsFacebookLINEはてブBluesky

物体中心のスキルプリミティブを介して視覚言語モデルと低次視覚運動ポリシーを橋渡しし、少ないデモでロボット操作の汎化とサンプル効率を大幅に向上させる階層的学習フレームワークを提案。

詳しい要約

1. どんなもの?

- ロボット操作のための階層型 policy learning フレームワーク GSL(Generalizable Hierarchical Skill Learning) - 高レベル vision-language model と低レベル visual-motor policy を object-centric skills で橋渡し - デモを転移可能かつ object-canonicalized な skill primitives に分解 - テスト時は高レベルが予測した skill-object ペアを低レベルに渡し、canonical action を world frame に戻して実行 - 目的は policy の汎化性と sample efficiency の大幅改善

2. 先行研究と比べてどこがすごい?

- 従来の階層型 policy learning との詳細な比較は要旨からは不明 - 主張される優位性は sample efficiency と汎化性 - シミュレーションで各タスク3デモのみ学習した GSL が、30倍のデータで学習した baseline を unseen task で15.5%上回る - 実世界でも10倍のデータで学習した baseline を上回る - 未見の spatial arrangement、object appearance、task composition への汎化を主張

3. 技術・手法の肝は?

- object-centric skills を高レベルと低レベルのインターフェースとして使用 - foundation models によりデモを transferable かつ object-canonicalized な skill primitives に分解 - object frame 内で低レベル skill を効率的に学習 - テスト時 - 高レベル agent が skill-object ペアを予測 - 低レベル module が canonical action を推論 - その action を world frame にマッピングして実行 - 構造化しつつ柔軟な設計で汎化と sample efficiency を狙う

4. どうやって有効だと検証した?

- シミュレーション実験 - 各タスク3デモのみで学習した GSL が、30倍データで学習した baseline を unseen task で15.5%上回る - 実世界実験 - 10倍のデータで学習した baseline を上回る - 評価軸として unseen spatial arrangements、object appearances、task compositions への汎化を確認 - 具体的なタスク・指標・baseline 名は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 明示されているのは汎化性・sample efficiency の改善主張と、シミュレーション/実世界での比較結果 - 限界、失敗事例、計算コスト、foundation models への依存性などの議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究名は不明 - 関連手法として以下を挙げる - 階層型 policy learning / hierarchical imitation learning - vision-language model を用いた high-level planning - object-centric representation learning - skill primitives / skill discovery - visual-motor policy learning - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haibo Zhao, Yu Qi, Boce Hu, Yizhe Zhu, Ziyan Chen, Heng Tian, Xupeng Zhu, Owen Howell, Haojie Huang, Robin Walters, Dian Wang, Robert Platt

分類: cs.RO, cs.AI

原文アブストラクト

We present Generalizable Hierarchical Skill Learning (GSL), a novel framework for hierarchical policy learning that significantly improves policy generalization and sample efficiency in robot manipulation. One core idea of GSL is to use object-centric skills as an interface that bridges the high-level vision-language model and the low-level visual-motor policy. Specifically, GSL decomposes demonstrations into transferable and object-canonicalized skill primitives using foundation models, ensuring efficient low-level skill learning in the object frame. At test time, the skill-object pairs predicted by the high-level agent are fed to the low-level module, where the inferred canonical actions are mapped back to the world frame for execution. This structured yet flexible design leads to substantial improvements in sample efficiency and generalization of our method across unseen spatial arrangements, object appearances, and task compositions. In simulation, GSL trained with only 3 demonstrations per task outperforms baselines trained with 30 times more data by 15.5 percent on unseen tasks. In real-world experiments, GSL also surpasses the baseline trained with 10 times more data.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI