日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.11680

接地されたタスク軸:タスク軸コントローラと視覚基盤モデルによるゼロショット意味的スキル汎化

Grounded Task Axes: Zero-Shot Semantic Skill Generalization via Task-Axis Controllers and Visual Foundation Models

シェア:XThreadsFacebookLINEはてブBluesky

スキルを物体のキーポイントと軸に基づく優先順位付きコントローラに分解し、視覚基盤モデルで意味的に類似した接地特徴を見つけることで、新しい物体へのゼロショット転移を実現した。

詳しい要約

1. どんなもの?

物体間で技能を転移するopen-world robot manipulationの課題に対し、技能をatomicに扱わず、grounded task-axis (GTA) controllersの優先度付きリストへ分解するexample-based zero-shot skill transfer手法を提案する研究。各GTACは軸に沿ったposition controllerやforce controllerなどの適応可能なcontrollerであり、screw headの相対位置やshaftの軸といったobject key pointsとaxesにgroundingされる。新規対象物体上で意味的に類似したgrounding featuresを見つけることでzero-shot transferを実現する。

2. 先行研究と比べてどこがすごい?

要旨では先行研究との直接比較は明示されていない(要旨からは不明)。提案手法の特徴として、技能をatomicに扱わず優先度付きGTACリストへ分解する点、およびhigh-levelな物体構造差を考慮しつつlow-level interaction controlの類似性を保つ点を挙げている。zero-shot transferをexample-basedに実現する点が主張の中心。

3. 技術・手法の肝は?

技能を優先度付きのgrounded task-axis (GTA) controllersリストに分解する。各GTACは軸に沿ったposition controllerやforce controllerなどのadaptable controllerとして定義される。GTACはobject key pointsとaxes(例: screw headの相対位置、shaftの軸)にgroundingされる。新規物体ではSD-DINOなどのfoundation modelsを用いて意味的に類似したkeypointsを検出し、example-basedにgroundingすることでzero-shot transferを行う。

4. どうやって有効だと検証した?

real-robot experimentsで評価している。対象タスクはscrewing、pouring、spatula scrapingであり、各タスクでrobustかつversatileなcontroller transferを示したと報告している。

5. 議論はある?

要旨からは不明。real-robot experimentsでrobust and versatileなcontroller transferを示したとの記述のみで、限界や失敗事例、議論の詳細は要旨に含まれていない。

6. 次に読むべき論文は?

要旨で参照されているfoundation modelのSD-DINO、および提案手法の構成要素であるgrounded task-axis (GTA) controllers、position controller、force controllerに関する研究。関連手法としてzero-shot skill transferやkeypoint-based manipulationの研究を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: M. Yunus Seker, Shobhit Aggarwal, Oliver Kroemer

分類: cs.RO

原文アブストラクト

Transferring skills between different objects remains one of the core challenges of open-world robot manipulation. Generalization needs to take into account the high-level structural differences between distinct objects while still maintaining similar low-level interaction control. In this paper, we propose an example-based zero-shot approach to skill transfer. Rather than treating skills as atomic, we decompose skills into a prioritized list of grounded task-axis (GTA) controllers. Each GTAC defines an adaptable controller, such as a position or force controller, along an axis. Importantly, the GTACs are grounded in object key points and axes, e.g., the relative position of a screw head or the axis of its shaft. Zero-shot transfer is thus achieved by finding semantically-similar grounding features on novel target objects. We achieve this example-based grounding of the skills through the use of foundation models, such as SD-DINO, that can detect semantically similar keypoints of objects. We evaluate our framework on real-robot experiments, including screwing, pouring, and spatula scraping tasks, and demonstrate robust and versatile controller transfer for each.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI