日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2510.25754

GeT-USE: シミュレーション上の身体拡張を介した双腕移動マニピュレーションのための汎用ツール使用学習

GET-USE: Learning Generalized Tool Usage for Bimanual Mobile Manipulation via Simulated Embodiment Extensions

シェア:XThreadsFacebookLINEはてブBluesky

シミュレーション上でロボットの身体拡張(新しいエンドエフェクタの構築)を探索し、タスクに有効なツール形状の知識を獲得した後、実機の視覚運動ポリシーへ転移することで、利用可能な物体から最適なツールを選んで使う汎用ツール使用を実現した研究。

詳しい要約

1. どんなもの?

- 実世界のロボットが任意の物体を道具として汎用的に使う能力を獲得するための手法 GeT-USE を提案した研究。 - 22 DOF の実ロボットによる vision-based bimanual mobile manipulation の tool-usage タスクを対象とする。 - 2段階の手続き: まず simulation で robot の embodiment extension を学習し、その戦略を実ロボットの visuomotor policy に転移する。

2. 先行研究と比べてどこがすごい?

- 先行の robotic tool usage 手法は、タスク用の tool データセットを procedurally 生成または crowd-sourcing し、把持・操作を学習していた。 - 先行手法は物体が1つだけ与えられ、正しい grasp でタスク遂行可能という前提を置いていた。 - 多数の物体がある状況で最適な物体を同定・把持・使用することや、最適な tool が存在しない場合への対処ができなかった。 - GeT-USE はこれらの制約に対処し、実ロボットで SOTA 手法を 30-60% の success rate で上回った。

3. 技術・手法の肝は?

- 2段階の手続きからなる。 - 第1段階: simulation 上で robot の embodiment extensions(新しい end-effector の構築)を探索し、タスクに最も有益な一般的 tool geometries を同定する。 - 第2段階: 学習した幾何学的知識を蒸留し、実世界で最良の利用可能物体を選択・使用する visuomotor policy として実ロボットに転移する。 - 鍵となる着想は、simulation での embodiment extension 探索により汎用的な tool 形状の知識を得られる点。

4. どうやって有効だと検証した?

- 22 DOF の実ロボットを用いて検証。 - vision-based bimanual mobile manipulation の tool-usage タスク3種で評価。 - SOTA 手法と比較し、30-60% の success rate 改善を報告。 - 詳細な実験設定・ベースライン名は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、sim-to-real 転移のギャップ、計算コストなどに関する議論は要旨に記載がない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている SOTA の robotic tool usage 手法(procedurally 生成・crowd-sourcing による tool データセット学習)。 - simulation での embodiment extension や sim-to-real 転移に関連する visuomotor policy 学習の研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bohan Wu, Paul de La Sayette, Li Fei-Fei, Roberto Martín-Martín

分類: cs.RO

原文アブストラクト

The ability to use random objects as tools in a generalizable manner is a missing piece in robots' intelligence today to boost their versatility and problem-solving capabilities. State-of-the-art robotic tool usage methods focused on procedurally generating or crowd-sourcing datasets of tools for a task to learn how to grasp and manipulate them for that task. However, these methods assume that only one object is provided and that it is possible, with the correct grasp, to perform the task; they are not capable of identifying, grasping, and using the best object for a task when many are available, especially when the optimal tool is absent. In this work, we propose GeT-USE, a two-step procedure that learns to perform real-robot generalized tool usage by learning first to extend the robot's embodiment in simulation and then transferring the learned strategies to real-robot visuomotor policies. Our key insight is that by exploring a robot's embodiment extensions (i.e., building new end-effectors) in simulation, the robot can identify the general tool geometries most beneficial for a task. This learned geometric knowledge can then be distilled to perform generalized tool usage tasks by selecting and using the best available real-world object as tool. On a real robot with 22 degrees of freedom (DOFs), GeT-USE outperforms state-of-the-art methods by 30-60% success rates across three vision-based bimanual mobile manipulation tool-usage tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI