日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2511.01177

巧みな操作のためのクロスエンボディメント世界モデルのスケーリング

Scaling Cross-Embodiment World Models for Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

人間とロボットの手を3D粒子で表現し、エンドエフェクタの粒子変位場を行動として定義することで、異なる身体構造を超えて共有できる世界モデルを学習し、新しいハードウェアでの操作制御を実現した。

詳しい要約

1. どんなもの?

- 多様な身体(morphology)を持つロボット間で共有可能な学習・制御の枠組みを目指す研究。 - 人間とロボットの手を3D粒子集合として表現し、actionをend-effector particle displacement fieldとして定義する。 - 身体特有のjoint spaceを抽象化し、物理的相互作用を共有幾何空間でモデル化するworld modelを提案。 - graph-based world modelを多様なsimulated robot handsとreal human handsのランダム相互作用データで学習。 - model-predictive controlと統合し、新規ハードウェアへ展開する。

2. 先行研究と比べてどこがすごい?

- 従来のcross-embodiment学習はkinematicsやaction spaceの差異がデータ共有・制御転移の障壁になっていた。 - 本研究は『身体間で共有できる構造は物理的相互作用が誘起する幾何である』と主張し、粒子表現で共通インターフェースを構築。 - embodiment固有のjoint spaceを捨て、相互作用に必要なgeometryとmotionを保持する点が差異。 - 単一モデルで異なるkinematics・degrees of freedomのロボットハンドを制御可能にした点を主張。 - 具体的な先行研究名との比較は要旨からは不明。

3. 技術・手法の肝は?

- 人間・ロボットの手を3D粒子集合として表現。 - actionをend-effector particle displacement fieldとして定義し、joint space依存を排除。 - graph-based world modelを構築し、粒子間の相互作用を学習。 - 多様なsimulated robot handsとreal human handsのランダム相互作用データで学習。 - model-predictive controlと統合し、新規ハードウェアへdeploy。 - 学習データはsimulationとreal-worldを組み合わせる設計。

4. どうやって有効だと検証した?

- rigidおよびdeformable manipulationの実験を実施。 - 訓練embodimentの多様性増加が未見の手へのgeneralizationを改善することを確認。 - simulated dataとreal-world dataの適切な組み合わせがどちらか単独を上回ることを確認。 - 同一学習モデルが異なるkinematics・degrees of freedomのロボットハンドで有効に制御できることを確認。 - 詳細な実験設定・評価指標は要旨からは不明。

5. 議論はある?

- 粒子ベースworld modelをheterogeneous embodiment間の共有インターフェースとして位置づける主張。 - embodiment多様性の重要性とsim-to-realデータ混合の有効性を示唆。 - 限界・失敗事例・計算コスト・スケーラビリティに関する議論は要旨からは不明。 - 粒子表現が保持しない情報や、実機展開時の制約については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていないため、同分野の定番としてcross-embodiment learning、world model、model-predictive control、graph neural network、sim-to-real transferに関する代表的文献を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zihao He, Bo Ai, Tongzhou Mu, Yulin Liu, Weikang Wan, Jiawei Fu, Yilun Du, Henrik I. Christensen, Hao Su

分類: cs.RO

原文アブストラクト

Cross-embodiment learning seeks to build generalist robots that learn from and operate across diverse morphologies, but differences in kinematics and action spaces hinder data sharing and control transfer. We ask: What structure can be shared across embodiments despite these differences? We argue that the physical interactions they induce can be modeled in a shared geometric space, allowing world models to provide a common interface for learning and control. To realize this idea, we represent human and robot hands as sets of 3D particles and define actions as end-effector particle displacement fields. This representation abstracts away embodiment-specific joint spaces while preserving the geometry and motion relevant to physical interaction. We train a graph-based world model on random interaction data from diverse simulated robot hands and real human hands, and integrate it with model-predictive control for deployment on new hardware. Experiments on rigid and deformable manipulation reveal three findings: increasing the diversity of training embodiments improves generalization to unseen hands; appropriately combining simulated and real-world data outperforms either source alone; and the same learned model enables effective control on robotic hands with distinct kinematics and degrees of freedom. These results position particle-based world models as a shared interface for learning from and for heterogeneous embodiments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI