日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.10105

EmbodiedMAE: ロボットマニピュレーションのための統合3Dマルチモーダル表現

EmbodiedMAE: A Unified 3D Multi-Modal Representation for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

RGB・深度・点群を統合的に学習するマルチモーダルMAEを提案し、DROID-3Dデータセットで訓練することで、シミュレーションと実機の操作タスクにおいて既存の視覚基盤モデルを上回る性能を達成した。

詳しい要約

1. どんなもの?

- ロボットマニピュレーション向けの統合3Dマルチモーダル表現『EmbodiedMAE』を提案する研究 - RGB・depth・point cloudを同時に扱うmulti-modal masked autoencoder - DROID datasetを高品質depth mapとpoint cloudで拡張した『DROID-3D』も構築 - 3D embodied vision研究の基盤となるvision foundation model (VFM)を目指す

2. 先行研究と比べてどこがすごい?

- 既存手法は訓練datasetとロボットタスク間のdomain gapが大きく、3D情報を効果的に取り込むarchitectureに欠ける - EmbodiedMAEはDROID-3Dで訓練し、70 simulationタスクと20 real-worldタスクでstate-of-the-art VFMを一貫して上回る - 訓練効率と最終性能の両方で優位 - モデルサイズに対するscaling behaviorを示し、3D入力からのpolicy learningを促進

3. 技術・手法の肝は?

- RGB・depth・point cloudの各modalityにstochastic maskingを適用するmulti-modal masked autoencoder - cross-modal fusionによりmodality間の表現を統合 - DROID datasetに高品質depth mapとpoint cloudを付与してDROID-3Dを構築 - 空間知覚が重要な精密なtabletop manipulation設定を想定

4. どうやって有効だと検証した?

- DROID-3Dで訓練したEmbodiedMAEを70のsimulationタスクと20のreal-worldロボットマニピュレーションタスクで評価 - 2つのrobot platform上で検証 - state-of-the-art VFMと訓練効率および最終性能を比較し、一貫した優位性を確認 - モデルサイズに対するscaling behaviorと3D入力からのpolicy learningへの効果を確認

5. 議論はある?

- 精密なtabletop manipulationのように空間知覚が重要な設定で特に有効と位置づけ - 訓練datasetとロボットタスク間のdomain gapへの対処が動機 - 具体的な限界や失敗ケース、計算コストの詳細は要旨からは不明 - 実世界タスクの範囲や一般化性の議論の詳細は要旨からは不明

6. 次に読むべき論文は?

- DROID dataset(DROID-3Dの基盤) - masked autoencoder (MAE) 系の視覚表現学習 - 比較対象であるstate-of-the-art vision foundation models (VFMs) の代表的手法 - 3D入力からのpolicy learningに関するロボットマニピュレーション研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zibin Dong, Fei Ni, Yifu Yuan, Yinchuan Li, Jianye Hao

分類: cs.RO, cs.AI

原文アブストラクト

We present EmbodiedMAE, a unified 3D multi-modal representation for robot manipulation. Current approaches suffer from significant domain gaps between training datasets and robot manipulation tasks, while also lacking model architectures that can effectively incorporate 3D information. To overcome these limitations, we enhance the DROID dataset with high-quality depth maps and point clouds, constructing DROID-3D as a valuable supplement for 3D embodied vision research. Then we develop EmbodiedMAE, a multi-modal masked autoencoder that simultaneously learns representations across RGB, depth, and point cloud modalities through stochastic masking and cross-modal fusion. Trained on DROID-3D, EmbodiedMAE consistently outperforms state-of-the-art vision foundation models (VFMs) in both training efficiency and final performance across 70 simulation tasks and 20 real-world robot manipulation tasks on two robot platforms. The model exhibits strong scaling behavior with size and promotes effective policy learning from 3D inputs. Experimental results establish EmbodiedMAE as a reliable unified 3D multi-modal VFM for embodied AI systems, particularly in precise tabletop manipulation settings where spatial perception is critical.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI