日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データ収集arXiv:2604.14089

UMI-3D: 視覚制限から3D空間知覚への普遍的操作インターフェースの拡張

UMI-3D: Extending Universal Manipulation Interface from Vision-Limited to 3D Spatial Perception

シェア:XThreadsFacebookLINEはてブBluesky

UMI-3Dは、手首装着型のデータ収集インターフェースに軽量LiDARを統合し、視覚SLAMの弱点を克服して、変形物や関節物体の操作など困難なタスクの学習を可能にする。

詳しい要約

1. どんなもの?

- UMI-3Dは、embodied manipulation向けのデータ収集を堅牢かつスケーラブルにするため、Universal Manipulation Interface (UMI) をマルチモーダルに拡張したシステム。 - UMIは手首装着型でポータブルなデータ取得を可能にするが、単眼visual SLAMに依存するため、occlusion、dynamic scenes、tracking failuresに弱い。 - UMI-3Dは軽量・低コストのLiDARセンサを手首装着インターフェースに統合し、LiDAR中心のSLAMでmetric-scaleの正確なpose estimationを実現。 - hardware-synchronized multimodal sensing pipelineとunified spatiotemporal calibration frameworkを開発し、visual observationsとLiDAR point cloudsを整合。 - 元の2D visuomotor policy formulationを維持しつつ、収集データの品質…

2. 先行研究と比べてどこがすごい?

- 先行研究のUMIは単眼visual SLAMに依存し、occlusion、dynamic scenes、tracking failuresに脆弱で、実環境での適用が限定されていた。 - UMI-3Dは軽量・低コストLiDARを手首装着インターフェースに統合し、LiDAR中心SLAMにより困難な条件下でもmetric-scaleの正確なpose estimationを可能にした。 - 元の2D visuomotor policy formulationを維持しながら、収集データの品質と信頼性を大幅に改善し、policy performanceの向上に直結。 - 標準的なmanipulationタスクで高い成功率を達成するだけでなく、large deformable object manipulationやarticulated object operationなど、元のvision-only UMIでは困難または不可能だったタスクの学習を可能にした。 - ポータビリティとアクセシビリティを維持しつつ、end-to-end pipelineを提供。

3. 技術・手法の肝は?

- 手首装着型インターフェースに軽量・低コストのLiDARセンサを統合し、LiDAR中心のSLAMを実現。 - LiDAR-centric SLAMにより、occlusionやdynamic scenesなどの困難な条件下でもmetric-scaleの正確なpose estimationを実現。 - hardware-synchronized multimodal sensing pipelineを開発し、視覚観測とLiDAR point cloudsの時間同期を実現。 - unified spatiotemporal calibration frameworkにより、visual observationsとLiDAR point cloudsを整合させ、一貫した3D representations of demonstrationsを生成。 - 元の2D visuomotor policy formulationを維持し、データ品質向上がpolicy performanceに直接寄与。 - データ取得、alignment、training、deploymentのend-to-end…

4. どうやって有効だと検証した?

- 広範なreal-world experimentsを実施。 - 標準的なmanipulationタスクにおいて高い成功率を達成。 - 元のvision-only UMI setupでは困難または不可能だったタスク(large deformable object manipulation、articulated object operation)の学習が可能であることを実証。 - 収集データの品質と信頼性の向上がpolicy performanceの向上に直接つながることを示した。 - 詳細な評価指標やベースラインとの比較数値は要旨からは不明。

5. 議論はある?

- UMI-3Dは元のUMIのポータビリティとアクセシビリティを維持しつつ、LiDAR統合によりデータ品質と信頼性を向上。 - 元の2D visuomotor policy formulationを維持しているため、既存のpolicy学習手法との互換性が高い。 - ハードウェアとソフトウェアをオープンソース化し、大規模データ収集とembodied intelligence研究の加速を促進。 - 限界や課題(例:LiDARのコスト、キャリブレーションの複雑さ、他環境への一般化)に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- Universal Manipulation Interface (UMI) の原論文。 - LiDAR-centric SLAMに関する研究。 - visual SLAMのocclusionやdynamic scenesへの対処に関する研究。 - multimodal sensing pipelineやspatiotemporal calibrationに関する研究。 - 2D visuomotor policy formulationを用いたmanipulation学習に関する研究。 - large deformable object manipulationやarticulated object operationに関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziming Wang

分類: cs.RO, cs.AI

原文アブストラクト

We present UMI-3D, a multimodal extension of the Universal Manipulation Interface (UMI) for robust and scalable data collection in embodied manipulation. While UMI enables portable, wrist-mounted data acquisition, its reliance on monocular visual SLAM makes it vulnerable to occlusions, dynamic scenes, and tracking failures, limiting its applicability in real-world environments. UMI-3D addresses these limitations by introducing a lightweight and low-cost LiDAR sensor tightly integrated into the wrist-mounted interface, enabling LiDAR-centric SLAM with accurate metric-scale pose estimation under challenging conditions. We further develop a hardware-synchronized multimodal sensing pipeline and a unified spatiotemporal calibration framework that aligns visual observations with LiDAR point clouds, producing consistent 3D representations of demonstrations. Despite maintaining the original 2D visuomotor policy formulation, UMI-3D significantly improves the quality and reliability of collected data, which directly translates into enhanced policy performance. Extensive real-world experiments demonstrate that UMI-3D not only achieves high success rates on standard manipulation tasks, but also enables learning of tasks that are challenging or infeasible for the original vision-only UMI setup, including large deformable object manipulation and articulated object operation. The system supports an end-to-end pipeline for data acquisition, alignment, training, and deployment, while preserving the portability and accessibility of the original UMI. All hardware and software components are open-sourced to facilitate large-scale data collection and accelerate research in embodied intelligence: \href{https://umi-3d.github.io}{https://umi-3d.github.io}.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI