日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2604.10647

OmniUMI:人間に合わせたマルチモーダルインタラクションによる物理的基盤を持つロボット学習

OmniUMI: Towards Physically Grounded Robot Learning via Human-Aligned Multimodal Interaction

シェア:XThreadsFacebookLINEはてブBluesky

UMI型インターフェースに触覚・把持力・外力などの物理的接触信号を統合し、拡散ポリシーで学習するシステムを提案。力に敏感な操作タスクで有効性を示した。

詳しい要約

1. どんなもの?

- UMI-style interfaceを拡張した**OmniUMI**という枠組みを提案。 - 手持ち型デバイスでRGB、depth、trajectory、tactile sensing、internal grasping force、external interaction wrenchを同期取得。 - 収集と展開の一貫性をshared embodiment designで確保。 - 接触の多いmanipulation向けの物理的に根拠あるロボット学習を目指す。

2. 先行研究と比べてどこがすごい?

- 既存のUMI-styleは主にvisuomotorでRGBとtrajectoryに依存し、物理的相互作用信号へのアクセスが限定的。 - 接触動態(tactile interaction、internal grasping force、external interaction wrench)は視覚から推測困難。 - OmniUMIはこれらを同期取得し、human-aligned demonstrationを可能にする点が新しい。

3. 技術・手法の肝は?

- コンパクトなhandheld systemでRGB、depth、trajectory、tactile sensing、internal grasping force、external interaction wrenchを同期取得。 - bilateral gripper feedbackとhandheld embodimentにより、internal grasping force、external interaction wrench、tactile interactionを自然に知覚・調整。 - diffusion policyをvisual、tactile、force-related observationsに拡張。 - impedance-based executionでmotionとcontact behaviorを統合的に制御。

4. どうやって有効だと検証した?

- force-sensitive pick-and-place、interactive surface erasing、tactile-informed selective releaseで実験。 - 信頼性の高いsensingと下流タスクでの強い性能を示した。 - 詳細な評価指標やベースラインは要旨からは不明。

5. 議論はある?

- 接触の多いmanipulationにおける物理的信号の重要性を指摘。 - human-aligned interactionとphysically grounded multimodal data acquisitionの組み合わせがscalable foundationになると主張。 - 限界や失敗事例、一般化性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- UMI-style interfacesに関する先行研究(具体的な論文名は要旨からは不明)。 - diffusion policyに関する研究。 - impedance-based executionやtactile sensingを扱うcontact-rich manipulationの研究。 - 同分野の定番として、visuomotor policy learningやtactile-based manipulationの論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shaqi Luo, Yuanyuan Li, Youhao Hu, Chenhao Yu, Chaoran Xu, Jiachen Zhang, Guocai Yao, Tiejun Huang, Ran He, Zhongyuan Wang

分類: cs.RO

原文アブストラクト

UMI-style interfaces enable scalable robot learning, but existing systems remain largely visuomotor, relying primarily on RGB observations and trajectory while providing only limited access to physical interaction signals. This becomes a fundamental limitation in contact-rich manipulation, where success depends on contact dynamics such as tactile interaction, internal grasping force, and external interaction wrench that are difficult to infer from vision alone. We present OmniUMI, a unified framework for physically grounded robot learning via human-aligned multimodal interaction. OmniUMI synchronously captures RGB, depth, trajectory, tactile sensing, internal grasping force, and external interaction wrench within a compact handheld system, while maintaining collection--deployment consistency through a shared embodiment design. To support human-aligned demonstration, OmniUMI enables natural perception and modulation of internal grasping force, external interaction wrench, and tactile interaction through bilateral gripper feedback and the handheld embodiment. Built on this interface, we extend diffusion policy with visual, tactile, and force-related observations, and deploy the learned policy through impedance-based execution for unified regulation of motion and contact behavior. Experiments demonstrate reliable sensing and strong downstream performance on force-sensitive pick-and-place, interactive surface erasing, and tactile-informed selective release. Overall, OmniUMI combines physically grounded multimodal data acquisition with human-aligned interaction, providing a scalable foundation for learning contact-rich manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI