日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

移動操作/模倣学習arXiv:2605.20894

Mobile UMI: 移動操作のための分離された運動学を備えたクロスビュー拡散ポリシー

Mobile UMI: Cross-View Diffusion Policy with Decoupled Kinematics for Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

移動模倣学習における移動と操作の結合問題を解決するため、デュアルカメラと空間アンカーで操作とベース軌道を分離し、非同期実行で遅延を補正するフレームワークを提案した。

詳しい要約

1. どんなもの?

- モバイル操作のための模倣学習フレームワーク Mobile UMI を提案。 - ロボット不要の携帯型デモ収集インタフェース。 - 胸部カメラと手首カメラの二視点でデータ収集。 - 胸部基準のグローバル文脈と手首基準の局所操作を分離。 - 長時間世帯タスク4種で平均成功率83.8%を達成。

2. 先行研究と比べてどこがすごい?

- 従来の手首装着型インタフェースは卓上収集コストを下げたが、単一手首視点では base navigation に必要な global context が不足。 - 体幹カメラ追加は歩行と手動作を混在させる問題があった。 - 生成ポリシーの推論遅延で base が予測 waypoint を通過し、action splice で後退補正が生じる問題を指摘。 - 本手法はアーキテクチャ変更なしでこれらを解決。 - ACT や Diffusion Policy との比較で有効性を示す。

3. 技術・手法の肝は?

- 二カメラ収集: chest-centric global context と wrist-centric local interaction をロボットなしで記録。 - one-shot ChArUco-based spatial anchor で胸部と手の visual-inertial frame を統一。 - 手姿勢を胸部相対に再表現し、SE(3) manipulation と SE(2) base trajectory に分離。 - 非同期 receding-horizon executor でオンライン状態マッチング。 - 生成 action chunk を現在の物理姿勢に再整合し、期限切れ waypoint を破棄。

4. どうやって有効だと検証した?

- 4つの長時間世帯タスクで評価。 - 各タスク100試行、平均成功率83.8%。 - ACT と Diffusion Policy との制御比較を実施。 - chest-relative label のみでギャップの多くを解消。 - online state matching が残りを解消することを示す。

5. 議論はある?

- テスト条件下の mobile imitation learning では、明示的 kinematic factorization と state-level latency alignment が有効。 - 基盤ポリシークラスのアーキテクチャ変更は不要。 - 限界や一般化可能性、他条件での性能は要旨からは不明。 - 実ロボット以外の環境やタスクへの適用性は要旨からは不明。

6. 次に読むべき論文は?

- ACT - Diffusion Policy - wrist-mounted interfaces に関する先行研究 - mobile manipulation の imitation learning 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoran Huang, Haonan Dong, Huixu Dong

分類: cs.RO

原文アブストラクト

Mobile imitation learning on portable demonstration interfaces faces two coupled bottlenecks: locomotion-contaminated action labels and inference-induced execution latency on a continuously moving base. Recent wrist-mounted interfaces lower the cost of tabletop data collection, yet a single wrist view does not capture the global context required for base navigation. Adding a body-mounted camera entangles human walking with hand motion. Meanwhile, generative policies introduce hundreds of milliseconds of inference latency, during which the base advances past predicted waypoints, forcing backward corrections at action splices. This paper presents Mobile UMI, a hardware-free demonstration framework that addresses both gaps through three components. First, a dual-camera capture system records chest-centric global context and wrist-centric local interaction without any robot present. Second, a one-shot ChArUco-based spatial anchor unifies the chest and hand visual-inertial frames; the hand pose is then re-expressed relative to the chest to extract decoupled SE(3) manipulation and SE(2) base trajectories. Third, an asynchronous receding-horizon executor performs online state matching: each generated action chunk is realigned with the current physical pose so that expired waypoints are discarded before execution. The full system is evaluated on four long-horizon household tasks, achieving an average success rate of 83.8% over 100 trials per task. Controlled comparisons against ACT and Diffusion Policy show that the chest-relative label alone closes much of the gap; online state matching closes the remainder. These results indicate that, for mobile imitation learning under the tested conditions, explicit kinematic factorization combined with state-level latency alignment provides an effective solution without requiring architectural changes to the underlying policy class.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI