日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

遠隔操作arXiv:2606.07934

X-OP: MPCリターゲティングによる異種形態間の全身遠隔操作

X-OP: Cross-Morphology Whole-Body Teleoperation via MPC Retargeting

シェア:XThreadsFacebookLINEはてブBluesky

単一のXRデバイスを用いて、ロボットの形態に依存せず全身遠隔操作を実現する階層的フレームワークを提案。MPCベースのモーションリターゲティングにより、操作者の意図と動的実現可能性を同時に最適化する。

詳しい要約

1. どんなもの?

- 単一のXRデバイスで多様なロボット形態の全身テレオペレーションを可能にする階層型フレームワーク。 - MPCベースの動作リターゲティングで操作者の意図とロボットの動的実現可能性を同時最適化。 - 既存の低レベルコントローラへの指令を生成し、ロボット固有の再学習を不要にする。 - ヒューマノイドと移動マニピュレータの両方に適用可能。

2. 先行研究と比べてどこがすごい?

- 従来の外骨格スーツやマルチカメラはコスト・複雑さ・環境制約が大きい。 - 単一XR+end-to-end RLはロボット固有の再学習が必要で、分布外失敗や動的実現可能性を無視したリターゲティングの問題がある。 - 提案手法は再学習なしで多形態に汎化し、MPCで動的実現可能性を考慮。 - シミュレーションでヒューマノイドの完了時間30%以上短縮、消費電力20%削減、移動マニピュレータで衝突ゼロを達成。

3. 技術・手法の肝は?

- MPCベースの動作リターゲターが操作者意図とロボット動的制約を共同最適化。 - 各MPCステップでシミュレータ状態をリセットする状態同期手法を導入し、実世界のノイズや接触感度に対処。 - SLAMベースのグローバル姿勢フィードバックを統合し、長期的なドリフトを軽減。 - 既存の低レベルコントローラをそのまま利用する階層構造。

4. どうやって有効だと検証した?

- シミュレーションでヒューマノイドと移動マニピュレータの全身制御タスクをベースラインと比較。 - ヒューマノイドでは完了時間30%以上短縮、消費電力20%削減。 - 移動マニピュレータでは衝突ゼロを達成。 - 実世界実験で両プラットフォームへの展開と、ユーザーが好みに応じてテレオペレーション動作を調整できる柔軟性を実証。

5. 議論はある?

- 提案フレームワークはプラグアンドプレイで形態非依存のスケーラブルなソリューションを提供。 - リアルタイムの行動カスタマイズと広範なプラットフォーム適用が可能。 - 限界や課題については要旨からは不明。

6. 次に読むべき論文は?

- 単一XRデバイスとend-to-end強化学習を用いた先行研究(具体的な論文名は要旨からは不明)。 - 外骨格スーツやマルチカメラを用いた従来の全身テレオペレーション手法。 - Model Predictive Control (MPC) を用いた動作リターゲティングの関連研究。 - SLAMベースの姿勢推定と状態同期に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jen-Wei Wang, Sarthak Kaingade, Andrea Tagliabue, Nicholas Morozovsky

分類: cs.RO

原文アブストラクト

Whole-body teleoperation is essential for scalable robot data collection in loco-manipulation tasks, yet existing approaches relying on exoskeleton suits or multi-camera setups impose prohibitive cost, complexity, and environmental constraints. Recent methods using a single extended reality (XR) device with end-to-end reinforcement learning policies partially address these limitations but require robot-specific retraining, suffer from out-of-distribution failures, and rely on motion retargeting that neglects dynamic feasibility. We propose a hierarchical whole-body teleoperation framework driven by a single XR device that generalizes across diverse robot morphologies without retraining robot-specific policies. A Model Predictive Control (MPC)-based motion retargeter jointly optimizes alignment with the operator's intent and the robot's dynamic feasibility, generating optimal commands for existing low-level controllers. To ensure robust online execution, we introduce a state synchronization method that resets the simulator state at each MPC step to handle noisy real-world measurements and contact sensitivity, and integrate SLAM-based global pose feedback to mitigate long-term drift. Simulation results show higher success rates on whole-body control tasks for both a humanoid (over 30% lower completion time and 20% lower power consumption) and a mobile manipulator (zero collisions) compared to baselines. Real-world experiments further validate the effectiveness and flexibility of our method, demonstrating the successful deployment of the proposed retargeter on both platforms for whole-body control tasks and the ease of allowing users to adjust teleoperation behavior based on their preferences. This plug-and-play framework offers a scalable, morphology-agnostic solution for whole-body robot teleoperation, enabling real-time behavioral customization and broad applicability across platforms.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI