日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

群制御arXiv:2606.20990

デュエット:効率的な教示による二台ロボットの協調理解

Duet: Dual-Robot Understanding via Efficient Teaching

シェア:XThreadsFacebookLINEはてブBluesky

二台のロボットが協調して作業するための学習フレームワークを提案。VR遠隔操作と人間同士の協調動作データを活用し、少ない実機データで高性能な協調ポリシーを学習する。

詳しい要約

1. どんなもの?

デュアルロボット協調のための学習フレームワークDUETを提案。 - 対象は移動マニピュレーションを伴う協調タスク。 - データ収集のボトルネックを解消するため、VRベースの異種ロボット同期テレオペレーションシステムを構築。 - 人間同士の協調と協調移動マニピュレーションの事前知識を記録する追跡パイプラインも開発。 - Action Chunking Transformerベースのアーキテクチャを採用。 - 人間同士のデモで協調ポリシーを事前学習し、最小限の実機テレオペ軌道でファインチューニング。 - Unitree G1ヒューマノイドとDexmate Vega1移動マニピュレータを用いた4つの協調タスクのベンチマークを構築。

2. 先行研究と比べてどこがすごい?

ロボットデータのみで訓練したベースラインと比較して、人間の事前知識を活用することで優れたタスク性能を達成。 - データ収集に必要な人的労力を削減。 - 人間データ収集パイプラインはテレオペレーションから平均5.4倍の加速を実現。 - 全タスクでロボットのみのデータで訓練したポリシーと同等以上の性能を達成。 - 従来の単一ロボットやロボットデータのみのアプローチに対する優位性を示す。

3. 技術・手法の肝は?

効率的なデータ収集のため、異種ロボットを同期制御するVRベースのテレオペレーションシステムを統合。 - 人間同士の協調と協調移動マニピュレーションの事前知識を記録する追跡パイプラインを開発。 - Action Chunking Transformerベースのアーキテクチャを採用。 - 人間同士のデモで協調ポリシーを事前学習し、最小限の実機テレオペ軌道でファインチューニングする2段階学習。 - これにより効率的な学習とデータ収集を両立。

4. どうやって有効だと検証した?

Unitree G1ヒューマノイドとDexmate Vega1移動マニピュレータを用いた4つの協調タスクのベンチマークを構築して評価。 - 結果、人間の事前知識を活用することで、ロボットデータのみで訓練したベースラインよりも優れたタスク性能を達成。 - データ収集に必要な人的労力も削減。 - 人間データ収集パイプラインはテレオペレーションから平均5.4倍の加速を実現。 - 全タスクでロボットのみのデータで訓練したポリシーと同等以上の性能を確認。

5. 議論はある?

要旨からは不明。 - 限界や失敗事例、一般化可能性、他のロボットプラットフォームへの適用性などについての議論は要旨では触れられていない。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Action Chunking Transformer (ACT) や、VRテレオペレーション、人間のデモンストレーションからの学習 (Learning from Demonstration) が挙げられる。 - 同分野の定番として、模倣学習 (Imitation Learning) や強化学習 (Reinforcement Learning) の協調ロボットへの応用に関する論文が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiqi Zhao, Ruohai Ge, Celina Shiyu Wang, Junjie Ye, Muchen Xu, Minhao Li, Sergey Zakharov, Basile Van Hoorick, Vitor Campagnolo Guizilini, Leonidas Guibas, Gaurav S. Sukhatme, Jyotirmoy V. Deshmukh, Yue Wang

分類: cs.RO

原文アブストラクト

Dual-robot collaboration enables tasks that exceed the reach and payload of a single robot, such as collaboratively transporting objects across environments and executing coordinated handovers. Data acquisition is the primary bottleneck for training these systems. To this end, we introduce DUET, a dual-robot learning framework for mobile manipulation. For efficient data collection, we create a unified dual-embodiment synchronized VR-based teleoperation system for in-domain heterogeneous robot data collection. We further develop a complementary tracking pipeline that records human-human coordination and collaborative mobile manipulation priors. To allow efficient learning, we introduce an Action Chunking Transformer based architecture that first pretrains collaborative policies on efficient human-human demonstrations, before finetuning them on a minimal set of real-robot teleoperation trajectories. We develop a benchmark of four collaborative tasks to evaluate our framework using a Unitree G1 humanoid and a Dexmate Vega1 mobile manipulator. The results demonstrate that harnessing human priors not only yields superior task performance compared to baselines trained only on robot data, but also reduces the total human effort required for data collection. Our human data collection pipeline achieves 5.4x acceleration on average from teleoperation, but we perform equally or better than robot-only data trained policies across all tasks. Our project page is available at https://zhaoy37.github.io/Duet/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI