日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

遠隔操作arXiv:2610.25006

拡張現実を用いた半自律型ロボット遠隔操作による精密両手作業の実行

Scalable, Intuitive, Mixed Reality-Based Semi-Autonomous Robotic Telemanipulation for the Execution of a Fine-Grained Bimanual Task

シェア:XThreadsFacebookLINEはてブBluesky

MRヘッドセットを使い、タスクの大部分を自律実行し要所のみ人間が微調整する半自律遠隔操作システムを提案し、精密な両手ペグ挿入タスクで模倣学習方策の訓練に有効な高品質データを低負荷で収集できることを示した。

詳しい要約

1. どんなもの?

- MRヘッドセットを用いた、スケーラブルで直感的な半自律型ロボット遠隔操作システム - ロボット上のデータ収集(on-robot data collection)を目的とする - タスク軌道の大部分を自律実行し、要所のみ人間が微調整する - 高精度な両腕(bimanual)のpeg-in-holeタスクで実証

2. 先行研究と比べてどこがすごい?

- 既存のtelemanipulationは人間操作への依存が大きく、大規模データ収集で疲労が問題 - 特に器用さを要するタスクでは集中が持続せず、数十〜数百のdemonstration収集が負担 - 本研究はsemi-autonomous化によりoperator workloadを低減しつつhuman-in-the-loop制御を維持 - より少ないデータ収集労力で高品質なdemonstrationを得られる点が利点

3. 技術・手法の肝は?

- mixed reality (MR) headsetを活用した半自律telemanipulationシステム - タスク軌道の大半をシステムが自律実行し、人間はkey stagesでのfine adjustmentsのみ担当 - 収集したdemonstrationをimitation learningに用いて方策を学習 - 詳細なアルゴリズムやMRインタフェース設計は要旨からは不明

4. どうやって有効だと検証した?

- 高精度・fine-grainedなbimanual peg-in-holeタスクでデータ収集とimitation learning policyの学習を実施 - より低いデータ収集労力で高品質なdemonstrationが得られることを確認 - 得られたdemonstrationで完全自律実行policyの学習が可能なことを示した - 定量的な評価指標や比較条件は要旨からは不明

5. 議論はある?

- 半自律化によるoperator workload低減とhuman-in-the-loop維持の両立が主張 - 大規模データ収集の効率化という観点での意義が示唆される - 限界、失敗事例、他タスクへの汎化性、定量的な労力削減度は要旨からは不明

6. 次に読むべき論文は?

- imitation learning(本論文で方策学習に使用) - semi-autonomous robotic telemanipulationの関連研究 - mixed reality (MR) を用いたteleoperationインタフェース研究 - bimanual peg-in-holeタスクのロボット学習研究 - human demonstrationsによるon-robot data collection研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shifei Duan, Zhe Wang, Francesco De Pace, Minas Liarokapis

分類: cs.RO

原文アブストラクト

Nowadays, robotic telemanipulation enables humans to control robots so as to execute tasks in a manner similar to how they perform them, and serves as an essential approach for collecting on-robot data for robot learning by human demonstrations. The quality of collected demonstrations directly impacts the performance of the learned policy. However, existing telemanipulation systems rely heavily on human operation, particularly for large-scale data collection. Collecting dozens or hundreds of demonstrations is a demanding process, as operators tend to fatigue quickly, especially during the execution of dexterous tasks that require sustained concentration. Recently, semi-autonomous robotic telemanipulation has emerged as a promising direction that reduces operator workload while preserving human-in-the-loop control for task execution. We therefore introduce a scalable, intuitive, semi-autonomous robotic telemanipulation system that leverages a mixed reality (MR) headset for on-robot data collection. The system autonomously executes the majority of the task trajectories and only requires the operator to make fine adjustments at key stages. We validate the effectiveness of our system by collecting data and training imitation learning policies on the execution of a high-precision, fine-grained bimanual peg-in-hole task. With lower data collection effort, our system obtains high-quality demonstrations that can be used to train fully autonomous task execution policies.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI