日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

テレオペレーションarXiv:2505.12748

TeleOpBench:双腕巧みなテレオペレーションのためのシミュレータ中心ベンチマーク

TeleOpBench: A Simulator-Centric Benchmark for Dual-Arm Dexterous Teleoperation

シェア:XThreadsFacebookLINEはてブBluesky

双腕巧みなテレオペレーションの4つの方式(モーションキャプチャ、VR、外骨格、単眼視覚追跡)を30の高忠実度タスクで公平に比較評価するシミュレータベンチマークを提案し、実機実験との相関を確認した。

詳しい要約

1. どんなもの?

- 両腕デクスタラス・テレオペレーションに特化したシミュレータ中心のベンチマーク「TeleOpBench」を提案する論文。 - 30個の高忠実度タスク環境を含み、pick-and-place、tool use、collaborative manipulationをカバーする。 - 運動学的・力学的難易度の広いスペクトルを網羅する。 - 4種類の代表的なテレオペレーションモダリティを実装し、共通プロトコルと指標群で評価する。 - コードは https://github.com/cyjdlhy/TeleOpBench で公開。

2. 先行研究と比べてどこがすごい?

- 先行研究ではinertial motion-capture gloves、exoskeletons、vision-based interfacesなど多様なハードウェアパイプラインが提案されている。 - しかし、これらを公平かつ再現可能に比較できる統一ベンチマークは存在しなかった。 - TeleOpBenchは両腕デクスタラス・テレオペレーションに焦点を絞り、共通の評価基盤を提供する点が新しい。 - シミュレータ性能が実機性能を予測できることを実機実験で確認し、外部妥当性を示している点も特徴。

3. 技術・手法の肝は?

- シミュレータ中心のベンチマーク設計を採用し、30個の高忠実度タスク環境を構築。 - 4つのテレオペレーションモダリティを実装:(i) MoCap、(ii) VR device、(iii) arm-hand exoskeletons、(iv) monocular vision tracking。 - 共通プロトコルと共通指標スイートで各モダリティを評価する枠組みを提供。 - 実機検証のために、2つの6-DoF dexterous handsを備えた物理的なdual-arm platform上でミラー実験を実施。

4. どうやって有効だと検証した?

- 10個のheld-outタスクにおいて、シミュレータと実機ハードウェアの性能間に強い相関を観測。 - これにより、シミュレーション上の性能が実世界の挙動を予測できることを確認し、TeleOpBenchの外部妥当性を裏付けた。 - 4つのモダリティを共通プロトコルと指標群で評価することで、ベンチマークとしての有効性を検証。

5. 議論はある?

- シミュレータと実機の性能に強い相関があることを示し、シミュレータ中心ベンチマークの妥当性を議論。 - TeleOpBenchがテレオペレーション研究の共通尺度となり、将来のアルゴリズム・ハードウェア革新のための拡張可能なプラットフォームを提供すると主張。 - 具体的な限界や失敗事例、タスク間の難易度差の詳細については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、inertial motion-capture gloves、exoskeletons、vision-based interfaces、VR device、monocular vision tracking、arm-hand exoskeletonsが挙げられている。 - 同分野の定番として、bimanual dexterous manipulationの学習・評価に関する研究や、テレオペレーション用ハードウェアパイプラインの論文を次に読むべき候補として検討できる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hangyu Li, Qin Zhao, Haoran Xu, Xinyu Jiang, Qingwei Ben, Feiyu Jia, Haoyu Zhao, Liang Xu, Jia Zeng, Hanqing Wang, Bo Dai, Junting Dong, Jiangmiao Pang

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Teleoperation is a cornerstone of embodied-robot learning, and bimanual dexterous teleoperation in particular provides rich demonstrations that are difficult to obtain with fully autonomous systems. While recent studies have proposed diverse hardware pipelines-ranging from inertial motion-capture gloves to exoskeletons and vision-based interfaces-there is still no unified benchmark that enables fair, reproducible comparison of these systems. In this paper, we introduce TeleOpBench, a simulator-centric benchmark tailored to bimanual dexterous teleoperation. TeleOpBench contains 30 high-fidelity task environments that span pick-and-place, tool use, and collaborative manipulation, covering a broad spectrum of kinematic and force-interaction difficulty. Within this benchmark we implement four representative teleoperation modalities-(i) MoCap, (ii) VR device, (iii) arm-hand exoskeletons, and (iv) monocular vision tracking-and evaluate them with a common protocol and metric suite. To validate that performance in simulation is predictive of real-world behavior, we conduct mirrored experiments on a physical dual-arm platform equipped with two 6-DoF dexterous hands. Across 10 held-out tasks we observe a strong correlation between simulator and hardware performance, confirming the external validity of TeleOpBench. TeleOpBench establishes a common yardstick for teleoperation research and provides an extensible platform for future algorithmic and hardware innovation. Codes is now available at https://github.com/cyjdlhy/TeleOpBench .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI