日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

遠隔操作arXiv:2608.01834

Teleopit: 全身ヒューマノイド遠隔操作システム

Teleopit: A Full-Embodiment Humanoid Teleoperation System

シェア:XThreadsFacebookLINEはてブBluesky

VR信号から全身・手・頭部の動作をヒューマノイドにマッピングする遠隔操作システムを提案し、実機でのデモ収集とポリシー学習で高い成功率を達成した。

詳しい要約

1. どんなもの?

Teleopitは、VRからの身体・手・頭部の信号をヒューマノイドロボットの全身、構成可能な器用な手、2-DoF能動視覚モジュールにマッピングする、フルエンボディメント遠隔操作システムである。デモ収集のための全身協調動作、連続的な器用な手の制御、視点制御を実現する。

2. 先行研究と比べてどこがすごい?

既存システムは手のコマンドを簡略化するか、細かい手の動きのために専用のウェアラブルセンサに依存していた。TeleopitはVRのみで全身・手・視点を統合的に扱い、手の再ターゲティングを最適化ベースで行い、手固有の調整を不要にした点が優れている。

3. 技術・手法の肝は?

手法の肝は、1) 履歴エンコーダと失敗認識リワインドサンプリングによるモーショントラッカーの改善、2) 正規化された指方向、指先の閉じ、親指フレームの整列を組み合わせた最適化ベースのハンドリターゲッタで、手固有の目的関数やソルバのハイパーパラメータ調整なしに異なる器用な手にマッピングする点。

4. どうやって有効だと検証した?

コンポーネント実験でトラッキング成功率とリターゲッティング挙動を評価し、実ロボット遠隔操作で協調的な移動、操作、視点制御を実証。Teleopitで収集した96回の成功デモで訓練したACTとGR00T N1.7ポリシーが、ヒューマノイド展開時にそれぞれ90.0%と95.0%のタスク成功率を達成。

5. 議論はある?

要旨からは、システムの限界や他の手法との比較、一般化の議論は不明。成功率は高いが、デモ数が96回と限定的であり、より複雑なタスクや異なる環境での性能は不明。

6. 次に読むべき論文は?

要旨で参照されているACT (Action Chunking with Transformers) とGR00T N1.7、および関連するヒューマノイド遠隔操作システムの論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bingqian Wu, Zicheng Xu, Xianghui Fan, Dayu Li, Xiangru Huang

分類: cs.RO

原文アブストラクト

Humanoid teleoperation for demonstration collection requires coordinated whole-body motion, continuous dexterous hand control, and viewpoint control. Existing systems either simplify hand commands or depend on dedicated wearable sensors for fine-grained hand motion. We introduce Teleopit, a full-embodiment teleoperation system that maps body, hand, and head signals from VR to a humanoid body, configurable dexterous hands, and a 2-DoF active vision module. A history encoder and failure-aware rewind sampling improve the motion tracker on both motion-capture and live VR references. An optimization-based hand retargeter combines normalized finger directions, fingertip closure, and thumb-frame alignment to map human hand motion to different dexterous hands without tuning hand-specific objective or solver hyperparameters. Component experiments evaluate tracking success rate and retargeting behavior, while real-robot teleoperation demonstrates coordinated locomotion, manipulation, and viewpoint control. ACT and GR00T N1.7 policies trained on 96 successful demonstrations collected with Teleopit achieve task success rates of 90.0% and 95.0%, respectively, when deployed on the humanoid. The project page is available at https://botrunner64.github.io/teleopit-page.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI