日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

テレオペレーションarXiv:2609.39000

NEXUS: 地形適応型テレオペレーションのための知覚的全身体制御

NEXUS: Perceptive Whole-Body Control for Terrain-Adaptive Teleoperation

シェア:XThreadsFacebookLINEはてブBluesky

人間の動作指令と機体のセンサ情報を組み合わせ、異なる地形でもロボットが姿勢と接地を適応させて全身テレオペレーションを実現する制御フレームワークを提案。

詳しい要約

1. どんなもの?

本論文は、地形が異なる状況でも人間の全身動作をヒューマノイドロボットで再現するための、知覚型全身制御フレームワーク NEXUS を提案する。 - 目的: 人間とロボットの地形が異なっても、ロボットが局所地形を知覚し、姿勢と接触を適応させて全身テレオペレーションを実現する。 - 課題: 平地と異なる地形で同一行動を対応付けた paired motion data が乏しく、地形適応制御の学習監督が制限される。 - 構成: 人間の動作コマンドとオンボードの sensory feedback を組み合わせる。 - 学習: 約1,000時間の paired motion corpus を用い、teacher-student learning で知覚型全身コントローラを訓練する。 - 展開: zero-shot real-world deployment により、多様な未見地形でのリアルタイム全身テレオペレーションを実証する。

2. 先行研究と比べてどこがすごい?

既存の全身コントローラと比べ、地形適応性と追従忠実性を両立する点が優位と主張される。 - 従来: 人間の動作を frame by frame で模倣するため、地形差に対応しにくい。 - 本手法: 地形を知覚し、姿勢・接触を適応させる制御を学習する。 - データ: 平地と異なる地形を対応付けた paired motion data が希少という制約に対し、スケーラブルな生成法を提案。 - 性能: 評価ベンチマークで既存の全身コントローラを上回り、広い行動カバレッジと地形適応性・追従忠実性を両立。 - 実機: 未見地形での zero-shot 展開を実現し、汎化性を追加検証。

3. 技術・手法の肝は?

技術の肝は、地形対応の動作ペア生成と teacher-student learning による知覚型全身制御の学習にある。 - 地形認識適応アルゴリズム: 動作ごと・地形ごとのチューニングなしで、高品質な motion pairs を効率的に生成する。 - データ: 生成された paired motion corpus は合計約1,000時間。 - 制御: 人間の動作コマンドとオンボード sensory feedback を統合し、地形を跨いで指令行動を再現する知覚型全身コントローラを訓練。 - 学習方式: teacher-student learning を採用。 - 展開: 実機でリアルタイム全身テレオペレーションを可能にする。

4. どうやって有効だと検証した?

有効性は、データ生成の効率・品質、ベンチマーク比較、実機展開で検証されている。 - データ生成: 高品質な motion data を効率的かつスケーラブルに生成できることを実験で示す。 - ベンチマーク: NEXUS が広い行動カバレッジ、地形適応性、追従忠実性を兼ね備え、既存の全身コントローラを上回ることを示す。 - 実機: zero-shot real-world deployment により、多様な未見地形でリアルタイム全身テレオペレーションを実現し、汎化性を検証。 - 詳細な評価指標や被験者数などは要旨からは不明。

5. 議論はある?

要旨で明示される議論・限界は限定的である。 - 主張: 地形が異なる状況でも人間動作を再現するには、frame by frame の模倣ではなく地形知覚と姿勢・接触の適応が必要。 - 制約: paired motion data の不足が学習監督のボトルネックであり、これをスケーラブルな生成で緩和する。 - 未解決点: 生成データの品質評価基準、実機展開時の安全性・失敗事例、計算コスト、他ロボットへの転移性などは要旨からは不明。 - 倫理・社会的影響に関する議論は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照・比較されている研究や関連手法を挙げる。 - 既存の whole-body controllers(具体的名称は要旨からは不明)。 - teacher-student learning を用いるロボティクス制御研究。 - human motion retargeting / motion imitation に関する研究。 - terrain-aware locomotion や perceptive locomotion に関する研究。 - paired motion data 生成・モーション合成に関する研究。 - 同分野の定番として、DeepMimic や AMP (Adversarial Motion Priors) などの模倣学習手法、および legged robot の terrain-adaptive locomotion 研究が次に読む候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiangyu Miao, Junsong Wu, Jiyuan Shi, Weiji Xie, Jinrui Han, Xingyi Wang, Weinan Zhang, Chenjia Bai, Xuelong Li

分類: cs.RO

原文アブストラクト

Whole-body teleoperation requires a humanoid robot to reproduce a human operator's behavior even when their terrains differ. This demands that the robot perceive local terrain and adapt its posture and contacts accordingly, rather than copy the operator's motion frame by frame. However, paired motion data linking the same behaviors across flat ground and different terrains remain scarce, limiting supervision for learning terrain-adaptive control. To enable whole-body teleoperation across mismatched terrains, we introduce NEXUS, a perceptive whole-body control framework that combines human motion commands with onboard sensory feedback. We first develop a scalable terrain-aware adaptation algorithm that efficiently generates high-quality motion pairs across motions and terrains without per-motion or per-terrain tuning. Using a paired motion corpus totaling nearly 1,000 hours, we train a perceptive whole-body controller through teacher-student learning to reproduce commanded behaviors across terrains. Experiments demonstrate efficient, scalable generation of high-quality motion data and show that NEXUS combines broad behavioral coverage with terrain adaptability and tracking fidelity, outperforming existing whole-body controllers on the evaluated benchmarks. Zero-shot real-world deployment enables real-time whole-body teleoperation on diverse unseen terrains, further validating the generalization of our method. Project website: https://nexus-humanoid.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI