日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ヒューマノイド動作追従arXiv:2610.09055

MimicX:ポリシー・イン・ザ・ループ監督洗練による動画駆動型ヒューマノイド動作追従

MimicX: Policy-in-the-Loop Supervision Refinement for Video-Driven Humanoid Motion Tracking

シェア:XThreadsFacebookLINEはてブBluesky

動画から得た動作参照を物理環境で実行する際の失敗をフィードバックし、追従目的とリセットカリキュラムを適応的に洗練する枠組みを提案。追従精度と実行可能時間を大幅に改善。

詳しい要約

1. どんなもの?

- 人間の動画から得た運動参照を humanoid に物理ベースで追従させる video-driven humanoid motion tracking の枠組み。 - 見た目上もっともらしい参照でも物理実行で失敗が残る点に着目。 - 実行フィードバックを policy-in-the-loop で使い、追従目的と reset curriculum を洗練する MimicX を提案。 - 4 つの core video task で追従精度と Robust Execution Horizon を改善。

2. 先行研究と比べてどこがすごい?

- 従来は reconstructed/retargeted motion を固定参照として学習する Fixed Reference baseline が中心。 - MimicX は実行時の失敗を supervision 変更の手がかりとして使う点が新しい。 - 難遷移と影響身体部位を局所化し、追従目的と reset curriculum を同時適応。 - 結果として body-tracking error 25.7% 減、execution horizon 255.6% 増(課題平均)。

3. 技術・手法の肝は?

- 再構成・retarget 済み運動から開始。 - 実行フィードバックで難しい遷移と影響を受ける身体領域を特定。 - tracking objectives と reset curriculum を joint に適応し、policy continuation を促す。 - 反復 rollout 検証で tracking guards の下、execution-priority の改善を選択。 - MimicX-HLoop により heterogeneous execution でフィードバックを高速化。

4. どうやって有効だと検証した?

- 4 つの core video task で Fixed Reference baseline と比較。 - 追従精度と Robust Execution Horizon の改善を確認。 - 課題平均で body-tracking error 25.7% 減、execution horizon 255.6% 増。 - 追加で video、motion-reference、collision-scene の研究を実施。 - MimicX-HLoop による heterogeneous execution の高速化も評価。

5. 議論はある?

- 視覚的に妥当な参照が物理実行で持続的失敗を生む原因を supervision の変更点として捉える。 - どの refinement を保持すべきかを rollout 検証で選ぶ枠組みを提示。 - 限界や失敗条件、計算コストの詳細は要旨からは不明。 - MimicX-HLoop の heterogeneous execution の具体的な効果範囲は要旨からは不明。

6. 次に読むべき論文は?

- Fixed Reference baseline(要旨で比較)。 - reconstructed/retargeted motion を用いる video-driven humanoid motion tracking の先行研究。 - reset curriculum や tracking objectives を扱う humanoid locomotion/whole-body control 研究。 - heterogeneous execution や policy-in-the-loop 学習に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuaijun Liu, Chenglong Zhang, Xuhao Liu, Feiyang You, Yifan Liao, Shuyang Hao, Chaozhe Zhang, Chengyu Wu, Zhen Sun, Ningxin Su

分類: cs.RO, cs.AI

原文アブストラクト

Human videos provide rich motion targets for humanoid learning, yet visually plausible references can still produce persistent failures under physics-based execution. These failures reveal where training supervision should change. We present MimicX, a policy-in-the-loop framework that uses execution feedback to refine video-driven humanoid motion tracking. Starting from reconstructed and retargeted motion, MimicX localizes difficult transitions and affected body regions, then jointly adapts tracking objectives and the reset curriculum for policy continuation. Repeated rollout verification selects execution-priority improvements subject to tracking guards. Across four core video tasks, MimicX consistently improves tracking accuracy and Robust Execution Horizon relative to the Fixed Reference baseline. Task-averaged results show a 25.7% reduction in body-tracking error and a 255.6% increase in execution horizon. Additional video, motion-reference, and collision-scene studies evaluate the method beyond the core tasks, while MimicX-HLoop accelerates feedback through heterogeneous execution. Overall, MimicX turns policy failure into actionable supervision for deciding what to refine and which refinement to retain.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI