日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

全身制御arXiv:2505.03729

視覚的模倣による文脈依存型ヒューマノイド制御

Visual Imitation Enables Contextual Humanoid Control

シェア:XThreadsFacebookLINEはてブBluesky

日常動画から人間と環境を再構成し、階段昇降や椅子への着座など周囲の状況に応じた全身制御方策をヒューマノイドに学習させるreal-to-sim-to-realパイプラインを提案。

詳しい要約

1. どんなもの?

- 人間の日常動画から humanoid の whole-body control policy を学習する real-to-sim-to-real pipeline「VIDEOMIMIC」の提案 - 動画から人間と周囲環境を jointly に再構成し、環境文脈と global root commands に条件付けられた単一 policy を生成 - staircase の昇降、chair/bench への着座・起立、その他動的な whole-body skills を実機 humanoid で実現

2. 先行研究と比べてどこがすごい?

- 従来の模倣学習はモーションキャプチャ等の整備されたデータやタスク特化の設計に依存しがち - 本研究は「casually capture した人間の動画」という日常動画を入力に使える点が特徴 - 環境と人間を jointly に再構成することで、環境文脈に応じた contextual control を単一 policy で実現 - ただし具体的な先行研究との定量比較は要旨からは不明

3. 技術・手法の肝は?

- real-to-sim-to-real pipeline: 日常動画を mining し、人間と環境を jointly に reconstruct - 再構成された情報から humanoid 向けの whole-body control policy を学習 - policy は環境と global root commands に condition 付けされ、複数スキルを単一 policy で実行 - 詳細なアルゴリズム・ネットワーク構成は要旨からは不明

4. どうやって有効だと検証した?

- 実機 humanoid robot 上で実験を実施 - staircase の昇降、chair/bench からの着座・起立、その他の動的 whole-body skills を実演 - robust かつ repeatable な contextual control が得られたと報告 - 定量的評価指標や比較実験の詳細は要旨からは不明

5. 議論はある?

- 多様な実世界環境で humanoid を動作させるための scalable な道筋を示すと主張 - 日常動画を活用できる点がスケーラビリティの根拠として挙げられている - 限界・失敗事例・安全性等の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として humanoid の whole-body control、real-to-sim-to-real、visual imitation learning、motion reconstruction の代表的文献を次に読むべき - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Arthur Allshire, Hongsuk Choi, Junyi Zhang, David McAllister, Anthony Zhang, Chung Min Kim, Trevor Darrell, Pieter Abbeel, Jitendra Malik, Angjoo Kanazawa

分類: cs.RO, cs.CV

原文アブストラクト

How can we teach humanoids to climb staircases and sit on chairs using the surrounding environment context? Arguably, the simplest way is to just show them-casually capture a human motion video and feed it to humanoids. We introduce VIDEOMIMIC, a real-to-sim-to-real pipeline that mines everyday videos, jointly reconstructs the humans and the environment, and produces whole-body control policies for humanoid robots that perform the corresponding skills. We demonstrate the results of our pipeline on real humanoid robots, showing robust, repeatable contextual control such as staircase ascents and descents, sitting and standing from chairs and benches, as well as other dynamic whole-body skills-all from a single policy, conditioned on the environment and global root commands. VIDEOMIMIC offers a scalable path towards teaching humanoids to operate in diverse real-world environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI