日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ヒューマノイド制御arXiv:2606.08495

EgoPriMo: 対話型ヒューマノイド制御のための自己中心視点動作生成

EgoPriMo: Egocentric Motion Generation for Interactive Humanoid Control

シェア:XThreadsFacebookLINEはてブBluesky

自己中心視点の人間デモから全身動作の事前分布を学習し、テキスト指示に基づいて動作の再構築・生成・予測を行う統一フレームワークを提案した。

詳しい要約

1. どんなもの?

- ヒューマノイドロボットの全身運動を、自己中心視点の人間デモンストレーションから学習するフレームワーク「EgoPriMo」を提案。 - 自己中心観察とテキストプロンプトから、SMPLベースの全身運動を再構成・生成・予測する。 - 言語は完全な運動指定ではなく高レベル制御信号として使用。 - 中核はTriple-stream DiTで、身体動態・自己中心視覚文脈・テキストを統合モデル化。 - タスク条件付けマスクにより、異なるタスクや欠損モダリティデータを同一チェックポイントで処理。

2. 先行研究と比べてどこがすごい?

- 従来の運動追跡は指定軌道を再現するが、シーン文脈・タスク・ユーザ意図に適応した全身行動のスケーラブルでインタラクティブな事前分布を提供しない。 - ヒューマノイド視覚-言語-行動システムは意味的インタフェースを提供するが、広範な全身行動の事前分布は提供しない。 - EgoPriMoは自己中心人間デモから事前分布を学習し、単一チェックポイントで生成・再構成・予測を実現。 - 実験でUniEgoMotionを上回る自己中心運動生成性能を示し、Unitreeヒューマノイドコントローラで実行可能。

3. 技術・手法の肝は?

- 自己中心観察とテキストプロンプトを入力とし、SMPLベースの全身運動を出力。 - Triple-stream DiTが身体動態・自己中心視覚文脈・テキストを共同モデル化。 - タスク条件付けマスクにより、異なるタスクや欠損モダリティデータを同一チェックポイントでルーティング。 - 言語は高レベル制御信号として使用。

4. どうやって有効だと検証した?

- NymeriaとEgoExo4Dデータセットで実験。 - 単一チェックポイントがUniEgoMotionを上回る自己中心運動生成を達成し、再構成と予測もサポート。 - 生成されたSMPL運動がUnitreeヒューマノイドコントローラで実行可能であることを確認。

5. 議論はある?

- スケーラブルな自己中心観察から汎化可能でインタラクティブなヒューマノイド運動事前分布への実用的道筋を示唆。 - 限界や課題については要旨からは不明。

6. 次に読むべき論文は?

- UniEgoMotion(比較対象として言及) - SMPL(運動表現) - Unitree humanoid controller(実行検証) - Nymeria, EgoExo4D(データセット)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyang Ge, Peng Ren, Yukun Shi, Cong Huang, Kun Li, Kai Chen

分類: cs.RO, cs.CV

原文アブストラクト

Humanoid robots require whole-body motions that adapt to scene context, task requirements, and user intent. Motion tracking reproduces specified trajectories, and humanoid vision-language-action systems provide semantic interfaces, but neither offers a scalable and interactive prior for broad full-body behavior. We introduce EgoPriMo (Egocentric Motion Prior for Humanoid Robots), a unified framework that learns such priors from egocentric human demonstrations. Given egocentric observations and a text prompt, EgoPriMo reconstructs, generates, and forecasts SMPL-based full-body motion. Language is used as a high-level control signal rather than a complete motion specification. At the core of EgoPriMo is a Triple-stream DiT that jointly models body dynamics, egocentric visual context, and text; task-conditioning masks route different tasks and missing-modality data through the same checkpoint. Experiments on Nymeria and EgoExo4D show that one checkpoint improves egocentric motion generation over UniEgoMotion while supporting reconstruction and forecasting; the generated SMPL motions can also be executed by a Unitree humanoid controller. These results indicate a practical path from scalable egocentric observations to generalizable and interactive humanoid motion priors.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI