日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデル/インタラクション合成arXiv:2603.13615

自己中心視点の世界モデルによる写実的な手と物体のインタラクション合成

Egocentric World Model for Photorealistic Hand-Object Interaction Synthesis

シェア:XThreadsFacebookLINEはてブBluesky

ユーザーの行動のみから物理的に妥当な自己中心視点の手と物体のインタラクション動画を生成する世界モデルを提案し、3D推定から得た物理的知識を埋め込むことで将来の物体軌跡を使わずに高品質な合成を実現した。

詳しい要約

1. どんなもの?

- 一人称視点の Human-Object Interaction (HOI) を、未来の物体状態に頼らず行動信号のみからフォトリアリスティックに生成する world model「EgoHOI」を提案。 - 身体化 AI のスケーラブルなデータ源として、条件付き動画生成ではなく真のシミュレータとして機能することを目指す。 - 頭部の速い動き、重度の遮蔽、高自由度の手の関節運動による接触トポロジーの急変という課題に対処。

2. 先行研究と比べてどこがすごい?

- 既存手法は物理的課題を回避し、既知の未来の物体軌道を条件にした動画生成に依存していた。 - EgoHOI はこのショートカットを断ち、行動信号のみから接触整合的な相互作用をシミュレートする点が新しい。 - 未来状態入力なしで物理的正確性を確保するため、3D 推定から幾何・運動学的 prior を蒸留する点で先行研究と異なる。

3. 技術・手法の肝は?

- 3D 推定から幾何・運動学的 prior を蒸留し、physics-informed embedding を構築。 - この embedding が一人称ロールアウトを物理的に妥当なダイナミクスへ正則化する。 - 未来の物体状態にアクセスせず、行動信号のみから接触一貫性のあるフォトリアリスティックな相互作用を生成。

4. どうやって有効だと検証した?

- HOT3D データセット上で実験を実施。 - 強いベースラインに対して一貫した性能向上を確認。 - アブレーションにより physics-informed 設計の有効性を検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- HOT3D データセット、および要旨で比較対象とされる条件付き動画生成の既存手法(具体的名称は要旨からは不明)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dayou Li, Lulin Liu, Bangya Liu, Shijie Zhou, Jiu Feng, Ziqi Lu, Minghui Zheng, Chenyu You, Zhiwen Fan

分類: cs.CV, cs.RO

原文アブストラクト

To serve as a scalable data source for embodied AI, world models should act as true simulators that infer interaction dynamics strictly from user actions, rather than mere conditional video generators relying on privileged future object states. In this context, egocentric Human-Object Interaction (HOI) world models are critical for predicting physically grounded first-person rollouts. However, building such models is profoundly challenging due to rapid head motions, severe occlusions, and high-DoF hand articulations that abruptly alter contact topologies. Consequently, existing approaches often circumvent these physics challenges by resorting to conditional video generation with access to known future object trajectories. We introduce EgoHOI, an egocentric HOI world model that breaks away from this shortcut to simulate photorealistic, contact-consistent interactions from action signals alone. To ensure physical accuracy without future-state inputs, EgoHOI distills geometric and kinematic priors from 3D estimates into physics-informed embeddings. These embeddings regularize the egocentric rollouts toward physically valid dynamics. Experiments on the HOT3D dataset demonstrate consistent gains over strong baselines, and ablations validate the effectiveness of our physics-informed design.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI