日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作再構築arXiv:2605.13041

EgoForce: 拡散フォーシングによる頑健なオンライン自己中心視点動作再構築

EgoForce: Robust Online Egocentric Motion Reconstruction via Diffusion Forcing

シェア:XThreadsFacebookLINEはてブBluesky

自己中心視点の映像から全身動作をオンラインで再構築する手法を提案。拡散フォーシングに基づく時間的非対称ノイズスケジュールで、ストリーミング入力に応じて逐次的にノイズを除去し、頑健かつリアルタイムな動作推定を実現。

詳しい要約

1. どんなもの?

- 一人称視点の観測からオンラインで全身運動を再構成するフレームワーク EgoForce を提案。 - ノイズの多い疎な観測と頭部軌道から、長期的な全身運動をリアルタイムに生成。 - 拡散モデルと Diffusion Forcing を組み合わせ、時間的不確実性をモデル化。 - ストリーミング観測に応じて逐次的に状態をノイズ除去し、因果制約下で安定した運動を生成。

2. 先行研究と比べてどこがすごい?

- 既存の生成フレームワークは固定長の観測窓を仮定し、リアルタイム用途に不向き。 - 高速推論のための自己回帰予測はロバスト性を犠牲にする。 - EgoForce はオンラインかつロバストで、既存のオンライン/オフライン手法を上回る性能を実現。 - 厳密な因果制約下で長期的な全身運動再構成を可能にする点が新しい。

3. 技術・手法の肝は?

- Diffusion Forcing に着想を得た時間的非対称ノイズスケジュールを採用。 - 時間的に変化する不確実性をモデル化し、新しい観測が到着するたびに状態を逐次ノイズ除去。 - ノイズに頑健な補完戦略と組み合わせ、因果制約下で安定かつ一貫した全身運動を生成。 - オンラインでストリーミング観測を処理するフレームワーク。

4. どうやって有効だと検証した?

- 実験により、オンラインおよびオフラインの既存手法を上回ることを示す。 - 挑戦的な一人称視点シナリオで長期的な全身運動再構成を実現。 - 具体的なデータセットや評価指標は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Diffusion Forcing の原論文。 - 一人称視点運動再構成の関連研究(例:EgoBody など)。 - オンライン全身運動推定の定番手法(例:VIBE, HMR など)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Inwoo Hwang, Donggeun Lim, Hojun Jang, Young Min Kim

分類: cs.CV

原文アブストラクト

With recent advances in embodied agents and AR devices, egocentric observations are readily available as input for real-world interactive online applications. However, egocentric viewpoints can only sporadically observe hands, in addition to the estimated head trajectory. We propose EgoForce, an online framework for reconstructing long-term full-body motion from noisy egocentric input. While existing generative frameworks can robustly handle noisy and sparse measurements, they assume a fixed-length observation window is available and are thus not suitable for real-time applications. Faster inference often relies on autoregressive prediction, sacrificing robustness. In contrast, we adopt a diffusion-based method with a temporally asymmetric noise schedule inspired by Diffusion Forcing. Specifically, our approach models temporally evolving uncertainty and incrementally denoises states as new streaming observations arrive. Combined with a noise-robust imputation strategy, EgoForce progressively generates stable and coherent full-body motion under strict causal constraints. Experiments demonstrate that our online framework outperforms existing online and offline methods, enabling long-horizon, full-body motion reconstruction in challenging egocentric scenarios.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI