日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作生成arXiv:2604.01421

EgoFlow: 勾配誘導フローマッチングによる自己中心視6DoF物体動作生成

EgoFlow: Gradient-Guided Flow Matching for Egocentric 6DoF Object Motion Generation

シェア:XThreadsFacebookLINEはてブBluesky

自己中心視映像から物体の6DoF動作を生成するフローマッチングフレームワークを提案し、物理的制約を勾配として組み込むことで衝突回避と滑らかな動作を実現した。

詳しい要約

1. どんなもの?

- 一人称視点(egocentric)の動画から物体の6DoF運動を生成するタスクに取り組む研究。 - 既存の生成モデルでは遮蔽や速い動き、物理的推論の欠如により物理的に整合した軌道生成が困難。 - EgoFlowはflow-matchingフレームワークで、マルチモーダルな一人称観測を条件に現実的で物理的に妥当な軌道を合成する。 - ハイブリッドなMamba-Transformer-Perceiverアーキテクチャを採用し、時間的動態・シーン幾何・意味的意図を統合的にモデル化。 - 勾配誘導推論により衝突回避や運動の滑らかさなどの微分可能な物理制約を強制。 - 後処理フィルタや追加の教師なしで、一貫性があり制御可能な運動生成を実現。

2. 先行研究と比べてどこがすごい?

- 既存のdiffusionベースやtransformerベースのベースラインと比較して、精度・汎化性・物理的リアリズムで優れる。 - 衝突率を最大79%削減。 - 後処理フィルタや追加の教師なしで物理制約を満たす点が新しい。 - 未見シーンへの強い汎化性能を示す。 - 要旨からは、既存手法が明示的な物理推論を欠いていたのに対し、EgoFlowは勾配誘導推論で物理制約を組み込む点が優位。

3. 技術・手法の肝は?

- flow-matchingフレームワークを採用し、マルチモーダルな一人称観測を条件とする。 - ハイブリッドなMamba-Transformer-Perceiverアーキテクチャで、時間的動態・シーン幾何・意味的意図を同時にモデル化。 - 勾配誘導推論プロセスにより、衝突回避や運動の滑らかさなどの微分可能な物理制約を強制。 - これにより後処理フィルタや追加の教師なしで、一貫性と制御可能性を実現。

4. どうやって有効だと検証した?

- 実世界データセットHD-EPIC、EgoExo4D、HOT3Dで実験。 - diffusionベースおよびtransformerベースのベースラインと比較し、精度・汎化性・物理的リアリズムで上回る。 - 衝突率を最大79%削減。 - 未見シーンへの強い汎化を確認。

5. 議論はある?

- 要旨からは、限界や議論の詳細は不明。 - 今後の課題として、flowベース生成モデルのスケーラビリティや物理的根拠に基づく一人称運動理解の可能性が示唆されている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:diffusionベースの手法、transformerベースの手法。 - 関連データセット:HD-EPIC、EgoExo4D、HOT3D。 - 同分野の定番として、egocentric vision、6DoF object motion generation、flow matching、Mamba、Transformer、Perceiverに関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Abhishek Saroha, Huajian Zeng, Xingxing Zuo, Daniel Cremers, Xi Wang

分類: cs.CV

原文アブストラクト

Understanding and predicting object motion from egocentric video is fundamental to embodied perception and interaction. However, generating physically consistent 6DoF trajectories remains challenging due to occlusions, fast motion, and the lack of explicit physical reasoning in existing generative models. We present EgoFlow, a flow-matching framework that synthesizes realistic and physically plausible trajectories conditioned on multimodal egocentric observations. EgoFlow employs a hybrid Mamba-Transformer-Perceiver architecture to jointly model temporal dynamics, scene geometry, and semantic intent, while a gradient-guided inference process enforces differentiable physical constraints such as collision avoidance and motion smoothness. This combination yields coherent and controllable motion generation without post-hoc filtering or additional supervision. Experiments on real-world datasets HD-EPIC, EgoExo4D, and HOT3D show that EgoFlow outperforms diffusion-based and transformer baselines in accuracy, generalization, and physical realism, reducing collision rates by up to 79%, and strong generalization to unseen scenes. Our results highlight the promise of flow-based generative modeling for scalable and physically grounded egocentric motion understanding.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI