ホーム › 論文 › 推論から動作へ流れる:一人称視点の人間インタラクション動画から3D手軌道予測を学習 手軌道予測 2025/12/1 arXiv:2512.16907
推論から動作へ流れる:一人称視点の人間インタラクション動画から3D手軌道予測を学習 Flowing from Reasoning to Motion: Learning 3D Hand Trajectory Prediction from Egocentric Human Interaction Videos
一人称視点のインタラクション動画を用いて、視覚言語推論と動作生成を軌道トークンで結びつけ、段階を考慮した3D手軌道を予測するフレームワークを提案。大規模データセットEgoMANも構築。
詳しい要約 1. どんなもの? - 3D hand trajectory prediction のための新データセット EgoMAN と、その上で学習するモデル EgoMAN を提案する研究。
- EgoMAN dataset: egocentric な人間の interaction 動画から構築した大規模データセット。
- 219K の 6DoF trajectories を含む。
- 3M の structured QA pairs を含み、semantic・spatial・motion reasoning を対象とする。
- interaction stage-aware な 3D hand trajectory prediction を目的とする。
- EgoMAN model: reasoning-to-motion framework。
- vision-language reasoning と motion generation を trajectory-token interface で結ぶ。
- 段階的に学習し、reasoning と motion d…
2. 先行研究と比べてどこがすごい? - 先行研究の課題を2点指摘している。
- データセット面: 既存データセットは motion と semantic supervision を切り離している。
- モデル面: 既存モデルは reasoning と action の結び付きが弱い。
- 提案の違い:
- EgoMAN dataset は semantic・spatial・motion reasoning の structured QA pairs を motion と共に提供する。
- EgoMAN model は trajectory-token interface により reasoning と motion generation を明示的に連結する。
- interaction stage-aware な予測と real-world scenes への generalization を狙う点が特徴。
- 具体的な先行研究名や定量的比較は要旨からは不明。
3. 技術・手法の肝は? - 核となる仕組みは reasoning-to-motion framework。
- vision-language reasoning の出力と motion generation を trajectory-token interface で橋渡しする。
- 学習は段階的(progressive)に行い、reasoning を motion dynamics に整合させる。
- データ面の肝:
- egocentric human interaction videos から 6DoF trajectories を抽出。
- semantic・spatial・motion reasoning に対応する structured QA pairs を構築。
- interaction stage を意識した(stage-aware)予測を可能にする設計。
- モデルアーキテクチャや trajectory-token の具体的定義は要旨からは不明。
4. どうやって有効だと検証した? - 要旨では、提案手法が accurate かつ stage-aware な trajectories を生成し、real-world scenes に generalization すると述べている。
- ただし、評価プロトコル・ベースライン・定量指標・実験設定の詳細は要旨からは不明。
- データセット規模(219K 6DoF trajectories、3M QA pairs)が検証基盤として示されている。
5. 議論はある? - 要旨からは不明。
- 想定される論点として、reasoning と motion の整合性の評価方法、stage-aware 予測の定義、real-world generalization の範囲が挙げられるが、本文の議論は要旨に記載がない。
6. 次に読むべき論文は? - 要旨で参照・比較されている具体的な先行研究名は記載がないため不明。
- 関連手法として、egocentric vision における hand trajectory prediction、vision-language reasoning を用いた action/motion generation、6DoF trajectory 表現、trajectory-token によるマルチモーダル接続の研究を次に読む候補として挙げる。
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Mingfei Chen , Yifan Wang , Zhengqin Li , Homanga Bharadhwaj , Yujin Chen , Chuan Qin , Ziyi Kou , Yuan Tian , Eric Whitmire , Rajinder Sodhi , Hrvoje Benko , Eli Shlizerman , Yue Liu
分類: cs.CV, cs.AI, cs.RO
原文アブストラクト Prior works on 3D hand trajectory prediction are constrained by datasets that decouple motion from semantic supervision and by models that weakly link reasoning and action. To address these, we first present the EgoMAN dataset, a large-scale egocentric dataset for interaction stage-aware 3D hand trajectory prediction with 219K 6DoF trajectories and 3M structured QA pairs for semantic, spatial, and motion reasoning. We then introduce the EgoMAN model, a reasoning-to-motion framework that links vision-language reasoning and motion generation via a trajectory-token interface. Trained progressively to align reasoning with motion dynamics, our approach yields accurate and stage-aware trajectories with generalization across real-world scenes.