日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画生成arXiv:2609.38615

Exo2EgoHOI: 手と物体のインタラクションを考慮した三人称視点から一人称視点への動画生成

Exo2EgoHOI: Hand-Object-Interaction Aware Exocentric-to-Egocentric Video Generation

シェア:XThreadsFacebookLINEはてブBluesky

三人称視点の操作動画を一人称視点に変換する際、手と物体のインタラクションを保つための4D事前情報と物体中心のアテンション機構を導入した動画生成フレームワーク。

詳しい要約

1. どんなもの?

- Exo2EgoHOIは、第三者視点(exocentric)の操作動画を一人称視点(egocentric)動画へ変換する生成フレームワーク。 - 大規模なegocentric操作データ収集のコストを回避するため、豊富なexocentric動画を活用する狙い。 - 視点変化が大きい状況でもhand-object interaction (HOI) を保持することに焦点。 - ARCTIC-HOIとEgo-Exo4Dで評価。

2. 先行研究と比べてどこがすごい?

- 既存手法は大きな視点変化下でHOIを忠実に保持できず、細粒度のinteraction guidanceとobject-centric anchoringが不十分だった。 - 提案法はobject consistencyとHOI preservationを大幅改善。 - ARCTIC-HOIでobject mIoUを32.3%向上、MPJPEを34.7%、PA-MPJPEを50.0%削減(各best baseline比)。 - 視覚的忠実度も競争力を維持。

3. 技術・手法の肝は?

- 細粒度HOI保持のためunified 4D HOI priorを導入。 - scene geometry、articulated hand renderings、dense hand-object relation fieldsを統合。 - dual-branch residual adapterで構造・関係cueをvideo generation backboneへ注入。 - object consistency保持のためDecomposed Gated Cross-Attentionを導入。 - object参照とbackground参照を別々にencode。 - global semanticとlocal appearance特徴を適応的に統合しobject-centric anchorとする。

4. どうやって有効だと検証した?

- ARCTIC-HOIとEgo-Exo4Dの2データセットで実験。 - object consistencyとHOI preservationの改善を確認。 - ARCTIC-HOIでobject mIoU +32.3%、MPJPE -34.7%、PA-MPJPE -50.0%(各best baseline比)。 - 視覚的忠実度は競争力を維持。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、一般化性に関する議論は要旨に記載なし。

6. 次に読むべき論文は?

- ARCTIC-HOI、Ego-Exo4D(評価データセット)。 - exocentric-to-egocentric video generationの既存手法(baseline)。 - hand-object interaction (HOI) 認識・生成の関連研究。 - 4D HOI prior、articulated hand rendering、hand-object relation fieldの関連手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongjia Zhai, Xiyu Zhang, Haoran Zhang, Zhichao Ye, Haomin Liu, Guofeng Zhang, Ian Reid, Xingxing Zuo

分類: cs.CV, cs.AI

原文アブストラクト

Egocentric videos of human manipulation provide valuable visual experience for embodied intelligence, yet collecting such data at scale is costly. Exocentric-to-egocentric video generation offers a scalable alternative by transforming abundant third-person manipulation videos into first-person observations. However, existing methods often struggle to faithfully preserve demonstrated hand-object interactions (HOI) across large viewpoint changes due to insufficient fine-grained interaction guidance and weak object-centric anchoring. We present Exo2EgoHOI, an HOI-aware video generative framework for interaction-preserving exocentric-to-egocentric translation. To preserve fine-grained HOI, we introduce a unified 4D HOI prior that combines scene geometry, articulated hand renderings, and dense hand-object relation fields, together with a dual-branch residual adapter for injecting structural and relational cues into the video generation backbone. To preserve object consistency, we introduce Decomposed Gated Cross-Attention, which separately encodes object and background references and adaptively integrates global semantic and local appearance features as object-centric anchors. Experiments on ARCTIC-HOI and Ego-Exo4D demonstrate substantial improvements in object consistency and HOI preservation while maintaining competitive visual fidelity. In particular, on ARCTIC-HOI, Exo2EgoHOI improves object mIoU by 32.3% and reduces MPJPE and PA-MPJPE by 34.7% and 50.0%, respectively, relative to the respective best baseline results. Project page: https://rcl-robotics.github.io/Exo2EgoHOI/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI