AGILE: エージェント生成による動画からの手と物体のインタラクション再構築

- 単眼動画から動的な hand-object interaction を再構成するフレームワーク AGILE を提案。 - 再構成ではなく agentic generation へパラダイムを移行。 - 目的は dexterous manipulation のデータ収集や robotics/VR 向け digital twin 作成。 - 生成した asset は simulation-ready で real-to-sim retargeting に検証。

- 従来は neural rendering 依存で、heavy occlusion 下で断片的・非 simulation-ready な geometry になりがち。 - 従来は脆い SfM 初期化に依存し、in-the-wild 映像で頻繁に失敗。 - AGILE は VLM 誘導の生成で完全・watertight な mesh を occlusion 非依存で合成。 - SfM を完全に回避する anchor-and-track 戦略で頑健性を実現。

- agentic pipeline: Vision-Language Model (VLM) が generative model を誘導し、高忠実 texture 付き watertight object mesh を合成。 - anchor-and-track: 単一の interaction onset frame で foundation model により object pose を初期化し、生成 asset と動画観測の視覚類似性で時間伝播。 - contact-aware optimization: semantic・geometric・interaction stability の制約を統合し物理的妥当性を強制。

- HO3D, DexYCB, ARCTIC, in-the-wild videos で広範な実験。 - グローバルな幾何精度で baselines を上回る。 - 従来手法が崩壊する困難なシーケンスで exceptional robustness を示す。 - real-to-sim retargeting により simulation-ready asset を検証。

- 物理的妥当性を優先することで simulation-ready asset を生成。 - 従来の neural rendering や SfM 依存の限界を克服。 - 具体的な制約や失敗ケース、計算コストは要旨からは不明。

- 要旨で参照/比較されている研究: neural rendering ベースの hand-object interaction 再構成、Structure-from-Motion (SfM) 初期化手法。 - 関連データセット: HO3D, DexYCB, ARCTIC。 - 関連手法: Vision-Language Model (VLM), generative model, foundation model, contact-aware optimization, real-to-sim retargeting。