日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

行動認識arXiv:2511.05622

3D人間ポーズで基盤視覚モデルを接地させたロバスト行動認識

Grounding Foundational Vision Models with 3D Human Poses for Robust Action Recognition

シェア:XThreadsFacebookLINEはてブBluesky

V-JEPA 2の予測的世界ダイナミクスとCoMotionの遮蔽に強い3D人間ポーズを融合し、物理空間に接地した行動認識モデルを提案。高遮蔽シーンで既存手法を上回る。

詳しい要約

1. どんなもの?

- 物理空間に接地した行動認識モデルを提案する研究 - RGB video の統計的相関に依存する従来型の限界を問題視 - V-JEPA 2 の予測的な world dynamics と CoMotion の明示的で occlusion に頑健な human pose データを融合 - 身体動作と物理的相互作用の理解を目指すアーキテクチャ

2. 先行研究と比べてどこがすごい?

- 従来の RGB video ベース行動認識は pattern と action label の表面的相関を学習しがち - 本研究は物理空間の理解に基づく行動認識へ転換を図る点が新しい - V-JEPA 2 と CoMotion という相補的な2表現を統合する枠組みを提示 - 複雑で occlusive な場面での性能向上を狙う点が先行研究との差異

3. 技術・手法の肝は?

- V-JEPA 2 による文脈的・予測的な world dynamics を利用 - CoMotion による明示的で occlusion に耐性のある human pose データを利用 - 上記2つの表現を fusion するモデルアーキテクチャが肝 - 物理空間に grounded した行動認識を実現する設計 - 詳細な fusion 機構や学習手順は要旨からは不明

4. どうやって有効だと検証した?

- 一般行動認識の InHARD benchmark で検証 - 高 occlusion 行動認識の UCF-19-Y-OCC benchmark で検証 - 3つの他の baseline と比較し、提案モデルが優位 - 特に複雑で occlusive な scene において有効性を確認

5. 議論はある?

- 行動認識は統計的 pattern recognition ではなく spatial understanding に支えられる必要があると主張 - 物理空間への grounding の重要性を強調 - occlusion 下での頑健性が議論の焦点 - 具体的な失敗事例や限界、計算コスト等の議論は要旨からは不明

6. 次に読むべき論文は?

- V-JEPA 2(world dynamics 表現の基盤) - CoMotion(occlusion 耐性のある human pose データ) - InHARD benchmark 関連研究 - UCF-19-Y-OCC benchmark 関連研究 - RGB video ベースの一般的な action recognition 手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nicholas Babey, Tiffany Gu, Yiheng Li, Cristian Meo, Kevin Zhu

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

For embodied agents to effectively understand and interact within the world around them, they require a nuanced comprehension of human actions grounded in physical space. Current action recognition models, often relying on RGB video, learn superficial correlations between patterns and action labels, so they struggle to capture underlying physical interaction dynamics and human poses in complex scenes. We propose a model architecture that grounds action recognition in physical space by fusing two powerful, complementary representations: V-JEPA 2's contextual, predictive world dynamics and CoMotion's explicit, occlusion-tolerant human pose data. Our model is validated on both the InHARD and UCF-19-Y-OCC benchmarks for general action recognition and high-occlusion action recognition, respectively. Our model outperforms three other baselines, especially within complex, occlusive scenes. Our findings emphasize a need for action recognition to be supported by spatial understanding instead of statistical pattern recognition.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI