日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

時系列接地/自己中心視点arXiv:2606.02962

自己中心視点の自然言語クエリ接地のための手の軌跡融合

Hand Trajectory Fusion for Egocentric Natural Language Query Grounding

シェア:XThreadsFacebookLINEはてブBluesky

自己中心視点の長い動画から自然言語クエリに対応する時間区間を特定するタスクで、手の骨格軌跡をエンコードして映像・テキスト特徴と融合する手法を提案し、Ego4Dデータセットで精度向上を確認した。

詳しい要約

1. どんなもの?

- 一人称視点の長尺動画から自由記述のテキストクエリに該当する時間区間を特定する Egocentric Natural Language Query (NLQ) grounding タスクを扱う。 - 既存手法は動画の見た目とクエリを融合するが手の動きを無視している。 - 約41%の Ego4D NLQ クエリが手と物体の操作やその直後の結果の瞬間に答えられる点に着目。 - 手の骨格系列を意味的な hand kinematic features に変換し、事前学習済み video-text features と cross-attention fusion で統合する手法を提案。

2. 先行研究と比べてどこがすごい?

- 従来の NLQ grounding は video appearance と query の融合に依存し、hand motion を活用していなかった。 - 提案手法は hand trajectory を新たな手がかりとして導入し、見た目だけでは捉えにくい操作や状態変化の手がかりを補う。 - Ego4D NLQ v2 validation split で Hand-Object Interaction クエリ (+2.54 R1@IoU=0.3) と Quantity/State クエリ (+4.32 R1@IoU=0.3) の明確な改善を示す。

3. 技術・手法の肝は?

- 手の骨格系列を入力とし、高度に意味的な hand kinematic features に変換する hand-trajectory encoder を提案。 - 得られた特徴を事前学習済み video-text features とアラインメントし、cross-attention fusion strategy と adaptive gating で組み合わせる。 - これにより手の動きに基づく grounding 手がかりを外観特徴に統合する。

4. どうやって有効だと検証した?

- Ego4D NLQ v2 validation split で評価。 - Hand-Object Interaction クエリで +2.54 R1@IoU=0.3、Quantity/State クエリで +4.32 R1@IoU=0.3 の改善を確認。 - 手の軌跡が外観だけでは得られない grounding 手がかりを提供することを示す。

5. 議論はある?

- 手の動きが有効な手がかりとなるクエリカテゴリ(Hand-Object Interaction, Quantity/State)で特に利得が大きい。 - 一方、他のカテゴリや全体的な性能への影響、計算コスト、一般化可能性については要旨からは不明。 - 手の軌跡が外観を超える手がかりを提供するという主張が中心。

6. 次に読むべき論文は?

- Ego4D NLQ ベースライン手法(既存の video-text fusion 手法) - Ego4D データセットおよび NLQ v2 ベンチマーク - hand-object interaction 認識や hand pose estimation の関連研究 - cross-attention fusion や adaptive gating を用いたマルチモーダル動画理解手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Enmin Zhong, Carlos R. del-Blanco, Fernando Jaureguizar, Narciso García

分類: cs.CV, cs.AI, cs.HC, eess.IV

原文アブストラクト

Egocentric Natural Language Query (NLQ) grounding asks a model to localize, in a long first-person video, the temporal interval that answers a free-form text query. Existing methods fuse video appearance with the query but ignore hand motion, despite the fact that roughly 41% of Ego4D NLQ queries are answered at a moment of hand--object manipulation or their immediate outcomes.We propose a hand-trajectory encoder for converting a sequence of hand skeletons into highly-semantic hand kinematic features, which are then aligned and combined with pretrained video--text features through a cross-attention fusion strategy with adaptive gating. On the Ego4D NLQ v2 validation split, the clearest gains appear for Hand-Object Interaction queries (+2.54 R1@IoU=0.3) and Quantity/State queries (+4.32 R1@IoU=0.3), indicating that hand trajectory provides grounding cues beyond appearance alone.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI