日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

一人称視点行動認識arXiv:2611.07673

物体と視覚言語アフォーダンスを用いた一人称視点行動認識

Egocentric Action Recognition with Objects and Vision-Language Affordances

シェア:XThreadsFacebookLINEはてブBluesky

一人称動画の行動認識において、物体のアフォーダンスを視覚言語モデルでゼロショット生成し、映像専門家と物体専門家を後期融合することで認識精度を向上させた研究。

詳しい要約

1. どんなもの?

- egocentric video における action recognition の新手法を提案した研究 - 対象は調理や作業など手元視点の動画で、物体とその affordance を活用する - 応用として高齢者の日常生活モニタリングや作業支援を想定 - frozen な SlowFast 映像 expert と attention ベースの object expert を late fusion で統合 - 物体は vision-language model が zero-shot 生成する affordance で表現する

2. 先行研究と比べてどこがすごい?

- 従来手法は RGB video や depth など視覚 modality に依存し、egocentric video で action を大きく規定する物体をほとんどモデル化していない - 本研究は物体とその affordance を明示的に組み込み、映像 expert と融合する点が新しい - MECCANO で video expert 単体の Top-1 44.9% を、物体導入で 49.0%、2 種の affordance で 49.9% へ向上 - SlowFast や object-aware な RGB baseline を上回ったと報告 - 物体検出由来の誤検出問題に対し、interaction affordance で非 active 物体を除去する工夫がある

3. 技術・手法の肝は?

- frozen の SlowFast を映像 expert として使用 - attention ベースの object expert を別途構築し、late fusion で統合 - 各物体は vision-language model により zero-shot で生成した affordance(その物体で何ができるか)で表現 - 同じ vision-language model で interaction affordance を生成し、手が各検出物体を操作しているかを判定して非 active 検出を除去 - 学習は annotated boxes で行い、評価は公式 active-object detector の検出と annotated boxes(upper bound)の両方で実施

4. どうやって有効だと検証した?

- MECCANO データセットで評価 - annotated boxes 使用時は fusion で Top-1 68.4%、detections 使用時は 49.0% - この低下の約半分は non-active detections に由来すると分析 - interaction affordance により非 active 検出を除去 - 結果として video expert の 44.9% から 49.0%、さらに 2 種 affordance で 49.9% へ改善し、SlowFast および object-aware RGB baseline を上回った

5. 議論はある?

- annotated boxes と detections の間の大きな性能差(68.4% 対 49.0%)が課題として示される - 性能低下の約半分は non-active detections によるもので、interaction affordance で対処するが完全には解消していない - annotated boxes を用いた評価は upper bound としての位置づけ - それ以外の限界や議論は要旨からは不明

6. 次に読むべき論文は?

- SlowFast(映像 expert の基盤手法) - MECCANO(評価データセット) - vision-language model を用いた affordance 生成の関連研究 - object-aware な RGB baseline 手法 - egocentric action recognition における物体検出・active-object detection の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Raúl Boix-Aldeguer, Manuel Benavent-Lledo, David Ortiz-Perez, Jose Garcia-Rodriguez

分類: cs.CV

原文アブストラクト

Action recognition, and more specifically egocentric action recognition, is a core task in computer vision, with applications such as monitoring the daily life activities of elderly people and task assistance. Recent methods rely on visual modalities such as RGB video or depth. However, in egocentric video, an action is largely defined by its objects, which these methods rarely model. We propose a method that combines a frozen SlowFast video expert with an attention-based object expert by late fusion. Each object is represented with its affordances, that is, what can be done with it, generated zero-shot by a vision-language model. Since datasets such as MECCANO annotate only the objects involved in each action, evaluating with these boxes tells the model which objects are active. We therefore train on annotated boxes and evaluate the method with detections from the official active-object detector, and with annotated boxes as an upper bound. Without affordances, our fusion reaches 68.4% Top-1 with annotated boxes but 49.0% with detections. About half of this drop comes from non-active detections. To remove them, the same vision-language model generates an interaction affordance that decides whether a hand is manipulating each detected object. On MECCANO, objects raise the Top-1 of the video expert from 44.9% to 49.0%, and the two affordances raise it to 49.9%, above SlowFast and object-aware RGB baselines. Code will be released upon acceptance.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI