日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.01943

ROVER: 視覚言語モデルによる身体性タスクのための動画再帰推論

ROVER: Recursive Reasoning Over Videos with Vision-Language Models for Embodied Tasks

シェア:XThreadsFacebookLINEはてブBluesky

長い動画を短いサブタスクに再帰的に分割し、視覚言語モデルが局所的なフレーム列を正確に推論できるようにするフレームワークROVERを提案。ロボット操作動画でのタスク進捗推定や動画QAで性能を向上させた。

詳しい要約

1. どんなもの?

- ROVER(Reasoning Over VidEo Recursively)は、Vision-Language Models(VLMs)が長い動画フレーム列を推論する能力を高めるフレームワーク。 - 長期的な video trajectory を短い subtask に対応する segment へ再帰的に分解し、各時点で局所的なフレーム列に焦点を当てて推論する。 - embodied 設定(連続する視覚入力の各時点での推論が必要)での利用を想定。 - in-context learning で実装され、OpenX Embodiment 動画や RoboCasa 由来の新データセットで評価される。

2. 先行研究と比べてどこがすごい?

- 従来の VLMs は多様な画像理解で高い能力を示すが、長いフレーム列の video reasoning は苦手で、embodied 設定での有用性が制限されていた。 - ROVER は trajectory を再帰的に segment へ分解することで、global context を失わずに時間的に局所化されたフレーム列へ集中して推論できる。 - 3つの video reasoning タスク(task progress estimation、frame-level natural language reasoning、video question answering)で強い baseline を上回る。 - 各 timestep で推論するフレーム数を減らすことで hallucination を緩和し、特に予期しない/非最適な場面で有効。 - subtask 固有の sliding context window により時間計算量が video 長に対して線形となり、baseline に対する漸近的改善を示す。

3. 技術・手法の肝は?

- 長期的な video trajectory を、より短い subtask に対応する segment へ再帰的に分解する枠組み。 - 各 segment について時間的に局所化されたフレーム列を推論しつつ、global context を保持する。 - in-context learning アプローチで実装。 - subtask 固有の sliding context window を可能にし、推論対象フレーム数を各 timestep で削減。 - これにより hallucination 抑制と時間計算量の線形化(video 長に対し)を狙う。

4. どうやって有効だと検証した?

- 多様な OpenX Embodiment 動画で評価。 - RoboCasa から派生した新データセット(27 の robotic manipulation タスク、expert と perturbed な non-expert trajectory を含む 543 動画)で評価。 - 3つの video reasoning タスク:task progress estimation、frame-level natural language reasoning、video question answering。 - これらのタスクで強い baseline を上回る性能を確認。 - 推論フレーム数削減により hallucination が緩和されることを観察。 - 時間計算量が video 長に対し線形にスケールすることを確認。

5. 議論はある?

- 各 timestep で推論するフレーム数を減らすことで hallucination を緩和し、特に trajectory の予期しない/非最適な場面で効果があると報告。 - subtask 固有の sliding context window により時間計算量が video 長に対し線形となり、baseline より漸近的に改善。 - 具体的な限界や失敗事例、分解の誤りに関する議論は要旨からは不明。 - 定量的な詳細や ablation の内容は要旨からは不明。

6. 次に読むべき論文は?

- OpenX Embodiment(評価に使用された動画データセット)。 - RoboCasa(新データセットの派生元)。 - Vision-Language Models(VLMs)全般。 - in-context learning を用いた video reasoning 手法。 - 比較対象の強い baseline の具体名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Philip Schroeder, Ondrej Biza, Thomas Weng, Hongyin Luo, James Glass

分類: cs.CL, cs.AI, cs.CV, cs.RO

原文アブストラクト

Vision-language models (VLMs) have exhibited impressive capabilities across diverse image understanding tasks, but still struggle in settings that require reasoning over extended sequences of camera frames from a video. This limits their utility in embodied settings, which require reasoning over long frame sequences from a continuous stream of visual input at each moment of a task attempt. To address this limitation, we propose ROVER (Reasoning Over VidEo Recursively), a framework that enables the model to recursively decompose long-horizon video trajectories into segments corresponding to shorter subtasks within the trajectory. In doing so, ROVER facilitates more focused and accurate reasoning over temporally localized frame sequences without losing global context. We evaluate ROVER, implemented using an in-context learning approach, on diverse OpenX Embodiment videos and on a new dataset derived from RoboCasa that consists of 543 videos showing both expert and perturbed non-expert trajectories across 27 robotic manipulation tasks. ROVER outperforms strong baselines across three video reasoning tasks: task progress estimation, frame-level natural language reasoning, and video question answering. We observe that, by reducing the number of frames the model reasons over at each timestep, ROVER mitigates hallucinations, especially during unexpected or non-optimal moments of a trajectory. In addition, by enabling the implementation of a subtask-specific sliding context window, ROVER's time complexity scales linearly with video length, an asymptotic improvement over baselines. Demos, code, and data available at: https://rover-vlm.github.io

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI