日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.15279

見て、ズームして、理解する:身体性知覚のためのロボット眼球

Look, Zoom, Understand: The Robotic Eyeball for Embodied Perception

シェア:XThreadsFacebookLINEはてブBluesky

言語指示に基づきPTZカメラのパン・チルト・ズームを調整して最適な視野を得るVLAモデルEyeVLAを提案し、500サンプルで実世界適応を実現した。

詳しい要約

1. どんなもの?

- 言語誘導の能動的視覚知覚(language-guided active visual perception)タスクを扱う研究 - 単一の RGB 画像と自然言語指示を入力とし、実機 PTZ(pan-tilt-zoom)カメラの pan・tilt・zoom 調整を出力する - 提案手法 EyeVLA は視覚知覚・言語理解・物理的カメラ制御を単一の自己回帰型 vision-language-action モデルに統合したフレームワーク - 画素・空間予算制約下で「どこを・どのスケールで見るか」を能動的に決める embodied AI 向けの知覚基盤

2. 先行研究と比べてどこがすごい?

- 固定 RGB-D カメラと既存 vision モデルの組合せは、広域カバレッジと細粒度詳細取得の両立ができず open-world ロボティクスで限界があった - これに対し EyeVLA は PTZ カメラの pan・tilt・zoom を言語指示から直接制御し、能動的に情報獲得する点が新しい - 実世界サンプルわずか 500 件で open-world VLM の理解を embodied な能動知覚ポリシーへ転移できるデータ効率性を示す - 50 シーンの実世界評価で平均タスク完了率 96% を達成し、指示駆動の能動的視覚情報獲得の新パラダイムを提示

3. 技術・手法の肝は?

- 視覚・言語・行動を単一の自己回帰 vision-language-action モデルで統合 - 意味的に豊かで効率的な階層的行動エンコーディング(hierarchical action encoding)を導入 - 連続的なカメラ調整をコンパクトにトークン化し、VLM の語彙に埋め込んでマルチモーダル推論を共同実行 - データ効率パイプライン:pseudo-label 生成、IoU 制御による反復的データ精錬、GRPO(Group Relative Policy Optimization)による強化学習 - これらで事前学習済み VLM の open-world 理解を能動知覚ポリシーへ転移

4. どうやって有効だと検証した?

- 実世界 50 の多様なシーンで、独立した 5 回の評価ランを実施 - 平均タスク完了率 96% を達成したと報告 - 500 件の実世界サンプルのみでの学習で有効性を確認(データ効率の検証を含む) - 詳細なベースライン比較やアブレーションの内容は要旨からは不明

5. 議論はある?

- 固定カメラの限界に対し、PTZ 制御による能動知覚の有効性を主張 - 画素・空間予算制約下での情報獲得という枠組みを提示 - 500 サンプルでの転移と 96% の完了率を根拠にデータ効率と実用性を議論 - 失敗事例、限界、一般化性、計算コスト等の詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない - 関連手法として GRPO(Group Relative Policy Optimization) - 同分野の定番として vision-language-action モデル(VLA)、PTZ カメラ制御、active perception、pseudo-labeling 関連の研究を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiashu Yang, Yifan Han, Yucheng Xie, Ning Guo, Wenzhao Lian

分類: cs.RO, cs.CV

原文アブストラクト

In embodied AI, visual perception should be active rather than passive: the system must decide where to look and at what scale to sense to acquire maximally informative data under pixel and spatial budget constraints. Existing vision models coupled with fixed RGB-D cameras fundamentally fail to reconcile wide-area coverage with fine-grained detail acquisition, severely limiting their efficacy in open-world robotic applications. We study the task of language-guided active visual perception: given a single RGB image and a natural language instruction, the agent must output pan, tilt, and zoom adjustments of a real PTZ (pan-tilt-zoom) camera to acquire the most informative view for the specified task. We propose EyeVLA, a unified framework that addresses this task by integrating visual perception, language understanding, and physical camera control within a single autoregressive vision-language-action model. EyeVLA introduces a semantically rich and efficient hierarchical action encoding that compactly tokenizes continuous camera adjustments and embeds them into the VLM vocabulary for joint multimodal reasoning. Through a data-efficient pipeline comprising pseudo-label generation, iterative IoU-controlled data refinement, and reinforcement learning with Group Relative Policy Optimization (GRPO), we transfer the open-world understanding of a pre-trained VLM to an embodied active perception policy using only 500 real-world samples. Evaluations on 50 diverse real-world scenes across five independent evaluation runs demonstrate that EyeVLA achieves an average task completion rate of 96%. Our work establishes a new paradigm for instruction-driven active visual information acquisition in multimodal embodied systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI