日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.08325

ActiveVLA: 能動的知覚を視覚-言語-行動モデルに統合した高精度3Dロボットマニピュレーション

ActiveVLA: Injecting Active Perception into Vision-Language-Action Models for Precise 3D Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

静的な手首カメラに頼る従来のVLAモデルに対し、重要領域の特定と能動的な視点選択・3Dズームインを行う2段階の枠組みを導入し、長期的・微細な操作精度を向上させた。

詳しい要約

1. どんなもの?

- 目的 - ロボットマニピュレーションの高精度化 - 能動的知覚(active perception)の導入 - 対象 - VLA(vision-language-action)パラダイム - 3D空間信号を活用する手法 - 提案 - ActiveVLAという新フレームワーク - 粗から細への2段階パラダイム - 構成 - 第1段階: 重要領域の特定 - 第2段階: 能動的知覚の最適化 - 効果 - 長期的タスクや微細操作の性能向上を狙う

2. 先行研究と比べてどこがすごい?

- 従来の課題 - 静的で手首装着カメラに依存 - エンドエフェクタ中心の視点 - 視点や解像度を適応的に選べない - 制限 - 長期的タスクで性能が制限 - 微細操作で性能が制限 - 提案の優位性 - 能動的知覚をVLAに導入 - 最適視点と解像度を動的に選択 - 遮蔽を最小化し、amodal relevanceとdiversityを最大化 - 3D zoom-inで重要領域の解像度向上 - 結果 - 3つのシミュレーションベンチマークでSOTAを上回る - 実世界シナリオへシームレスに転移

3. 技術・手法の肝は?

- 全体 - 粗から細への2段階パラダイム - 第1段階: Critical region localization - 3D入力を多視点2D投影に変換 - 重要な3D領域を特定 - 動的な空間認識を支援 - 第2段階: Active perception optimization - 特定した重要領域に基づく - 能動的視点選択戦略 - 最適視点を選択 - 目的: amodal relevanceとdiversityを最大化 - 目的: 遮蔽を最小化 - 3D zoom-inを適用 - 重要領域の解像度を向上 - 結果 - より細粒度の能動的知覚を実現

4. どうやって有効だと検証した?

- 実験 - 広範な実験を実施 - ベンチマーク - 3つのシミュレーションベンチマーク - 比較 - state-of-the-artベースラインと比較 - 結果 - 正確な3Dマニピュレーションを達成 - 3つのシミュレーションベンチマークでSOTAを上回る - 実世界 - 実世界シナリオへシームレスに転移 - 複雑環境で高精度タスクを学習可能

5. 議論はある?

- 主張 - 能動的知覚の重要性 - 静的視点の限界 - 課題 - 長期的タスクと微細操作の性能制限 - 解決策 - 能動的視点選択と3D zoom-in - 検証 - シミュレーションと実世界で有効性を示す - 限界 - 具体的な失敗事例や計算コストは要旨からは不明 - 実世界での詳細な評価指標は要旨からは不明

6. 次に読むべき論文は?

- 関連研究 - pre-trained vision-language models (VLMs) - vision-language-action (VLA) パラダイム - 3D spatial signalsを統合する手法 - 比較対象 - 静的で手首装着カメラを用いる既存手法 - state-of-the-artベースライン - 同分野の定番 - ロボットマニピュレーションにおけるVLA研究 - 能動的知覚(active perception)研究 - 3D視覚と言語を統合する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenyang Liu, Yongchong Gu, Yikai Wang, Xiangyang Xue, Yanwei Fu

分類: cs.RO

原文アブストラクト

Recent advances in robot manipulation have leveraged pre-trained vision-language models (VLMs) and explored integrating 3D spatial signals into these models for effective action prediction, giving rise to the promising vision-language-action (VLA) paradigm. However, most existing approaches overlook the importance of active perception: they typically rely on static, wrist-mounted cameras that provide an end-effector-centric viewpoint. As a result, these models are unable to adaptively select optimal viewpoints or resolutions during task execution, which significantly limits their performance in long-horizon tasks and fine-grained manipulation scenarios. To address these limitations, we propose ActiveVLA, a novel vision-language-action framework that empowers robots with active perception capabilities for high-precision, fine-grained manipulation. ActiveVLA adopts a coarse-to-fine paradigm, dividing the process into two stages: (1) Critical region localization. ActiveVLA projects 3D inputs onto multi-view 2D projections, identifies critical 3D regions, and supports dynamic spatial awareness. (2) Active perception optimization. Drawing on the localized critical regions, ActiveVLA uses an active view selection strategy to choose optimal viewpoints. These viewpoints aim to maximize amodal relevance and diversity while minimizing occlusions. Additionally, ActiveVLA applies a 3D zoom-in to improve resolution in key areas. Together, these steps enable finer-grained active perception for precise manipulation. Extensive experiments demonstrate that ActiveVLA achieves precise 3D manipulation and outperforms state-of-the-art baselines on three simulation benchmarks. Moreover, ActiveVLA transfers seamlessly to real-world scenarios, enabling robots to learn high-precision tasks in complex environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI