日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.04046

シーンへのダイブ:焦点プラン生成による視覚言語意思決定における知覚ボトルネックの打破

Dive into the Scene: Breaking the Perceptual Bottleneck in Vision-Language Decision Making via Focus Plan Generation

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作やナビゲーションなどの視覚言語意思決定タスクにおいて、VLMとVLAの知覚ボトルネック(視覚的幻覚)を軽減するため、粗から精への焦点プラン生成法SceneDiverを提案した。

詳しい要約

1. どんなもの?

- ロボット操作や navigation などの embodied vision-language decision making タスクを対象とした研究。 - VLM と VLA の両方が抱える visual hallucination という知覚的ボトルネックの解消を目指す。 - SceneDiver という coarse-to-fine の focus plan generation 手法を提案。 - VLM の長期計画能力を活用し、VLA には軽量 adapter で focus 能力を蒸留する。

2. 先行研究と比べてどこがすごい?

- VLM は長期計画、VLA は reactive control に強いという既存の利点を踏まえ、両者に共通する知覚的ボトルネックに着目。 - 単純な one-step focus では不十分であることを示し、深い scene understanding が必要だと主張。 - 従来の直接注目型アプローチと異なり、coarse-to-fine で段階的に focus plan を生成する点が新しい。 - VLM と VLA の両方に対して visual hallucination を大幅に削減しつつ計算効率を維持する点が優位。

3. 技術・手法の肝は?

- SceneDiver は coarse-to-fine の focus plan generation 手法。 - まず holistic な scene graph を構築し、初期理解を得る。 - 次に recognition, understanding, analysis の反復サイクルでタスクを単純な sub-problem に段階的に分解。 - VLA の reactive control を可能にするため、軽量 adapter を設計し、意図的な focus 能力を蒸留する。

4. どうやって有効だと検証した?

- 標準的な embodied AI benchmarks で評価を実施。 - VLM と VLA の両方で visual hallucination が大幅に減少することを確認。 - 高速実行が求められるタスクでも計算効率が維持されることを確認。 - コードとデータは https://future-item.github.io/SceneDiver で公開。

5. 議論はある?

- 要旨からは不明。 - ただし one-step focus が効果的でない理由として、効果的な focus には深い scene understanding が本質的に必要である点が議論の出発点として示唆されている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として VLM, VLA, scene graph, knowledge distillation が挙げられる。 - 同分野の定番として robotic manipulation, navigation, embodied AI benchmarks に関する研究が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Boyuan Xiao, Bohong Chen, Yumeng Li, Ji Feng, Yao-Xiang Ding, Kun Zhou

分類: cs.CV, cs.AI, cs.CL, cs.LG, cs.RO

原文アブストラクト

In embodied vision-language decision making tasks such as robotic manipulation and navigation, Vision-Language and Vision-Language-Action Models (VLMs & VLAs) are powerful tools with different benefits: VLMs are better at long-term planning, while VLAs are better at reactive control. However, their performance is limited by the same perceptual bottleneck: visual hallucinations arise due to the models' inability to distinguish task-relevant objects from distractors. In principle, accurate identification and focus on critical objects while filtering out irrelevant ones is the key to break this limitation. A straightforward solution is one-step focus: directly attending to essential objects. However, this approach proves ineffective because effective focus inherently requires deep scene understanding. To this end, we propose SceneDiver, a coarse-to-fine focus plan generation method for VLMs leveraging their long-term planning abilities, that first constructs a holistic scene graph to establish initial comprehension, then progressively decomposes the task into simpler sub-problems through an iterative cycle of recognition, understanding, and analysis. To enable reactive control, we also design a lightweight adapter for distilling the deliberate focus ability into VLAs. Evaluations on standard embodied AI benchmarks confirm that our method substantially reduces visual hallucinations for both VLMs and VLAs, while preserving computational efficiency in tasks requiring fast execution. Our code and data are released at: https://future-item.github.io/SceneDiver.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI