日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚プランニングarXiv:2605.16848

パターンで考える:パターン誘導による視覚プランニングの知覚ボトルネックの打破

Thinking with Patterns: Breaking the Perceptual Bottleneck in Visual Planning via Pattern Induction

シェア:XThreadsFacebookLINEはてブBluesky

視覚入力からのプランニングにおけるVLMの知覚限界を、パターン誘導というオンライン帰納学習戦略で克服し、精度と効率のバランスを実現した論文。

詳しい要約

1. どんなもの?

- 視覚入力からの計画におけるVLMの知覚ボトルネックを解消する研究。 - Thinking with Images (TWI)を活用し、段階的に世界モデルを構築する訓練不要の計画戦略を提案。 - 効率化のため、Pattern InferenceとPattern Inductionを導入。 - FrozenLake, Crafter, CubeBenchで評価。

2. 先行研究と比べてどこがすごい?

- 従来のTWIは一般的な能力に留まり、計画領域での知覚ボトルネックが残る。 - 提案手法は訓練不要でVLMの初期能力を超えるタスクを解決可能。 - Pattern Inferenceにより既知の視覚パターンを能動的に認識し、効率的に局所世界モデルを推論。 - Pattern Inductionでオンライン帰納学習によりパターンを自律的に発見・最適化。

3. 技術・手法の肝は?

- TWIをツールとして段階的に正確な内部世界モデルを構築・反映。 - Pattern Inference: 新タスクで既知の視覚パターンを認識し、局所世界モデル構造を直接推論するTWI戦略。 - Pattern Induction: 視覚パターンを複合的・再利用可能なエキスパートとして扱い、経験から自律的に発見・最適化するオンライン帰納学習戦略。

4. どうやって有効だと検証した?

- FrozenLake, Crafter, CubeBenchの3領域で実験的評価を実施。 - 精度と効率のバランスが良いことを示した。

5. 議論はある?

- TWI操作が多すぎると計算オーバーヘッドが大幅に増加する。 - Pattern InferenceとPattern Inductionにより効率を改善。 - その他の議論や限界は要旨からは不明。

6. 次に読むべき論文は?

- Thinking with Images (TWI)に関する研究。 - FrozenLake, Crafter, CubeBenchの関連論文。 - 視覚計画や世界モデル構築の研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yichang Jian, Boyuan Xiao, Zhenyuan Huang, Yifei Peng, Yao-Xiang Ding

分類: cs.CV, cs.AI, cs.CL, cs.LG

原文アブストラクト

Planning from raw visual input remains a significant challenge for current Vision-Language Models (VLMs), when the complexity of input is beyond their one-step perception capability. Motivated by recent advances in Thinking with Images (TWI), a reasonable solution is to decompose the perception process into simpler steps by iteratively acquiring and incorporating local visual evidence. However, even though current VLMs are well-trained in general TWI ability, their perceptual bottleneck in the planning domain remains. To tackle this challenge, we formulate TWI as a tool to gradually build and reflect an accurate internal world model. We find that the resulting training-free planning strategy enables VLMs to solve tasks that are far beyond their initial capabilities, at the cost that too many TWI operations would significantly increase the computational overhead. To further improve efficiency, we propose Pattern Inference, a novel TWI strategy enabling VLMs to actively recognize known visual patterns in the new tasks and directly infer local world model structures. To obtain these patterns, we propose Pattern Induction, an online inductive learning strategy treating visual patterns as composite and reusable experts, which are autonomously discovered and optimized from experience. Experimental evaluations in FrozenLake, Crafter and CubeBench domains show that our approaches achieve a desirable balance between accuracy and efficiency.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI