日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.00562

DeepLatent: 並列潜在視覚推論による画像思考

DeepLatent: Think with Images via Parallel Latent Visual Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルにおいて、画像を中間推論ステップに埋め込む「画像で考える」パラダイムを強化するため、並列に潜在視覚状態を生成するフレームワークDeepLatentを提案した。

詳しい要約

1. どんなもの?

- 画像を介した推論(thinking with images)を実現する新しい枠組み - 並列的な潜在視覚推論(parallel latent visual reasoning)を提案 - 既存のツール支援手法と潜在推論手法の課題を克服する - LatentFormerと連続空間強化学習を組み合わせる - 大規模データセットDeepLatent-180Kを構築 - 複数ベンチマークで最先端性能を達成

2. 先行研究と比べてどこがすごい?

- ツール支援手法:明示的視覚操作だが高遅延・操作種類限定 - 潜在推論手法:自己回帰的で暗黙的視覚状態を生成するが性能不足 - 潜在トークンが有効な視覚情報を捉えられない問題 - 提案手法は並列生成で遅延を削減しつつ、潜在表現品質を向上 - ツール支援手法を上回る性能を実現

3. 技術・手法の肝は?

- LatentFormer:学習可能な2Dトークンで文脈条件付き潜在状態を並列生成 - 各視覚更新を元画像特徴に直接アンカー - 連続空間強化学習:埋め込み空間で潜在変調パラメータを直接最適化 - 知識蒸留と連続空間RLの二段階学習 - 大規模データセットDeepLatent-180Kを活用

4. どうやって有効だと検証した?

- 複数のベンチマークで広範な評価を実施 - 最先端性能(state-of-the-art)を達成したと報告 - 具体的なベンチマーク名や比較手法は要旨からは不明

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:ツール支援手法(tool-assisted methods)、潜在推論手法(latent reasoning methods) - 関連手法:Vision-Language Models、knowledge distillation、continuous-space reinforcement learning - 同分野の定番:Visual Question Answering、Multimodal Reasoning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dongchen Lu, Zhimo Li, Mao Shu, Huo Cao

分類: cs.CV, cs.LG

原文アブストラクト

The emerging paradigm of "thinking with images" embeds visual states into intermediate reasoning steps, defining a new frontier for Vision-Language Models. Existing approaches diverge along two lines. Tool-assisted methods apply explicit visual operations but suffer from high latency and restricted manipulation types. Latent reasoning methods autoregressively produce implicit visual states, but underperform tool-assisted methods, and their latent tokens fail to capture effective visual information. In this work, we propose DeepLatent, a parallel framework for latent visual reasoning. First, we introduce LatentFormer. It uses learnable 2D tokens to generate context-conditioned latent states in parallel, anchoring every visual update directly in the original image features. Second, we design a continuous-space reinforcement learning algorithm. It optimizes latent modulation parameters directly in the embedding space, significantly improving latent representation quality. The framework is trained via knowledge distillation followed by this continuous-space RL algorithm. Furthermore, we contribute DeepLatent-180K, a large-scale dataset tailored for latent visual reasoning. Extensive evaluations across multiple benchmarks demonstrate that DeepLatent achieves state-of-the-art performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI