日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.39195

Uruqi: 視覚体験から空間認知を学習する

Uruqi: Learning Spatial Cognition from Visual Experience

シェア:XThreadsFacebookLINEはてブBluesky

移動するエージェントの視覚体験を模した合成データでVLMを訓練し、自己運動の追跡と周囲の地図構築という空間認知能力を大幅に向上させた。

詳しい要約

1. どんなもの?

- 視覚言語モデル(VLM)の空間知能を高める研究。 - 身体を持つエージェントが移動しながら世界を一貫して理解する能力を扱う。 - 自己運動の追跡と周囲世界のマッピングという2つの原子的空間能力に着目。 - 連続的に動くエージェントの視覚経験を模した密なマルチターン監督を提供。 - 11,738のmotif-driven camera trajectoriesを合成し、3Dシーンで学習。 - URUQI$_{\mathrm{Syn}}$-8BとURUQI-SI-Mix-8Bを提案。

2. 先行研究と比べてどこがすごい?

- 従来のspatial post-trainingはVLMの空間知能を広げたが、自己運動追跡と運動中の世界マッピングは未解決。 - 本研究は各訓練エピソード内で原子的能力を交互に密に監督する点が新しい。 - 合成データのみで学習したURUQI$_{\mathrm{Syn}}$-8Bが、backboneのInternVL3-8Bに対し3つの外部空間ベンチマークで平均相対精度17.13%改善。 - URUQI-SI-Mix-8Bは50.41%に達し、GPT-6 Astraの50.08%に匹敵。

3. 技術・手法の肝は?

- 連続移動エージェントの視覚経験を模し、観察と推論を交互に行う密なマルチターン監督を設計。 - 11,738のmotif-driven camera trajectoriesを多様な3Dシーン上で合成。 - 各視覚経験内で自己運動追跡、持続的物体マッピング、豊富な空間操作を支援。 - 原子的質問への推論を訓練することで空間認知を獲得。 - 詳細なモデルアーキテクチャや学習手順は要旨からは不明。

4. どうやって有効だと検証した?

- Uruqi benchmark(52k質問、2.7kエピソード)で評価。 - URUQI$_{\mathrm{Syn}}$-8Bは精度15.84%から47.73%へ改善。 - URUQI-SI-Mix-8Bは50.41%に到達し、GPT-6 Astraの50.08%と比較可能。 - 合成データのみで学習したURUQI$_{\mathrm{Syn}}$-8Bが、InternVL3-8B backboneに対し3つの外部空間ベンチマークで平均相対精度17.13%改善。

5. 議論はある?

- 連続視覚経験がVLMの空間認知発達のためのスケーラブルな監督源であることを示唆。 - 限界や失敗事例、計算コスト、一般化可能性に関する議論は要旨からは不明。 - 倫理的影響や実世界応用の課題も要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: spatial post-training、vision-language models (VLMs)、InternVL3-8B、GPT-6 Astra。 - 関連手法: 3Dシーン合成、camera trajectories生成、マルチターン監督。 - 同分野の定番: 空間推論ベンチマーク、embodied AI、visual navigation。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shichao Li, Meiqi Wang, Fei Su, Zhicheng Zhao

分類: cs.CV

原文アブストラクト

Spatial intelligence requires maintaining a coherent understanding of the world as the embodied agent moves. Like humans, the agent must use its own motion to interpret changes across observations and update object locations and spatial relations accordingly. Despite spatial post-training having substantially broadened the spatial intelligence of vision-language models (VLMs), they still struggle with two atomic spatial capabilities: tracking self-motion and mapping the surrounding world during motion. To address this gap, we provide dense multi-turn supervision over interleaved atomic capabilities within each training episode, mimicking the visual experience of a continuously moving agent that reasons as it observes. To scale this up, we synthesize 11,738 motif-driven camera trajectories over a broad range of 3D scenes, supporting self-motion tracking, persistent object mapping, and rich spatial operations within each visual experience. By training models to reason over these atomic questions, our URUQI$_{\mathrm{Syn}}$-8B improves accuracy from 15.84% to 47.73% on our Uruqi benchmark comprising 52k questions across 2.7k episodes. URUQI-SI-Mix-8B further reaches 50.41%, comparable to the 50.08% achieved by GPT-6 Astra. Trained solely on our synthesized data, URUQI$_{\mathrm{Syn}}$-8B achieves an average relative accuracy improvement of 17.13% over its InternVL3-8B backbone across three external spatial benchmarks. These results highlight continuous visual experience as a scalable source of supervision for developing spatial cognition in VLMs.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI