日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.22283

視覚言語行動モデルにおける視野外操作のための空間記憶

Spatial Memory for Out-of-Vision Manipulation in Vision-Language-Action

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルに、可動カメラの多視点観測から構築した空間記憶を組み込み、視野外の物体操作を可能にするフレームワークSOMAを提案した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデル向けの Spatial Memory フレームワーク SOMA を提案。 - タスク関連物体がカメラの視野外にある場合の out-of-vision manipulation を対象。 - 可動ヘッドカメラによる multi-view 観測から persistent spatial memory を構築。 - 現在の視錐台を超えた推論を可能にする。

2. 先行研究と比べてどこがすごい?

- 既存 VLA はタスク関連物体が常に可視であると暗黙に仮定。 - 視野外のターゲットに対して脆弱で反応的な行動に留まる。 - SOMA は視野外でも空間記憶に基づく能動的・先行的な操作を実現。 - 部分観測下でターゲット定位の高速化、視点探索の削減、ほぼ one-shot grasping を誘発。

3. 技術・手法の肝は?

- Spatial Memory Construction: 走査により角度方向の観測を統合し spatial-semantic representation を構築。 - Dynamic Memory Refinement: 時間経過にわたり global consistency を維持。 - Contextual Memory Retrieval: 操作中に指示に関連する spatial cues を活性化。 - 可動ヘッドカメラの multi-view 観測を活用。

4. どうやって有効だと検証した?

- 5 つの挑戦的な実世界 out-of-vision manipulation タスクで評価。 - ターゲットが初期状態で不可視の multi-step および dual-arm シナリオを含む。 - タスク成功率の向上と質的に異なる操作行動を確認。 - RoboCasa GR1 と SimplerEnv での追加実験により、通常の fully observable 設定でも有効性を検証。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、スケーラビリティに関する議論は記載なし。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) モデル、RoboCasa GR1、SimplerEnv が挙げられる。 - 同分野の定番として RT-1、RT-2、Octo などが考えられるが、要旨に記載はない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pengteng Li, Weiyu Guo, He Zhang, Tiefu Cai, Xiao He, Yandong Guo, Hui Xiong

分類: cs.RO

原文アブストラクト

We introduce SOMA, the Spatial Memory framework for Out-of-Vision Manipulation in Vision-Language-Action (VLA) models. Most existing VLAs implicitly assume that task-relevant objects are always visible, leading to brittle and reactive behaviors when targets fall outside the camera's field of view. SOMA addresses this limitation by equipping VLAs with a persistent spatial memory constructed from multi-view observations acquired via a movable head camera, enabling reasoning beyond the current visual frustum. The framework consists of three components: Spatial Memory Construction, which aggregates angular-wise observations into a unified spatial-semantic representation through scanning; Dynamic Memory Refinement, which maintains global consistency over time; and Contextual Memory Retrieval, which activates instruction-relevant spatial cues during manipulation. We evaluate SOMA on five challenging real-world out-of-vision manipulation tasks, including multi-step and dual-arm scenarios where target objects are initially invisible. Experimental results show that SOMA not only improves task success rates, but also induces qualitatively different manipulation behaviors, with faster target localization, reduced viewpoint search, and near one-shot grasping under partial observability. Additional experiments on RoboCasa GR1 and SimplerEnv further validate the effectiveness of SOMA's memory design under conventional fully observable settings. Code will be released soon.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI