日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.12939

RoboStream: 視覚言語モデルに時空間推論と記憶を統合したロボット操作フレームワーク

RoboStream: Weaving Spatio-Temporal Reasoning with Memory in Vision-Language Models for Robotics

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルに時空間融合トークンと因果時空間グラフを導入し、長期ロボット操作における幾何学的定位と行動による状態変化の記憶を訓練なしで実現する。

詳しい要約

1. どんなもの?

- VLM-based plannerによる長期的なロボット操作のためのフレームワーク - 各ステップを独立した観察と行動のマッピングとして扱う従来の問題を解決 - 人間の持続的な心的モデルに着想を得た training-free なアプローチ - Spatio-Temporal Fusion Tokens (STF-Tokens) と Causal Spatio-Temporal Graph (CSTG) を導入 - 長期的な操作タスクにおける空間的・時間的推論と記憶を実現

2. 先行研究と比べてどこがすごい?

- 従来のVLM-based plannerは各ステップを孤立した観察として扱い、シーン幾何を再推論 - 過去の行動が環境をどう変えたかを認識しない - 短期的な性能は高いが、長期的な空間的・時間的推論と記憶が欠如 - 知覚誤差が蓄積し、一時的に遮蔽された物体を忘れ、前提条件違反が連鎖 - RoboStreamは追加の訓練や微調整なしでこれらの問題を解決

3. 技術・手法の肝は?

- Spatio-Temporal Fusion Tokens (STF-Tokens) により視覚証拠を3D幾何属性に結びつけ、持続的な物体グラウンディングを実現 - Causal Spatio-Temporal Graph (CSTG) により行動によって引き起こされた状態遷移を記録し、因果的連続性を維持 - これによりプランナーは因果連鎖を追跡し、遮蔽下でも物体の永続性を保持 - training-free で追加の訓練や微調整が不要

4. どうやって有効だと検証した?

- 長期的なRLBenchで90.5%の成功率を達成 - 挑戦的な実世界のブロック構築タスクで44.4%を達成 - 比較手法のSoFarとVoxPoserは両方とも11.1%にとどまる - 空間的・時間的推論と因果的記憶が信頼性の高い長期的操作に不可欠であることを実証

5. 議論はある?

- 従来のVLM-based plannerの限界を指摘 - 知覚誤差の蓄積、遮蔽物体の忘却、前提条件違反の連鎖が問題 - 人間の持続的な心的モデルとの対比 - 空間的・時間的推論と因果的記憶が欠けている重要な要素であると主張 - 具体的な議論や限界については要旨からは不明

6. 次に読むべき論文は?

- SoFar (比較対象) - VoxPoser (比較対象) - RLBench (ベンチマーク) - VLM-based planner に関する研究 - 長期的ロボット操作に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuzhi Huang, Jie Wu, Weijue Bu, Ziyi Xiong, Gaoyang Jiang, Ye Li, Kangye Ji, Shuzhao Xie, Yue Huang, Chenglei Wu, Jingyan Jiang, Zhi Wang

分類: cs.RO

原文アブストラクト

Enabling reliable long-horizon robotic manipulation is a crucial step toward open-world embodied intelligence. However, VLM-based planners treat each step as an isolated observation-to-action mapping, forcing them to reinfer scene geometry from raw pixels at every decision point while remaining unaware of how prior actions have reshaped the environment. Despite strong short-horizon performance, these systems lack the spatio-temporal reasoning required for persistent geometric anchoring and memory of action-triggered state transitions. Without persistent state tracking, perceptual errors accumulate across the execution horizon, temporarily occluded objects are catastrophically forgotten, and these compounding failures lead to precondition violations that cascade through subsequent steps. In contrast, humans maintain a persistent mental model that continuously tracks spatial relations and action consequences across interactions rather than reconstructing them at each instant. Inspired by this human capacity for causal spatio-temporal reasoning with persistent memory, we propose RoboStream, a training-free framework that achieves geometric anchoring through Spatio-Temporal Fusion Tokens (STF-Tokens), which bind visual evidence to 3D geometric attributes for persistent object grounding, and maintains causal continuity via a Causal Spatio-Temporal Graph (CSTG) that records action-triggered state transitions across steps. This design enables the planner to trace causal chains and preserve object permanence under occlusion without additional training or fine-tuning. RoboStream achieves 90.5% on long-horizon RLBench and 44.4% on challenging real-world block-building tasks, where both SoFar and VoxPoser score 11.1%, demonstrating that spatio-temporal reasoning and causal memory are critical missing components for reliable long-horizon manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI