日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2604.17880

ST-π: ロボット操作のための構造化時空間VLAモデル

ST-$\pi$: Structured SpatioTemporal VLA for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚・言語・行動モデルに時空間の明示的な構造化を導入し、サブタスクと空間・時間の接地を計画するVLMと、それに基づき行動を生成する専門家モジュールを組み合わせたロボット操作モデルを提案した。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのための構造化時空間VLAモデル「ST-π」を提案。 - 4D観測とタスク指示を入力とし、時空間VLMと時空間アクションエキスパートの2段構成。 - 時空間VLMはチャンクレベルの行動プロンプト(サブタスク、空間グラウンディング、時間グラウンディング)を生成。 - アクションエキスパートはプロンプトに条件付けられ、ステップレベルの行動パラメータを予測。 - 構造化時空間アノテーション付き実世界ロボットデータセットも提案。

2. 先行研究と比べてどこがすごい?

- 既存手法は時空間知識を視覚・行動表現に埋め込み、直接クロスモーダルマッピングでステップレベル行動予測を行うため、時空間推論が暗黙的。 - 明示的な時空間境界を持つ複数の逐次行動の扱いが困難。 - ST-πは時空間推論を明示的に構造化し、VLMがグローバルな時空間行動を計画、アクションエキスパートがローカルな時空間制御を洗練。 - これにより細粒度の時空間マニピュレーション課題に対処。

3. 技術・手法の肝は?

- 時空間VLM:4D観測とタスク指示を潜在空間にエンコードし、LLMに入力して因果順序付けられたチャンクレベル行動プロンプト(サブタスク、空間グラウンディング、時間グラウンディング)を生成。 - 時空間アクションエキスパート:チャンクレベル行動プロンプトに条件付け、構造化デュアルジェネレータガイダンスを設計し、空間依存性と時間因果性を同時にモデル化してステップレベル行動パラメータを予測。 - 構造化フレームワーク内でVLMがグローバル時空間行動を明示的に計画し、アクションエキスパートがローカル時空間制御を洗練。 - 実世界ロボットデータセットに構造化時空間アノテーションを付与し、ファインチューニングに利用。

4. どうやって有効だと検証した?

- 広範な実験を実施し、モデルの有効性を実証。 - 具体的な検証方法や評価指標、ベースラインとの比較詳細は要旨からは不明。 - 提案する実世界ロボットデータセットを用いたファインチューニングと評価が含まれると推測されるが、詳細は不明。

5. 議論はある?

- 要旨からは不明。 - 限界や議論点についての記述はない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Vision-language-action (VLA) モデル、RT-2、OpenVLA、Diffusion Policyなどが同分野の定番として挙げられる。 - また、4D観測や時空間推論を扱う研究(例:SpatialVLM、RoboFlamingo)も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chuanhao Ma, Hanyu Zhou, Shihan Peng, Yan Li, Tao Gu, Luxin Yan

分類: cs.RO, cs.CV

原文アブストラクト

Vision-language-action (VLA) models have achieved great success on general robotic tasks, but still face challenges in fine-grained spatiotemporal manipulation. Typically, existing methods mainly embed spatiotemporal knowledge into visual and action representations, and directly perform a cross-modal mapping for step-level action prediction. However, such spatiotemporal reasoning remains largely implicit, making it difficult to handle multiple sequential behaviors with explicit spatiotemporal boundaries. In this work, we propose ST-$\pi$, a structured spatiotemporal VLA model for robotic manipulation. Our model is guided by two key designs: 1) Spatiotemporal VLM. We encode 4D observations and task instructions into latent spaces, and feed them into the LLM to generate a sequence of causally ordered chunk-level action prompts consisting of sub-tasks, spatial grounding and temporal grounding. 2) Spatiotemporal action expert. Conditioned on chunk-level action prompts, we design a structured dual-generator guidance to jointly model spatial dependencies and temporal causality, thus predicting step-level action parameters. Within this structured framework, the VLM explicitly plans global spatiotemporal behavior, and the action expert further refines local spatiotemporal control. In addition, we propose a real-world robotic dataset with structured spatiotemporal annotations for fine-tuning. Extensive experiments have been conducted to demonstrate the effectiveness of our model. Our code link: https://github.com/chuanhaoma/ST-pi.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI