日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.17411

SPEAR-1: 3D理解によるロボット実演を超えるスケーリング

SPEAR-1: Scaling Beyond Robot Demonstrations via 3D Understanding

シェア:XThreadsFacebookLINEはてブBluesky

非ロボット画像に3D注釈を付与してVLMを強化し、3D認識と言語指示制御を統合したロボット基盤モデルSPEAR-1を提案。ロボット実演を20分の1に抑えつつ最先端性能を達成。

詳しい要約

1. どんなもの?

- ロボット基盤モデル(RFM)の新手法 **SPEAR-1** を提案する研究 - 3D 理解を強化した VLM **SPEAR-VLM** を基盤に、言語指示による embodied control を統合した RFM - 単一 2D 画像から 3D 空間中の物体座標を推論する 3D-aware VLM を構築 - 24 個の **Open X-Embodiment** データセットから約 45M フレームで学習 - モデル重みと 3D アノテーション付きデータセットを公開

2. 先行研究と比べてどこがすごい?

- 既存 RFM は internet-pretrained VLM の fine-tuning が主流で、2D 画像-言語タスク由来のため 3D 空間推論が不足 - 大規模ロボットデータで直接補うのは高コストでスケール困難という課題を指摘 - 非ロボット画像に 3D アノテーションを付与して VLM を強化する戦略を採用 - **π0-FAST** や **π0.5** などの SOTA モデルに対し、同等以上または凌駕する性能を報告 - ロボットデモンストレーションを **20 倍少なく** 使用しながら達成

3. 技術・手法の肝は?

- 収集容易な非ロボット画像データに 3D アノテーションを付与し、pretrained VLM を 3D 理解で強化 - **SPEAR-VLM**: 単一 2D 画像から 3D 空間中の物体座標を推論する 3D-aware VLM - **SPEAR-1**: grounded 3D perception と言語指示による embodied control を統合した RFM - 約 45M フレーム、24 個の **Open X-Embodiment** データセットで学習 - 訓練戦略の設計により VLM の新能力を引き出し、embodied control の信頼性を向上

4. どうやって有効だと検証した?

- **π0-FAST** および **π0.5** との比較で性能を評価 - ロボットデモンストレーションを 20 倍少なく使用しつつ、同等以上または凌駕する結果を報告 - 詳細な評価設定・ベンチマーク・指標は要旨からは不明

5. 議論はある?

- ロボットデータのみでは達成できない embodied control の信頼性向上を示唆 - 3D アノテーション付き非ロボット画像の活用がスケーラブルな代替戦略であると主張 - 限界・失敗事例・計算コストなどの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- **π0-FAST**(比較対象の SOTA RFM) - **π0.5**(比較対象の SOTA RFM) - **Open X-Embodiment**(学習に用いたデータセット群) - **SPEAR-VLM**(本研究の基盤となる 3D-aware VLM)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nikolay Nikolov, Giuliano Albanese, Sombit Dey, Aleksandar Yanev, Luc Van Gool, Jan-Nico Zaech, Danda Pani Paudel

分類: cs.RO, cs.LG

原文アブストラクト

Robotic Foundation Models (RFMs) hold great promise as generalist, end-to-end systems for robot control. Yet their ability to generalize across new environments, tasks, and embodiments remains limited. We argue that a major bottleneck lies in their foundations: most RFMs are built by fine-tuning internet-pretrained Vision-Language Models (VLMs). However, these VLMs are trained on 2D image-language tasks and lack the 3D spatial reasoning inherently required for embodied control in the 3D world. Bridging this gap directly with large-scale robotic data is costly and difficult to scale. Instead, we propose to enrich easy-to-collect non-robotic image data with 3D annotations and enhance a pretrained VLM with 3D understanding capabilities. Following this strategy, we train SPEAR-VLM, a 3D-aware VLM that infers object coordinates in 3D space from a single 2D image. Building on SPEAR-VLM, we introduce our main contribution, $~\textbf{SPEAR-1}$: a robotic foundation model that integrates grounded 3D perception with language-instructed embodied control. Trained on $\sim$45M frames from 24 Open X-Embodiment datasets, SPEAR-1 outperforms or matches state-of-the-art models such as $\pi_0$-FAST and $\pi_{0.5}$, while it uses 20$\times$ fewer robot demonstrations. This carefully-engineered training strategy unlocks new VLM capabilities and as a consequence boosts the reliability of embodied control beyond what is achievable with only robotic data. We make our model weights and 3D-annotated datasets publicly available at https://spear.insait.ai.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI