日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2606.25360

意味論と幾何学的接地の分離:言語条件付き模倣学習のための空間的視覚プロンプト

Decoupling Semantics and Geometric Grounding: Spatial Visual Prompts for Language-Conditioned Imitation Learning

シェア:XThreadsFacebookLINEはてブBluesky

言語条件付きロボット操作において、意味推論と空間制御を分離し、視覚基盤モデルで生成した空間的視覚プロンプトを行動生成器に注入する新しいアーキテクチャSVP-ILを提案。少ないデモデータでも高精度を達成した。

詳しい要約

1. どんなもの?

- 言語条件付き模倣学習のための新手法 SVP-IL を提案 - end-to-end VLA モデルの問題を解決 - 意味推論と空間制御が結合し、目標の曖昧性解消が困難 - 空間的視覚プロンプト (SVP) を明示的に抽出 - 言語指示を zero-shot 幾何マスクに変換 - 軽量な特徴レベル融合で連続行動生成器に注入 - 低データ環境での安定最適化と精度向上を実現

2. 先行研究と比べてどこがすごい?

- 従来の monolithic な VLA モデルと比較 - 意味推論と空間制御が結合し、alignment bottleneck が生じる - 純粋な visuomotor ベースラインとも比較 - SVP-IL はこれらを大幅に上回る - 曖昧な言語条件タスクで成功率 24.0% → 39.5% - 標準ベンチマークで 67.8% - 50〜100 デモという少データでも高性能 - 実世界ロボット実験でも堅牢性とデータ効率を確認

3. 技術・手法の肝は?

- 視覚言語基盤モデルを活用 - 指示を zero-shot 幾何マスクに解析 - 言語を明示的な Spatial Visual Prompts (SVP) に変換 - 軽量な direct feature-level fusion 機構 - SVP を連続行動生成器に注入 - 明示的で劣化のない空間勾配ガイダンスを提供 - 低データ領域でも安定した最適化を保証

4. どうやって有効だと検証した?

- 広範な実験を実施 - 最先端 VLA および純粋 visuomotor ベースラインと比較 - 50〜100 デモでの学習 - 曖昧な言語条件タスクの平均成功率を 24.0% から 39.5% に改善 - 標準ベンチマークで 67.8% を達成 - 実世界ロボット実験 - 非構造環境での堅牢性とデータ効率を検証

5. 議論はある?

- 要旨からは不明 - 限界や失敗事例、計算コスト、一般化性に関する議論は記載なし

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究 - end-to-end Vision-Language-Action (VLA) モデル - pure visuomotor baselines - 関連手法 - vision-language foundation models - zero-shot geometric masks - Spatial Visual Prompts (SVP) - direct feature-level fusion - 同分野の定番 - language-conditioned imitation learning - robotic manipulation

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanzhe Tang, Xinyu Shao, Yuxuan Hu, Siyu Chen, Bowen Yang, Yajun Gao, Tongtong Cao, Xiu Li, Long Zeng

分類: cs.RO

原文アブストラクト

While end-to-end Vision-Language-Action (VLA) models show promise in robotic manipulation, their monolithic paradigm inherently couples semantic reasoning and spatial control. This creates a severe alignment bottleneck, limiting precise target disambiguation in data-constrained imitation learning. To overcome this, we propose SVP-IL, a decoupled architecture that explicitly extracts spatial visual grounding from the action generation loop. By leveraging vision-language foundation models, we parse instructions into zero-shot geometric masks, translating language into explicit Spatial Visual Prompts (SVP). These priors are injected into a continuous action generator via a lightweight direct feature-level fusion mechanism. This integration provides explicit and uncorrupted spatial gradient guidance while ensuring highly stable optimization under low-data regimes. Extensive experiments demonstrate that SVP-IL significantly outperforms state-of-the-art VLAs and pure visuomotor baselines. Trained on as few as 50 to 100 demonstrations, SVP-IL improves average success rates on highly ambiguous language-conditioned tasks from 24.0% to 39.5%, achieving 67.8% on standard benchmarks. Real-world robotic experiments further validate its robustness and data efficiency in unstructured physical environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI