日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.12374

AntiGrounding:ロボット行動をVLM表現空間に持ち上げて意思決定を行う

AntiGrounding: Lifting Robotic Actions into VLM Representation Space for Decision Making

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの行動候補をVLMの表現空間に直接持ち上げ、複数視点の軌道を描画してVQAで指示に基づく意思決定を行うことで、ゼロショットで最適な閉ループ軌道を生成するフレームワークを提案。

詳しい要約

1. どんなもの?

- VLM の高次元表現空間をロボットマニピュレーションの意思決定に直接用いる枠組み AntiGrounding の提案 - 従来の instruction grounding を逆転し、候補行動を VLM 表現空間へ持ち上げる - 複数視点から trajectory を描画し、structured visual question answering で指示に基づく行動選択を行う - 新規タスクに対し zero-shot で閉ループの最適 trajectory を合成可能 - 過去経験を活用する offline policy refinement module も提案

2. 先行研究と比べてどこがすごい?

- 従来手法は VLM の知識を圧縮された中間表現へ射影し、fine-grained な空間・意味情報を失っていた - 本手法は圧縮を避け、候補行動を VLM 表現空間へ直接持ち上げる点が異なる - これにより task-specific な細部情報を保持したまま意思決定できる - 新規タスクへの zero-shot な閉ループ trajectory 合成を可能にする点が先行研究との差分 - 具体的な比較対象名は要旨からは不明

3. 技術・手法の肝は?

- instruction grounding を反転させ、候補行動を VLM representation space へ lift する - 候補 trajectory を複数視点から render し、視覚情報として VLM に提示 - structured visual question answering により指示に基づく行動選択を実施 - 選択結果から閉ループの robot trajectory を合成 - offline policy refinement module で過去経験を活用し長期性能を向上

4. どうやって有効だと検証した?

- simulation と real-world 環境の両方で実験 - 多様な robotic manipulation tasks において baseline と比較 - 提案手法が baseline を上回る性能を示したと報告 - 具体的なタスク名・指標・被験条件は要旨からは不明

5. 議論はある?

- 圧縮中間表現が失う fine-grained な空間・意味情報の重要性を議論 - VLM 表現空間を直接使う設計の有効性を主張 - offline policy refinement による長期性能向上の可能性に言及 - 限界・失敗事例・計算コストなどの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として instruction grounding を用いる VLM-based robotic manipulation 研究 - structured visual question answering を用いる VLM 意思決定研究 - offline policy refinement / offline reinforcement learning 系の研究 - 同分野の定番として RT-1, RT-2, OpenVLA などの VLM/VLA 研究を次に読む候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenbo Li, Shiyi Wang, Yiteng Chen, Huiping Zhuang, Qingyao Wu

分類: cs.RO, cs.AI

原文アブストラクト

Vision-Language Models (VLMs) encode knowledge and reasoning capabilities for robotic manipulation within high-dimensional representation spaces. However, current approaches often project them into compressed intermediate representations, discarding important task-specific information such as fine-grained spatial or semantic details. To address this, we propose AntiGrounding, a new framework that reverses the instruction grounding process. It lifts candidate actions directly into the VLM representation space, renders trajectories from multiple views, and uses structured visual question answering for instruction-based decision making. This enables zero-shot synthesis of optimal closed-loop robot trajectories for new tasks. We also propose an offline policy refinement module that leverages past experience to enhance long-term performance. Experiments in both simulation and real-world environments show that our method outperforms baselines across diverse robotic manipulation tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI