日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.23919

Goal-VLA: 画像生成VLMを物体中心の世界モデルとして活用するゼロショットロボットマニピュレーション

Goal-VLA: Image-Generative VLMs as Object-Centric World Models Empowering Zero-shot Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

画像生成型VLMを世界モデルとして使い、目標状態の画像を生成して物体姿勢を導出することで、追加学習なしに多様な操作タスクを実現するフレームワークを提案。

詳しい要約

1. どんなもの?

- ロボット操作のゼロショット汎化を目指すフレームワーク Goal-VLA の提案。 - Image-Generative VLM を world model として用い、目標状態の画像を生成する。 - 生成画像から対象物体の pose を導出し、汎化可能な操作を実現する。 - 操作系を high-level policy と low-level policy に分離する設計。 - シミュレーションと実世界の両方で評価。

2. 先行研究と比べてどこがすごい?

- 従来の VLA モデルは VLM の open-world な意味知識の転移を狙うが、instruction-vision-action データの不足により zero-shot 能力が base VLM に大きく劣る。 - Goal-VLA は action 注釈を必要とせず、Image-Generative VLM の生成能力を world model として活用する点が異なる。 - 物体状態表現を介することで、汎化性の高い VLM をそのまま使いながら低レベル制御への空間的手がかりも与える。 - 生成目標画像を実行前に検証・洗練する Reflection-through-Synthesis を導入し堅牢性を高める。

3. 技術・手法の肝は?

- 操作系を object state representation を interface として high-level と low-level に分離。 - high-level: Image-Generative VLM が目標状態画像を生成。 - low-level: 生成画像から対象物体の pose を導出し、training-free に制御。 - 物体状態表現により明示的な action 注釈を抽象化。 - Reflection-through-Synthesis: 生成した goal image を反復的に検証・洗練してから実行。

4. どうやって有効だと検証した?

- シミュレーション実験と実世界実験の両方を実施。 - 操作タスクにおいて強い性能と汎化性を示したと報告。 - 詳細な評価指標・タスク設定・比較対象は要旨からは不明。 - 補足資料がプロジェクトページで公開されている。

5. 議論はある?

- zero-shot 汎化における VLA の限界と、object state representation を interface とする設計の有効性を議論。 - 生成画像の検証・洗練 (Reflection-through-Synthesis) が堅牢性に寄与する点を主張。 - 失敗事例、計算コスト、生成画像の品質依存性、実機での制約などの詳細は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及される VLA モデル (Vision-Language-Action models) および base VLM に関する研究。 - Image-Generative VLM を用いた world model 型のロボット操作研究。 - 目標画像生成に基づくゼロショット操作 (goal image / goal state を用いる手法)。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haonan Chen, Jingxiang Guo, Bangjun Wang, Tianrui Zhang, Xuchuan Huang, Boren Zheng, Yiwen Hou, Chenrui Tie, Jiajun Deng, Lin Shao

分類: cs.RO

原文アブストラクト

Generalization remains a fundamental challenge in robotic manipulation. To tackle this challenge, recent Vision-Language-Action (VLA) models build policies on top of Vision-Language Models (VLMs), seeking to transfer their open-world semantic knowledge. However, their zero-shot capability lags significantly behind the base VLMs, as the instruction-vision-action data is too limited to cover diverse scenarios, tasks, and robot embodiments. In this work, we present Goal-VLA, a zero-shot framework that leverages Image-Generative VLMs as world models to generate desired goal states, from which the target object pose is derived to enable generalizable manipulation. The key insight is that object state representation is the golden interface, naturally separating a manipulation system into high-level and low-level policies. This representation abstracts away explicit action annotations, allowing the use of highly generalizable VLMs while simultaneously providing spatial cues for training-free low-level control. To further improve robustness, we introduce a Reflection-through-Synthesis process that iteratively validates and refines the generated goal image before execution. Both simulated and real-world experiments demonstrate that our \name achieves strong performance and inspiring generalizability in manipulation tasks. Supplementary materials are available at https://nus-lins-lab.github.io/goalvlaweb/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI