日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.08839

SG-WAM: テキスト接地と空間認識を備えた意味的ガイダンスによるワールドアクションモデル

SG-WAM: Text-Grounded and Spatial-aware Semantic Guidance for World-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作のためのワールドアクションモデルに、VLMを意味プランナーとして用いてテキスト指示に基づく意味的先見を注入し、将来ビデオ生成と行動予測の指示追従精度を向上させる手法を提案した。

詳しい要約

1. どんなもの?

SG-WAMは、ロボット操作のためのWorld-Action Models (WAMs)に、言語指示への意味的整合性を持たせるためのセマンティックガイダンス手法。VLMをセマンティックプランナーとして訓練し、テキスト接地と空間認識を備えたセマンティックフォーサイトを生成し、それをWAMに注入することで、将来ビデオ生成と行動予測の両方を言語指示に忠実に従わせる。

2. 先行研究と比べてどこがすごい?

既存のWAMは主に視覚的手がかりに依存し、言語指示を視覚観察と独立に埋め込むため、予測ビデオが指示と意味的にずれ、行動精度が低下する。SG-WAMはVLMをプランナーとして導入し、指示を接地したセマンティックフォーサイトを生成してWAMをガイドすることで、この問題を解決する点が新しい。

3. 技術・手法の肝は?

手法の核は、VLMベースのプランナーを訓練して、テキスト接地セマンティックフォーサイト(正しいターゲット物体を特定)と空間認識セマンティックフォーサイト(操作のためのシーン幾何学を提供)を予測すること。このフォーサイトを高レベルのセマンティックガイダンスとしてWAMに注入し、将来ビデオ生成と行動予測を言語指示に整合させる。

4. どうやって有効だと検証した?

シミュレーションと実世界の両方で広範な実験を行い、提案手法の優位性を示した。具体的には、精密な操作と強い指示追従能力を実証した。

5. 議論はある?

要旨からは、提案手法の限界や潜在的な問題についての議論は不明。ただし、VLMのプランナーに依存するため、VLMの性能や訓練データの質が結果に影響する可能性が考えられるが、要旨には明記されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、World-Action Models (WAMs)やVision-Language Models (VLMs)の基礎となる論文が挙げられる。具体的には、WAMの元となったWorld Modelsや、VLMの代表的なモデル(例:CLIP, GPT-4V)などが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junjie He, Junfeng Li, Zhide Zhong, Haodong Yan, Ruixin Li, Yangyang Zheng, Jiaguan Zhu, Tianran Zhang, Yuqiao Du, Wen Chen, Shunbo Zhou, Haoang Li

分類: cs.RO, cs.CV

原文アブストラクト

World-Action Models (WAMs) have emerged as a promising paradigm for robotic manipulation. However, most existing WAMs generate future videos and actions by relying mainly on visual cues rather than language instructions, since off-the-shelf text encoders embed instructions independently of visual observations. As a result, the videos predicted by these WAMs are often semantically misaligned with their corresponding language instructions, which degrades the accuracy of the predicted actions. To overcome this limitation, we propose SG-WAM, a semantic guidance method for world-action models that leverages a vision-language model (VLM) as a semantic planner to enhance the instruction-grounding capacity of world-action models. Specifically, we train a VLM-based planner to predict text-grounded and spatial-aware semantic foresight. The text-grounded semantic foresight grounds the instruction by identifying the correct target objects, and the spatial-aware semantic foresight provides the scene geometry for precise manipulation. We then inject this foresight into the world-action model as high-level semantic guidance, ensuring that both future-video generation and action prediction faithfully follow the language instruction. Extensive experiments in simulation and the real world demonstrate the superiority of our semantic guidance method, showcasing precise manipulation and strong instruction-following capabilities.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI