日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.31904

GT-VLA: 汎化可能なロボットマニピュレーションのための目標条件付きトレース誘導

GT-VLA: Target-Conditioned Trace Guidance for Generalizable Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

汎用VLMが生成する2D視覚トレースを条件としてVLAの行動生成を誘導し、未見タスクや長期的操作への汎化性能を高めるフレームワークを提案。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルのロボットマニピュレーション向けフレームワーク。 - 外部の汎用 Vision-Language Model (VLM) から guidance を受け取り、trace-conditioned action generation を行う。 - 未見タスク・配置・long-horizon 設定への汎化を狙う。 - 意味的 target 獲得、trace 生成、低レベル action 実行を分離。 - Mixture-of-Experts アーキテクチャを採用。

2. 先行研究と比べてどこがすごい?

- 従来の VLA は訓練シーンに過適合し、新規言語指示に従えない問題があった。 - 既製 VLM は汎化が強いがロボット action を直接制御できない。 - GT-VLA は VLM の常識と VLA 制御を統合し、両者の長所を組み合わせる。 - 最近の VLA ベースラインより汎化が向上。

3. 技術・手法の肝は?

- 汎用モデルで現在の skill に対する意味的 guidance を特定。 - その guidance を 2D visual trace に変換。 - trace を描画した observation に action policy を条件付ける。 - これにより高レベル guidance がロボット action に伝播。 - skill 固有の trace モジュールと action モジュールを持つ Mixture-of-Experts で実行。

4. どうやって有効だと検証した?

- LIBERO ベンチマークで評価。 - 物理ロボットプラットフォームでも評価。 - 両設定で最近の VLA ベースラインに対する汎化改善を示す。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 最近の VLA ベースライン (具体的名称は要旨に無い)。 - 関連手法: Vision-Language-Action (VLA) モデル、Vision-Language Model (VLM)、Mixture-of-Experts。 - データセット/ベンチマーク: LIBERO。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ninghan Zhong, Jing-Chen Peng, Sriram Vishwanath

分類: cs.RO, cs.LG

原文アブストラクト

Vision-Language-Action (VLA) models have shown strong performance on robotic manipulation, but they often struggle to generalize to unseen tasks, configurations, and long-horizon settings. A key challenge is that VLAs overfit to training scenes and fail to follow novel language instructions. Off-the-shelf vision-language models (VLMs) often provide stronger generalization, but cannot directly control robot actions. To combine the common sense of VLMs with VLA control, we propose Guided Trace VLA (GT-VLA), a steerable framework that accepts guidance from an external generalist VLM through trace-conditioned action generation. GT-VLA uses a generalist model to identify semantic guidance for the current skill, converts this guidance into a 2D visual trace, and conditions its action policy on the resulting trace-rendered observation. This design separates semantic target acquisition, trace generation, and low-level action execution, allowing high-level guidance to propagate to robot actions. GT-VLA uses a Mixture-of-Experts architecture with skill-specific trace and action modules for robust execution. We evaluate GT-VLA on LIBERO and a physical robot platform, showing improved generalization over recent VLA baselines in both settings. The code and additional supplemental materials are available on our project website at https://ivaniz.github.io/gt-vla/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI