日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.13888

InSpire: 内在的空間推論を備えた視覚-言語-行動モデル

InSpire: Vision-Language-Action Models with Intrinsic Spatial Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルに「物体はロボットから見てどの方向か」という空間推論を組み込むことで、タスク無関係な視覚特徴への誤相関を抑え、汎化性能を高める手法を提案。

詳しい要約

1. どんなもの?

- 本論文は、Vision-Language-Action models (VLAs) の一般化能力を向上させるための手法 InSpire を提案している。 - InSpire は、言語指示の前に「In which direction is the [object] relative to the robot?」という質問を追加し、その答えと予測行動を正解と一致させることで、VLA の空間推論能力を強化する。 - 既存の自己回帰型 VLA にプラグインとして適用可能で、追加の訓練データや他大規模モデルとのインタラクションを必要としない。 - シミュレーションと実環境の両方で有効性と柔軟性を実証している。

2. 先行研究と比べてどこがすごい?

- 既存の VLAs はタスクと無関係な視覚特徴と行動を誤って相関させる傾向があり、訓練データを超えた一般化能力が制限されていた。 - InSpire はこのような偽相関の悪影響を軽減し、VLA の空間推論能力を向上させる点で先行研究と異なる。 - 追加の訓練データや他大規模モデルとのインタラクションを必要とせず、既存の自己回帰型 VLA にプラグインとして適用できる点が優れている。

3. 技術・手法の肝は?

- InSpire は、言語指示の前に「In which direction is the [object] relative to the robot?」という質問を追加する。 - モデルは答えとして「right/left/up/down/front/back/grasped」のいずれかを生成し、その答えと予測行動を正解と一致させるように訓練される。 - これにより、VLA の注意がタスクに関連する要因に向けられ、偽相関の影響が軽減される。 - 自己回帰型 VLA にプラグインとして組み込むことができ、追加の訓練データや他大規模モデルとのインタラクションは不要である。

4. どうやって有効だと検証した?

- シミュレーションと実世界環境の両方で広範な実験を行い、InSpire の有効性と柔軟性を実証している。 - 具体的な評価指標やタスクの詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として、Vision-Language-Action models (VLAs) や Vision-Language Models (VLMs) の一般的な研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ji Zhang, Shihan Wu, Xu Luo, Hao Wu, Lianli Gao, Heng Tao Shen, Jingkuan Song

分類: cs.RO

原文アブストラクト

Leveraging pretrained Vision-Language Models (VLMs) to map language instruction and visual observations to raw low-level actions, Vision-Language-Action models (VLAs) hold great promise for achieving general-purpose robotic systems. Despite their advancements, existing VLAs tend to spuriously correlate task-irrelevant visual features with actions, limiting their generalization capacity beyond the training data. To tackle this challenge, we propose Intrinsic Spatial Reasoning (InSpire), a simple yet effective approach that mitigates the adverse effects of spurious correlations by boosting the spatial reasoning ability of VLAs. Specifically, InSpire redirects the VLA's attention to task-relevant factors by prepending the question "In which direction is the [object] relative to the robot?" to the language instruction and aligning the answer "right/left/up/down/front/back/grasped" and predicted actions with ground-truth. Notably, InSpire can be used as a plugin to enhance existing autoregressive VLAs, requiring no extra training data or interaction with other large models. Extensive experimental results in both simulation and real-world environments demonstrate the effectiveness and flexibility of our approach.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI