日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2604.05614

階層型視覚言語行動モデルの明示的な言語-行動整合による接地

Grounding Hierarchical Vision-Language-Action Models Through Explicit Language-Action Alignment

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの言語と行動の整合性を明示的に学習するフレームワークを提案し、階層型VLAモデルの接地を改善した。

詳しい要約

1. どんなもの?

- 階層型 Vision-Language-Action (VLA) モデルにおいて、言語と行動の明示的な整合性を実現する訓練フレームワークを提案。 - ロボットの透明性を高め、人間とロボットの協調を促進することを目的とする。 - 言語生成と低レベル行動の整合性を訓練中に考慮する点が特徴。

2. 先行研究と比べてどこがすごい?

- 既存の階層型 VLA モデルは chain-of-thought などで言語と行動を生成するが、訓練中の明示的な整合性を考慮していない。 - 提案手法は言語と行動軌跡の整合性を評価する contrastive model を導入し、offline preference learning により grounding を改善。 - 高価なデータアノテーションの必要性を減らしつつ、完全教師あり微調整に匹敵する性能を達成。

3. 技術・手法の肝は?

- 視覚観察と行動空間に対して階層型 VLA のサブタスク記述を明示的に grounding する訓練フレームワーク。 - contrastive model が生成言語と対応する行動軌跡の整合性を評価し、言語-軌跡ペアをランキング。 - offline preference learning を用いて階層型 VLA の grounding を洗練。

4. どうやって有効だと検証した?

- LanguageTable データセット(人間の言語アノテーション付き軌跡のベンチマーク)に適用。 - マルチモーダル grounding 表現に関する重要な知見を提供。 - 完全教師あり微調整と同等の性能を達成する強力なベースラインを確立。

5. 議論はある?

- マルチモーダル grounding 表現に関する重要な知見を提供。 - 高価なデータアノテーションの必要性を最小化できる可能性を示唆。 - 具体的な議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- LanguageTable データセット - 階層型 Vision-Language-Action (VLA) モデル - chain-of-thought - contrastive model - offline preference learning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Theodor Wulff, Federico Tavella, Rahul Singh Maharjan, Manith Adikari, Angelo Cangelosi

分類: cs.RO

原文アブストラクト

Achieving robot transparency is a critical step toward effective human-robot collaboration. To be transparent, a robot's natural language communication must be consistent with its actions and explicitly grounded in the task and environment. Existing hierarchical Vision-Language-Action (VLA) models can generate language (e.g., through chain-of-thought) and low-level actions. However, current work does not consider explicit alignment between these modalities during training. To address this crucial gap, we propose a novel training framework that explicitly grounds hierarchical VLA sub-task descriptions with respect to the visual observation and action space. Our framework uses a contrastive model to assess the alignment between generated language and corresponding action trajectories. This contrastive model enables direct ranking of different language-trajectory pairs based on their alignment, allowing us to refine the grounding of our hierarchical VLA through offline preference learning. We apply our framework to the LanguageTable dataset, a benchmark dataset of human language-annotated trajectories, and provide critical insights into multimodal grounding representations, all while establishing a strong baseline that achieves performance comparable to fully supervised fine-tuning and minimizing the need for costly data annotations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI