日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.21493

半教師あり視覚-言語-行動モデル

Semi-Supervised Vision-Language-Action Model

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの行動予測に必要な教師付きデモデータを減らすため、未ラベルの軌道から信頼できる擬似行動を生成する自己蒸留型教師-学生フレームワークSemiVLAを提案した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルを新しい環境に適応させるには、行動ラベル付きのデモンストレーションが高コストで必要。 - 本研究は、限られた監督信号の下での半教師あり VLA 適応を扱う。 - 一部の軌道のみがロボット行動を含み、残りの軌道は行動ラベルなしの視覚言語観測を提供する設定。 - この問題に対し、SemiVLA という自己蒸留 teacher-student フレームワークを提案。 - ラベルなし軌道から信頼できる pseudo-action を学習する。

2. 先行研究と比べてどこがすごい?

- 標準的な半教師あり学習と異なり、欠落した監督信号が embodied action であり、視覚的接地、言語整合、物理的実現可能性、時間的安定性が必要。 - 従来の VLA 適応は行動ラベル付きデモに依存していたが、SemiVLA はラベルなし軌道を活用して依存を低減。 - OpenVLA をバックボーンとし、複数の PEFT 戦略を一貫して改善。 - 10% のラベル付き軌道で、Selective LoRA を用いた SemiVLA は LIBERO で平均成功率 89.0% を達成し、supervised LoRA を 8.0 ポイント上回る。 - 追加の推論コストなし。

3. 技術・手法の肝は?

- 自己蒸留 teacher-student フレームワーク。 - ラベルなし軌道から信頼できる pseudo-action を学習。 - VLA 固有の reliability controller を導入し、vision-language alignment、action feasibility、temporal transition consistency を評価。 - teacher を Bottleneck-Projected Alignment Update で更新し、ノイズの多いフィードバック汚染を回避。 - バックボーンは OpenVLA。

4. どうやって有効だと検証した?

- OpenVLA をバックボーンとして、LIBERO と CALVIN で複数の PEFT 戦略を評価。 - 10% のラベル付き軌道の下で、Selective LoRA を用いた SemiVLA が LIBERO で平均成功率 89.0% を達成。 - supervised LoRA を 8.0 ポイント上回ることを確認。 - 追加の推論コストがないことも示した。

5. 議論はある?

- 要旨からは不明。 - 限られた監督信号下での半教師あり VLA 適応の課題や、pseudo-action の信頼性評価の詳細についての議論は要旨では触れられていない。

6. 次に読むべき論文は?

- OpenVLA (バックボーンとして使用) - LIBERO (ベンチマーク) - CALVIN (ベンチマーク) - Selective LoRA (比較対象の PEFT 戦略) - supervised LoRA (比較対象) - その他の PEFT 戦略 (具体的名称は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongyang He, Jiuming Liu, Victor Sanchez

分類: cs.CV, cs.ET

原文アブストラクト

Vision-Language-Action (VLA) models enable robots to predict actions directly from visual observations and language instructions, but adapting them to new environments still depends on costly action-labeled demonstrations. To reduce this dependence, we study semi-supervised VLA adaptation under limited supervision signals, where only a small portion of trajectories contain robot actions and the remaining trajectories provide action-unlabeled vision-language observations. Unlike standard semi-supervised learning, the missing supervision is an embodied action signal that must be visually grounded, language-consistent, physically feasible, and temporally stable. To address this problem, we propose SemiVLA, a self-distilled teacher-student framework that learns from reliable pseudo-actions on unlabeled trajectories. SemiVLA introduces a VLA-specific reliability controller to assess vision-language alignment, action feasibility, and temporal transition consistency, and further updates the teacher through a Bottleneck-Projected Alignment Update to avoid noisy feedback contamination. With OpenVLA as the backbone, SemiVLA consistently improves multiple PEFT strategies across LIBERO and CALVIN. Under 10\% labeled trajectories, SemiVLA with Selective LoRA achieves 89.0\% average success on LIBERO, outperforming supervised LoRA by 8.0 points without extra inference cost.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI