日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.07100

LARA: 視覚言語行動モデルのための潜在行動表現の整合

LARA: Latent Action Representation Alignment for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

本論文は、視覚言語行動モデルと潜在行動モデルを同時に最適化するプラグアンドプレイフレームワークを提案し、シミュレーションと実世界の操作タスクで性能を向上させた。

詳しい要約

1. どんなもの?

- VLAモデルは観測と言語指示から直接行動を予測するが、大規模高品質データと実世界ロボット行動データの不足が課題。 - 未ラベル人間動画を活用するため、LAMが視覚動態から潜在行動表現を学習しVLA学習の追加監督を提供。 - しかしLAMとVLAは別々に訓練され、LAMがVLA訓練中に接地されず、VLAは凍結LAM表現に制約される。 - 本研究はLARAを提案:表現アラインメントでLAMとVLAを共同最適化するプラグアンドプレイフレームワーク。 - 相互利益を実現:LAMは行動軌跡で学習し偽の視覚変化を回避、VLAはLAM内の順動力学で正則化され機能的に無効な軌跡の幻覚を低減。

2. 先行研究と比べてどこがすごい?

- 従来はLAMとVLAを別々に訓練し、LAMがVLA訓練中に接地されず、VLAが凍結LAM表現に制約される問題があった。 - LARAはこれらを共同最適化し、相互利益を実現する点が新しい。 - 事前学習、事前学習済みVLAモデルの事後学習強化、LAM改良の3用途で有効性を示す。 - 3つのシミュレーションと1つの実世界ロボット操作ベンチマークで平均約10%、約5%、約15%の改善を達成。

3. 技術・手法の肝は?

- LARAはLAMとVLAを表現アラインメントにより共同最適化するプラグアンドプレイフレームワーク。 - LAMは行動軌跡を用いて学習し、偽の視覚変化を回避する。 - VLAはLAM内で学習された順動力学により正則化され、機能的に無効な軌跡の幻覚を低減する。 - これによりLAMとVLAの相互利益が生じる。

4. どうやって有効だと検証した?

- 3つのシミュレーションベンチマークと1つの実世界ロボット操作ベンチマークで評価。 - 事前学習、事前学習済みVLAモデルの事後学習強化、LAM改良の3つの設定で有効性を検証。 - それぞれ平均約10%、約5%、約15%の改善を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Latent Action Models (LAM)、Vision-Language-Action (VLA) models。 - 関連手法:表現アラインメント、順動力学学習。 - 同分野の定番:Robotic manipulation benchmarks, simulation environments。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mengya Liu, Baoxiong Jia, Jiangyong Huang, Jingze Zhang, Siyuan Huang

分類: cs.CV, cs.RO

原文アブストラクト

Visual-language action (VLA) models enable robots to predict actions directly from observations and language instructions, but their performance depends on large-scale, high-quality data and is limited by the scarcity of real-world robot action datasets. To facilitate VLA model learning with abundant unlabeled human videos, Latent Action Models (LAM) learn latent action representations from visual dynamics to provide additional supervision for VLA learning. However, LAM and VLA are typically trained separately, leaving LAM ungrounded during VLA training and VLA models constrained by frozen LAM representations. To address these issues, we propose Latent Action Representation Alignment (LARA), a plug-and-play framework that jointly optimizes LAM and VLA via representation alignment. This enables reciprocal benefits where LAMs learn with action trajectories to avoid spurious visual changes, while VLAs are regularized by forward dynamics learned within LAMs to reduce hallucinations of functionally ineffective trajectories. We demonstrate LARA versatility and effectiveness for pre-training, post-training enhancement of pre-trained VLA models, and LAM refinement, achieving an average of ~10%, ~5%, and ~15% improvement over 3 simulation and 1 meticulously designed real-world robotic manipulation benchmarks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI