日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.10484

再構成の迷子:視覚-言語-行動モデルにおける行動表現と言語の整合

Lost in Reconstruction: Aligning Action Representations with Language in Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

行動軌跡には言語的意味情報が含まれるが、再構成のみのトークン化で失われるため、凍結VLMで指示を復元する補助損失を加えた意味整合トークナイザSALTを提案し、SimplerEnvで成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

本論文は、Vision-Language-Action Models (VLAs) における行動表現の言語的意味の整合性の問題を扱う。行動動詞は物理的結果だけでなく実行方法も記述するが、既存のVLAは生の行動空間でのL1/L2損失による再構成のみで最適化され、数値的近接性が言語的に意味のある区別を反映しない。BridgeV2データセットで、行動軌跡が視覚状態変化を超えた動詞接地情報を含むこと、再構成のみの離散トークン化がこの情報を体系的に侵食することを示す。この問題に対処するため、VQ-VAEスタイルのトークナイザーに、凍結されたVision-Language Modelが量子化された行動潜在変数からエピソード命令を復元することを要求する補助目的を追加した、Semantically ALigned action Tokenizer (SALT) を導入する。

2. 先行研究と比べてどこがすごい?

先行研究のVLAは、行動表現を再構成損失のみで学習し、言語的意味との整合を考慮していなかった。本手法は、行動トークン化に言語接地を明示的に組み込む点で新規性がある。再構成のみのVQ-VAEトークナイザーやFASTと比較して、言語条件付き制御の成功率を大幅に向上させる。また、動詞に特化したコードを発達させながら再構成忠実度を維持する点で、従来手法より優れている。

3. 技術・手法の肝は?

SALTは、VQ-VAEスタイルのトークナイザーに補助目的を追加する。具体的には、量子化された行動潜在変数から、凍結されたVision-Language Model (VLM) がエピソード命令(例:動詞を含む指示)を復元できるように学習する。これにより、行動表現が言語的に意味のある情報を保持するように強制される。再構成損失と補助損失を組み合わせて最適化し、行動トークンが動詞の意味を反映するようにする。

4. どうやって有効だと検証した?

BridgeV2データセットで行動軌跡に動詞接地情報が含まれることを示し、再構成のみのトークン化がその情報を侵食することを実証した。SimplerEnv環境で、SALTで訓練されたポリシーは平均成功率71.9%を達成し、再構成のみのVQ-VAEトークナイザー(42.7%)やFAST(31.2%)を大幅に上回った。また、SALTが動詞に特化したコードを発達させることを確認し、再構成忠実度も維持されることを示した。

5. 議論はある?

要旨からは、SALTの補助目的がVLMの選択に依存する可能性や、異なる環境やタスクでの汎用性に関する議論は不明。また、動詞接地情報の侵食が具体的にどのように起こるか、SALTがどの程度の計算コスト増加を伴うかなどは要旨に記載がない。さらに、SALTの成功が言語接地の向上によるものか、単に表現の豊かさによるものかの切り分けは議論の余地がある。

6. 次に読むべき論文は?

要旨で参照されている研究は、FAST (おそらく行動トークン化の関連手法) とVQ-VAE (ベースとなるトークナイザー) である。また、Vision-Language-Action Models (VLAs) の一般的な研究や、SimplerEnvベンチマーク、BridgeV2データセットに関連する論文が次に読むべき候補となる。具体的には、VQ-VAEの原論文、FASTの論文、およびVLAの代表的なモデル(例:RT-2、Octoなど)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Li Wenjie, Yash Jangir, Ignacy Stepka, Yash Agarwal, Marion Kipsang, Yonatan Bisk

分類: cs.RO, cs.AI, cs.CL

原文アブストラクト

Action verbs describe not only the physical outcomes of actions, but also how those actions are performed. Yet action representations in vision-language-action models (VLAs) are typically optimized for reconstruction under L1/L2 losses in raw action space, where numerical proximity need not reflect linguistically meaningful distinctions. On BridgeV2, we show that action trajectories contain verb-grounding information beyond visual state changes, and that reconstruction-only discrete tokenization systematically erodes this information. To address this problem, we introduce SALT, a Semantically ALigned action Tokenizer that augments a VQ-VAE-style tokenizer with an auxiliary objective requiring a frozen vision-language model to recover the episode instruction from quantized action latents. Policies trained with SALT achieve 71.9% average success in SimplerEnv, compared with 42.7% for a reconstruction-only VQ-VAE tokenizer and 31.2% for FAST. SALT also develops verb-specialized codes while maintaining reconstruction fidelity. These results show that robot action trajectories provide a source of language grounding and that preserving this structure in action representations can substantially improve language-conditioned control.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI