日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/ロボット制御arXiv:2605.17144

コントラスティブ・コンセプター活性ステアリング(COAST):隠れ状態を通じて視覚言語行動モデルを解放する

Contrastive Conceptor Activation Steering (COAST): Unlocking Vision-Language-Action Models through Hidden States

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの潜在表現を成功部分空間へステアリングする手法COASTを提案し、シミュレーションと実機で成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

Vision-Language-Action (VLA) モデルの推論時活性化を操作する手法 COAST を提案する研究。 - VLA は web-scale の Vision-Language Model (VLM) 事前学習の知覚事前分布を持つが、単純なロボットタスクで失敗し脆い。 - COAST は conceptor(目標分布の主成分へデータを soft-project する線形作用素)に基づく。 - 少数の成功・失敗 rollout からタスク成功に重要な部分空間を同定し、推論時に VLA の潜在表現をその成功部分空間へ誘導する。 - 学習不要・軽量な手法として位置づけられる。

2. 先行研究と比べてどこがすごい?

従来の VLA は大規模 VLM 事前学習を活用するが実タスクで脆く、追加学習や fine-tuning に頼りがち。 - COAST は training-free で推論時の活性化操作のみにより性能を改善する点が新しい。 - 3 つのアーキテクチャ(flow-matching VLA、autoregressive VLA、Diffusion Policy)に共通して適用可能。 - シミュレーションで平均成功率 +20% 以上、実ロボットで +40% 以上を達成。 - 失敗モードの部分空間構造がタスク間で共有され、成功表現はタスク固有であることを示し、conceptor の再適合なしの転用可能性を示唆。

3. 技術・手法の肝は?

conceptor を用いた活性化ステアリング。 - conceptor は目標分布の主成分へデータを soft-project する線形作用素。 - 少数の成功・失敗 rollout から成功に重要な部分空間を同定。 - 推論時に VLA の潜在表現(residual stream)を成功部分空間へ誘導。 - これにより action expert の decoding bottleneck を緩和する可能性。 - 学習不要で、モデル自体の「成功」分布へ誘導する。

4. どうやって有効だと検証した?

3 つのアーキテクチャ(flow-matching VLA、autoregressive VLA、Diffusion Policy)で検証。 - シミュレーションと実ロボットのタスク成功率を評価。 - シミュレーションで平均成功率 +20% 以上、実ロボットで +40% 以上の改善。 - 活性化部分空間の幾何を解析し、失敗モードの共有構造と成功表現のタスク固有性を確認。 - 類似の失敗モードを持つ新タスクで、再適合なしに既存 conceptor が性能改善することを示す。

5. 議論はある?

現在の VLA は潜在表現にタスク関連知識を相当保持していることを示唆。 - action expert の decoding bottleneck が性能限界の一因であり、residual stream をタスク関連部分空間へ誘導することで緩和可能。 - 失敗モードはタスク間で構造を共有するが、成功表現は主にタスク固有。 - この構造により、類似失敗モードを持つ新タスクへ conceptor を再適合なしで転用できる可能性。 - 限界や一般化可能性、他の VLA への適用性については要旨からは不明。

6. 次に読むべき論文は?

要旨で参照・比較されている研究:flow-matching VLA、autoregressive VLA、Diffusion Policy。 - 関連手法:conceptor、activation steering、VLM 事前学習を活用した VLA。 - 同分野の定番:Vision-Language-Action モデル、Diffusion Policy、flow-matching 生成モデル、autoregressive 生成モデル。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Miranda Muqing Miao, Subin Kim, Brandon Yang, Lyle Ungar

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Vision-Language-Action (VLA) models leverage powerful perceptual priors from web-scale Vision-Language Model (VLM) pre-training, yet they remain surprisingly brittle in practice, frequently failing at simple robotic tasks. To mitigate this, we propose Contrastive Conceptor Activation Steering (COAST). COAST builds on the notion of a "conceptor", a linear operator that soft-projects data into the principal components of a target distribution. COAST uses conceptors to identify success-critical subspaces for a target robotic task from a few examples of success and failure rollouts. At inference time, it steers VLA latents into these identified success subspaces to improve task outcomes. Across three architecturally distinct neural policies (flow-matching VLA, autoregressive VLA, and Diffusion Policy), COAST improves absolute mean simulation and real-robot task success rate by over 20 and 40% respectively. The activation subspace geometry reveals that failure modes share substantial structure across tasks while success representations remain largely task-specific. When tasks share similar failure modes, this structure enables previously fitted conceptors to improve performance on new tasks without refitting. Ultimately, our results suggest that current VLAs retain substantial task-relevant knowledge in their latent representations, and that the action expert's decoding bottleneck could be mitigated by steering its residual stream toward task-relevant subspaces. COAST provides a lightweight, training-free path to unlocking these latent capabilities by steering the model towards its own "success" distributions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI