日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.00328

視覚言語行動モデルを内部表現から解釈・制御する機構的解釈可能性フレームワーク

Mechanistic interpretability for steering vision-language-action models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの内部活性をトークン埋め込み基底に射影し、速度や方向などの意味的方向を同定して、微調整なしにリアルタイムで行動を制御する手法を提案した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの内部表現を解釈し、推論時に挙動を操作(steering)する初のフレームワーク - transformer 層内の feedforward 活性を token embedding 基底へ射影し、行動選択と因果的に関連する疎な意味方向(速度や方向など)を同定 - fine-tuning・報酬信号・環境との相互作用なしにリアルタイムで挙動を変調する汎用 activation steering 手法を提案 - 実世界ロボティクスでの頑健性・説明可能性の課題に対し、mechanistic interpretability の視点を持ち込む

2. 先行研究と比べてどこがすごい?

- 従来の VLA 解釈・操作手法は、kinematics・dynamics・control の明示的モデルに基づく古典的ロボティクスパイプラインに大きく劣っていた - 本研究は大規模言語モデルにおける mechanistic interpretability の進展に動機づけられ、VLA の内部表現を介した解釈と操作を初めて可能にしたと主張 - fine-tuning・reward signals・environment interaction を必要とせずに zero-shot で挙動制御を実現する点が従来と異なる - 学習済みポリシーの機構的理解の欠如という中心的課題に対し、透明で操作可能な基盤モデルへの新パラダイムを提示

3. 技術・手法の肝は?

- transformer 層内の feedforward 活性を token embedding 基底に射影し、疎な意味方向を抽出 - 速度や方向など、行動選択と因果的に関連する意味方向を同定 - 同定した方向を利用した汎用 activation steering により、推論時にリアルタイムで挙動を変調 - fine-tuning・reward signals・environment interaction を不要とする点が手法の肝

4. どうやって有効だと検証した?

- 2つの最近のオープンソース VLA、Pi0 と OpenVLA に対して評価 - シミュレーション(LIBERO)および実機ロボット(UR5)で zero-shot の挙動制御を実証 - 上記により、解釈可能な内部表現を体系的に制御へ活用できることを示した

5. 議論はある?

- 学習済みポリシーの実世界展開における頑健性・説明可能性の重要性を背景に、mechanistic insight の欠如が中心的課題であると議論 - 内部表現の解釈と操作により、透明で操作可能な基盤モデルという新パラダイムを提示 - 具体的な限界・失敗事例・安全性に関する詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究: mechanistic interpretability for large language models、古典的ロボティクスパイプライン(kinematics・dynamics・control)、Pi0、OpenVLA、LIBERO、UR5 - 関連手法として activation steering の原論文や、VLA の解釈可能性に関する研究を次に読むべき候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bear Häon, Kaylene Stocking, Ian Chuang, Claire Tomlin

分類: cs.RO, cs.LG

原文アブストラクト

Vision-Language-Action (VLA) models are a promising path to realizing generalist embodied agents that can quickly adapt to new tasks, modalities, and environments. However, methods for interpreting and steering VLAs fall far short of classical robotics pipelines, which are grounded in explicit models of kinematics, dynamics, and control. This lack of mechanistic insight is a central challenge for deploying learned policies in real-world robotics, where robustness and explainability are critical. Motivated by advances in mechanistic interpretability for large language models, we introduce the first framework for interpreting and steering VLAs via their internal representations, enabling direct intervention in model behavior at inference time. We project feedforward activations within transformer layers onto the token embedding basis, identifying sparse semantic directions - such as speed and direction - that are causally linked to action selection. Leveraging these findings, we introduce a general-purpose activation steering method that modulates behavior in real time, without fine-tuning, reward signals, or environment interaction. We evaluate this method on two recent open-source VLAs, Pi0 and OpenVLA, and demonstrate zero-shot behavioral control in simulation (LIBERO) and on a physical robot (UR5). This work demonstrates that interpretable components of embodied VLAs can be systematically harnessed for control - establishing a new paradigm for transparent and steerable foundation models in robotics.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI