VLA解釈可能性2026/5/1arXiv:2605.17204

イベント基盤のスパースオートエンコーダによる視覚言語行動ポリシーの解釈

Event-Grounded Sparse Autoencoders for Vision-Language-Action Policies

視覚言語行動(VLA)ポリシーの隠れ表現を、行動イベントに基づいてスパースオートエンコーダ(SAE)で分析し、閉ループ行動への因果効果を評価する解釈可能性パイプラインを提案した。

詳しい要約

1. どんなもの？

- Vision-Language-Action (VLA) ポリシーの隠れ表現を解釈するための手法。 - 出力がロボット行動であり人間可読トークンでないため、言語/視覚言語モデルの解釈ツールが直接使えない問題に対処。 - 行動イベントに基づく event-grounded な解釈パイプラインを提案。 - Sparse Autoencoder (SAE) の特徴分析をテキスト文脈ではなく行動イベントに固定。 - エンドエフェクタの keyframe をクラスタリングし、SAE 特徴を行動的に重要なイベントや意味的文脈に結びつける。

2. 先行研究と比べてどこがすごい？

- 言語・視覚言語モデル向けの SAE 解釈ツールは VLA にそのまま移行できない。 - 従来はテキスト文脈に基づく SAE 分析が主流だが、VLA では行動イベントに基づく分析が必要。 - 本手法は SAE ベースの VLA 分析を closed-loop の行動イベントに接地する最初期の試みの一つ。 - event-grounded ranking が OpenVLA で最も強い因果効果を示し、π_{0.5} の連続行動チャンクにも転移。

3. 技術・手法の肝は？

- エンドエフェクタの keyframe を視覚・状態・時間的手がかりでタスクごとにクラスタリング。 - クラスタを行動的に重要なイベントとして定義。 - 任意で VLM アノテーションを加え、意味的文脈と結びつける。 - SAE 特徴をこれらのイベントに基づいてランキング。 - 介入は closed-loop ロールアウトで評価。

4. どうやって有効だと検証した？

- 2つのシミュレーションアーキテクチャと実ロボット研究で検証。 - event-grounded ranking が OpenVLA で最も強い因果効果を示すことを確認。 - π_{0.5} の連続行動チャンクにも転移することを確認。 - SAE は疎だが不完全な介入基盤であり、有効性はアーキテクチャや介入部位により変動。 - 積極的介入は安全性と解釈可能性の限界を露呈。

5. 議論はある？

- SAE は疎だが不完全な介入基盤であり、使いやすさはアーキテクチャと介入部位に依存。 - 積極的介入は安全性と解釈可能性の限界を明らかにする。 - event-grounded SAE 分析は行動に基づく VLA 解釈の実用的な出発点。 - 今後の課題: 行動整合座標を超えた SAE 特徴、より細かい closed-loop 評価、高リスク VLA 展開のための安全な介入。

6. 次に読むべき論文は？

- OpenVLA - π_{0.5} - Sparse Autoencoder (SAE) を用いた解釈可能性研究 - VLM アノテーションを活用した解釈手法 - closed-loop ロールアウト評価に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinchen Jin, Aditya Chatterjee, Pranav Kumar, Rohan Paleja

分類: cs.RO, cs.AI

原文アブストラクト

Vision-Language-Action (VLA) policies translate language and visual inputs into robot actions, where their hidden representations directly shape closed-loop behavior. However, mechanistic interpretability tools from language and vision-language models do not transfer cleanly to VLAs: outputs are robot actions rather than human-readable tokens, and interventions can only be tested via expensive closed-loop rollouts. We propose an event-grounded interpretability pipeline that anchors SAE feature analysis to behavioral events rather than text contexts. End-effector keyframes are clustered within each task using visual, state, and temporal cues, linking SAE features to behaviorally salient events and, via optional VLM annotations, to semantic context. To our knowledge, our pipeline is among the first to ground SAE-based VLA analysis in closed-loop behavioral events. Across two simulation architectures and a real-robot study, event-grounded ranking yields the strongest causal effects on OpenVLA and transfers to the continuous action chunks of $\pi_{0.5}$. SAE is a sparse but imperfect intervention basis: usability varies with architecture and intervention site, and aggressive intervention reveals safety and interpretability limits. Overall, event-grounded SAE analysis emerges as a practical starting point for behavior-anchored VLA interpretability, motivating future work on SAE features beyond action-aligned coordinates, finer-grained closed-loop evaluation, and safe interventions for high-stakes VLA deployments. Code is available at \url{https://github.com/xc-j/Event-SAE}.

arXivで原文を読む →arXiv概要ページ

← 論文一覧