日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

解釈可能性arXiv:2607.16448

検索だけで十分:ツール使用エージェントによる学習不要の解釈可能性

Retrieval is Enough: Training-Free Interpretability with a Tool-Using Agent

シェア:XThreadsFacebookLINEはてブBluesky

ニューラルネットワークの活性化を解釈する新しい手法HARPを提案。LLMエージェントが活性化データベースを検索し、仮説を立てて線形プローブで検証する。学習不要でありながら、既存の学習ベース手法を上回る性能を示した。

詳しい要約

1. どんなもの?

HARP (Hypothesis-driven Agentic Retrieval and Probing) は、ニューラルネットワークの活性化を解釈するためのトレーニング不要の手法。LLMエージェントが、活性化とそのテキスト文脈をペアにしたベクトルデータベースと、潜在空間の方向除去や活性化の差分・平均計算などのツールを用いて、データベースを反復的に検索し、サンプルから仮説を形成し、線形プローブを構築して検証する。

2. 先行研究と比べてどこがすごい?

従来の解釈可能性手法は、線形プローブやPCA、SVDなどの安価でトレーニング不要な手法から、SAEや活性化オラクルなどの高価でトレーニングベースの手法までコストスペクトラムが広い。トレーニングベースの手法は強力だが、トレーニングデータセットから回復可能な洞察を超えるか疑問。HARPはトレーニングを一切行わずに、活性化オラクルやSAEベースのエージェントを上回る性能を示し、安価で柔軟。

3. 技術・手法の肝は?

HARPの核心は、LLMエージェントがベクトルデータベースを検索し、仮説を立て、線形プローブで検証する反復プロセス。データベースには活性化とテキスト文脈がペアで格納され、エージェントは活性化操作ツール(方向除去、差分・平均計算)を使って仮説を検証する。トレーニング不要で、新しいデータセットをオンデマンドでインデックス化できる。

4. どうやって有効だと検証した?

概念発見、概念検出、モデルステアリング、秘密抽出の4つのタスクで評価。HARPは活性化オラクルとSAEベースのエージェントを上回る性能を示した。

5. 議論はある?

結果は、現在のトレーニングベースの手法がトレーニングデータを超えた洞察をまだ抽出できていないことを示唆。HARPのトレーニング不要の設計は安価で柔軟だが、データベースの質とエージェントの検索戦略に依存する可能性がある。また、ベンチマークがトレーニングデータを超えた洞察を明示的に要求する必要性を動機付けている。

6. 次に読むべき論文は?

要旨で参照されている関連手法として、SAE (Sparse Autoencoders) と activation oracles が挙げられる。また、線形プローブ、PCA、SVDなどのトレーニング不要の基本手法も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sriram Balasubramanian, Soheil Feizi

分類: cs.LG, cs.AI

原文アブストラクト

Interpretability methods for neural network activations span a wide cost spectrum, from cheap, training-free techniques (such as linear probes, PCA, SVD) to more expensive training-based ones (such as SAEs and activation oracles). Training-based methods are typically more powerful, in part because they leverage large activation datasets during training. This raises a natural question - do they actually surface insights that go beyond what is recoverable from the training dataset itself? To address this, we equip an LLM agent with a vector database of activations paired with their textual contexts, along with tools for manipulating activations - projecting out directions in latent space, computing activation differences and averages. The agent iteratively queries the database, forms hypotheses from the retrieved samples, and validates them by constructing linear probes. We call this method HARP, for Hypothesis-driven Agentic Retrieval and Probing. Despite not involving any training, HARP outperforms both activation oracles and SAE-based agents on concept discovery, concept detection, model steering, and secret elicitation. The training-free design also makes HARP substantially cheaper and more flexible: new datasets can be indexed on demand whenever existing ones prove insufficient. More broadly, our results suggest that current training-based methods do not yet extract insights beyond their training data, and motivate benchmarks that explicitly require interpretability methods to demonstrate such insights. We release our code at https://github.com/SriramB-98/HARP

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI