日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

解釈可能性/ステアリングarXiv:2611.00602

目標編集:トークン単位SAEステアリングとπ0.5における深さ限界

Editing the Goal: Per-Token SAE Steering and Its Depth Limits in $π_{0.5}$

シェア:XThreadsFacebookLINEはてブBluesky

ロボット基盤モデルπ0.5の指示文の目標語に対応するSAE特徴を別の目標語の特徴に置き換えることで、指示文を変えずにロボットの行動目標を切り替えられることを示し、その編集が有効な層の深さ限界を調査した論文。

詳しい要約

1. どんなもの?

- 対象は robot foundation model (RFM) の $π_{0.5}$ における goal 表現の操作 - Sparse autoencoder (SAE) の feature を用いた per-token steering を検討 - 単一の goal word の SAE feature を別の goal word の feature に置換し、instruction text は変えずに行動を誘導 - 主な問いは2点 - per-token SAE feature で robot の goal を切り替えられるか - その編集がどの layer まで有効か (depth limits) - 検証は simulation 上の $π_{0.5}$-LIBERO で実施され、proof of existence と位置づけられている

2. 先行研究と比べてどこがすごい?

- 先行研究では SAE feature が RFM で interpretable かつ causally relevant であることが示されていた - ただし per-token の SAE feature は timestep-pooled のものより interpretability が低いと報告されていた - 先行研究では per-token feature が robot の goal を redirect できるかは未検証だった - 本研究は「単一 goal word の feature 置換で行動を切り替えられる」ことを示した点が新しい - さらに SAE が必須でないこと、layer ごとの有効限界 (depth limits) の初期マップを示した点も先行研究にない貢献

3. 技術・手法の肝は?

- 手法の中心は per-token SAE steering - instruction 中の単一 goal word の SAE feature を代替 goal word の feature に置換 - テキスト自体は変更しない - SAE は BatchTopK を使用し、layer 0 での feature swap を主に評価 - 比較対象として random-feature swap を実施 - SAE アーキテクチャ依存性も検討 - word-selected Matryoshka edits は random edits を大きく上回らないと報告 - SAE 不要のベースラインとして difference-in-means vector を自然な大きさの2倍で加算 - layer-wise activation patching により、goal-word edit が有効な layer の範囲を調査 - camera tokens も patch する条件も比較

4. どうやって有効だと検証した?

- $π_{0.5}$-LIBERO の simulation で rollout を実施 - layer 0 の BatchTopK feature swap で最大 20/20 rollouts の行動 redirect を確認 - 同 scene で random-feature swap は 0 件 - 6 scene・2つの LIBERO suite・複数 layer にわたり success を評価 - difference-in-means vector の加算で 8-10/10 rollouts の redirect を確認 - layer-wise activation patching で有効 layer の境界を測定 - object location は layer 6 まで、object identity は layer 2 まで有効 - camera tokens も patch すると両者とも layer 13 まで有効 - 動画 rollout をプロジェクトページで公開

5. 議論はある?

- 結果は simulation における RFM での proof of existence と位置づけられ、実機検証は要旨からは不明 - per-token SAE feature の interpretability が低いという先行知見と、steering が効くという結果の関係は要旨からは不明 - SAE アーキテクチャ依存性があり、Matryoshka edits が random を大きく上回らない点は手法の限界として議論の余地 - SAE なしの difference-in-means でも redirect できるため、SAE の必要性そのものに議論がある - depth limits は camera tokens の patch で大きく変わり、編集の作用点の解釈に議論の余地 - 6 scene・2 suite という評価範囲の一般性は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照されている $π_{0.5}$ 関連研究 (arXiv:2603.19183, arXiv:2603.19233) - 特に per-token と timestep-pooled の SAE feature 比較を行った研究 - BatchTopK SAE の原論文 - Matryoshka SAE の原論文 - difference-in-means steering の関連研究 - activation patching を用いた interpretability 研究 - LIBERO benchmark の原論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rocio Perales Valdes, Animesh Garg

分類: cs.AI

原文アブストラクト

Sparse autoencoders (SAEs) have recovered interpretable, causally relevant features in robot foundation models (RFMs) such as $π_{0.5}$ (arXiv:2603.19183, arXiv:2603.19233). SAE features on individual instruction tokens are less interpretable than timestep-pooled ones (arXiv:2603.19183), and whether they can redirect a robot's goal remains untested. We show that replacing the SAE features of a single goal word with those of an alternative goal word, leaving the instruction text unchanged, steers $π_{0.5}$-LIBERO into completing the alternative task. At layer 0, BatchTopK feature swaps redirect behavior in up to 20/20 rollouts in a scene where random-feature swaps redirect none, with success varying across six scenes in two LIBERO suites and across layers. The effect depends on SAE architecture: word-selected Matryoshka edits largely do not outperform random ones. SAEs are also not required. Adding a fixed difference-in-means vector at twice its natural magnitude redirects 8-10/10 rollouts. Layer-wise activation patching shows that goal-word edits remain effective up to layer 6 for object location and layer 2 for object identity, and up to layer 13 in both cases when patching also covers camera tokens. These results are proof of existence in an RFM in simulation and an initial map of how deep goal-redirecting edits remain effective. Visit https://doubleblind-sae-pi05.github.io for video rollouts.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI