多次元特徴量化によるロボット基盤モデルの細粒度制御とデータ整形

本論文は、robot foundation models（特に vision-language-action models）の内部表現を解釈・操作するための手法を提案する。block-sparse featurizers (BSFs) を用いて多次元特徴を抽出し、モデルの計算に潜むタスク関連特徴（知覚、言語、proprioceptive state、episode phase、制御変数など）を回復できるかを調べる。さらに、特徴を介した fine-grained steering と、feature-based data attribution による訓練データ shaping の可能性を示す。

vision や language models における多次元特徴の発見を動機とする BSFs を robot foundation models に適用した点が新しい。従来の解釈手法と比べ、単なる特徴の可視化にとどまらず、因果的な steering とデータ帰属を通じてロボット行動を細粒度で制御・改変できることを示した。特に、失敗回復行動が訓練データの 1.4% 未満のトークンに由来することを特定した点が先行研究と異なる。

block-sparse featurizers (BSFs) を用いて、各特徴を低次元部分空間で表現する。これにより多次元のタスク関連特徴を抽出し、視覚知覚・意味表現・空間定位などの標的を絞った変更が下流の行動予測に与える影響を因果的に検証する。また、feature-based data attribution により、特定の行動（failure recovery）が訓練データセットのどこに由来するかを同定し、マスキングでその行動を除去できるトークンを特定する。

BSFs が知覚、言語、proprioceptive state、episode phase、制御変数などの多次元特徴を回復することを示した。さらに、視覚知覚・意味表現・空間定位の標的変更が行動予測を予測可能に変化させることで因果的検証を行った。加えて、feature-based data attribution により failure recovery 行動に関与する訓練トークンを特定し、1.4% 未満のマスキングでその行動を除去できることを確認した。

要旨からは、手法の限界や失敗事例、計算コスト、他のロボットタスクへの一般化可能性についての議論は明示されていない。また、BSFs の設計選択やハイパーパラメータの影響、解釈の安定性についても言及がない。

要旨で参照・比較されている研究は明示されていないが、関連手法として block-sparse featurizers (BSFs)、vision-language-action models、feature-based data attribution、fine-grained steering が挙げられる。次に読むべき論文としては、これらの基盤となる vision/language models における多次元特徴の発見や、robot foundation models の解釈性に関する研究が考えられる。