Transformerを超えて：オープンボキャブラリ物体目標ナビゲーションのための線形注意ポリシー

Open-Vocabulary Object Goal Navigation (OVON) において、部分観測下での内部状態更新を担う policy network の backbone として Transformer の self-attention ではなく linear attention (LA) を用いる Linear Attention-based Navigation (LANav) を提案する研究。 - OVON はエージェントが未知語の目標物体を探索するタスクで、部分観測性のため時系列情報の統合が性能を左右する。 - 従来は Transformer backbone で context window 上の self-attention により状態更新していた。 - LANav は LA を policy backbone に採用し、context window 上の self-attention ではなく構造化された状態更新を維持する。 - さらに Weighted State-Expansion Linear Attention (WSLA) を導入し、各 atte…

Transformer-based policy に対する優位性が示されている。 - 制御実験により、Transformer-based policy では context length を伸ばしても性能がスケールしないことを示し、navigation における状態統合に self-attention が適するか疑問を提起。 - 同一設定で複数の LA variant を評価し、LANav が Transformer-based baseline を一貫して上回る。 - WSLA を備えた LANav は HM3D-OVON で平均成功率 36.4% を達成し、Transformer-based 手法を macro-averaged SR で 6.3 percentage points 上回る。 - 計算効率を維持しつつ、長距離エピソードでより大きな改善、HSSD transfer と fine-tuning で scene 分布間の頑健性を示す。

policy backbone の状態更新機構の設計が肝。 - self-attention の代わりに linear attention (LA) を採用し、context window 全体の再重み付けではなく構造化された状態更新を行う。 - 状態更新機構がより構造化・統制されるほど性能が向上することを示唆。 - WSLA では各 attention head の状態を複数の sub-state に拡張し、learnable weighted readout で expanded sub-states を集約する。 - これにより状態更新の実効性を高め、計算効率を保つ。

複数の実験で有効性を検証。 - 同一設定下で複数の LA variant を評価し、Transformer-based baseline と比較。 - HM3D-OVON で平均成功率 36.4%、macro-averaged SR で Transformer-based 比 +6.3 percentage points。 - distance-stratified 結果で長距離エピソードの改善が大きいことを確認。 - HSSD transfer と fine-tuning により scene 分布をまたぐ頑健性を確認。 - Unitree Go2 への実機展開で 50 trials 中 82% の成功率を達成し、sim-to-real transfer の実用性を支持。

要旨からは不明。 - 制御実験から Transformer-based policy の context length スケーリング限界を議論している。 - 状態更新設計の重要性を強調している。 - ただし限界や失敗事例、計算コストの詳細な議論は要旨からは不明。

要旨で参照・比較されている研究や関連手法を挙げる。 - Transformer-based policy backbone（self-attention over context window） - linear attention (LA) の各種 variant - Weighted State-Expansion Linear Attention (WSLA) - Open-Vocabulary Object Goal Navigation (OVON) の既存手法 - HM3D-OVON、HSSD データセット - Unitree Go2 実機 - 同分野の定番として sim-to-real transfer や object goal navigation の研究