履歴条件付き時空間視覚トークン枝刈りによる効率的な視覚言語ナビゲーション

- Vision-Language Navigation (VLN) 向けの、training-free な spatio-temporal vision token pruning フレームワーク。 - VLA ベースの VLN における計算コスト・遅延を削減し、リアルタイム実装を狙う。 - 現フレームに spatial token selection、履歴メモリに spatio-temporal compression を適用。 - 再学習や pretrained model の改変なしで plug-and-play 統合可能。

- 既存の pruning 戦略と比較して、標準 VLN benchmark で大幅に上回ると主張。 - 極端な pruning 条件下でも高い navigation accuracy を維持。 - 推論効率も highly competitive に保つ。 - 再学習不要で既存 VLA に組み込める点が従来手法との差異。

- attention-based token importance を利用。 - query-guided spatio-temporal filtering を採用。 - 現ビューには spatial token selection を適用。 - 履歴メモリには spatio-temporal compression を適用し、long-horizon inference を効率化。 - 冗長計算を削減しつつ navigation-relevant な情報を保持。

- 標準 VLN benchmarks での実験により、既存 pruning 戦略より優れることを確認。 - 極端な pruning シナリオで navigation accuracy を維持できることを確認。 - Unitree Go2 quadruped robot への real-world deployment で、低遅延な instruction-following navigation を検証。

- 大規模マルチモーダルモデリングと効率的なリアルタイム embodied deployment のギャップを埋めることを期待。 - 具体的な限界や失敗事例、pruning 率の上限などは要旨からは不明。 - 計算コスト削減量の詳細な数値や比較条件は要旨からは不明。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) models、Vision-Language Navigation (VLN)、token pruning を挙げる。 - 同分野の定番として R2R、REVERIE などの VLN benchmarks や、attention-based pruning 関連研究が次に読む候補。