VLAモデルは思われているよりずっと汎化する：物理・空間モデリングの再検討

- 本論文は、Vision-language-action (VLA) モデルが新しいカメラ視点や視覚的摂動に対して脆弱である問題を扱う。 - この脆弱性の主因が Physical Modeling ではなく Spatial Modeling のミスアラインメントにあることを示す。 - 視覚表現を再調整する one-shot adaptation フレームワークを提案。 - 手法として Feature Token Modulation (FTM) と Feature Linear Adaptation (FLA) を導入。 - FTM は視覚トークンにグローバルアフィン変換を適用し、Libero 視点精度を 48.5% から 87.1% に改善（4K パラメータ）。 - FLA は ViT エンコーダに低ランク更新を導入し、4.7M パラメータで 90.8% の成功率を達成。 - 事前学習済み VLA モデルに未活用のロバスト性があり、最小限の視覚適応で視点汎化を回復できることを示す。

- 従来の VLA モデルは in-distribution 性能は高いが、新しいカメラ視点や視覚的摂動下で性能が急激に低下する。 - 本研究は、この脆弱性の原因が Physical Modeling ではなく Spatial Modeling のミスアラインメントにあることを明らかにした点が新しい。 - 既存の finetuning 手法と比べ、FTM は 4K パラメータという極めて少ないパラメータで大幅な精度改善を実現。 - FLA は LoRA スケールの finetuning と同等の性能を、はるかに低コストで達成。 - 事前学習済み VLA モデルに潜在するロバスト性を引き出す点で、従来のアプローチとは異なる。

- one-shot adaptation フレームワークを提案し、視覚表現を軽量で学習可能な更新を通じて再調整。 - Feature Token Modulation (FTM): 視覚トークンにグローバルアフィン変換を適用。 - Feature Linear Adaptation (FLA): ViT エンコーダに低ランク更新を導入。 - FTM は 4K パラメータ、FLA は 4.7M パラメータという軽量な設計。 - これらの手法により、視点汎化性能を効率的に回復。

- Libero データセットを用いて視点精度を評価。 - FTM により、Libero 視点精度が 48.5% から 87.1% に向上。 - FLA により、成功率 90.8% を達成。 - FLA は LoRA スケールの finetuning と同等の性能を、より低コストで実現することを確認。 - これらの結果から、事前学習済み VLA モデルの未活用ロバスト性と、最小限の視覚適応の有効性を実証。

- 本研究は、VLA モデルの脆弱性が Spatial Modeling のミスアラインメントに起因することを示唆。 - 軽量な視覚適応が視点汎化を回復するのに十分であることを議論。 - 事前学習済み VLA モデルに相当な未活用ロバスト性が存在する可能性を指摘。 - ただし、他の種類の摂動やタスクへの一般化可能性については要旨からは不明。 - 長期的な影響や限界については要旨からは不明。

- 要旨で参照/比較されている研究: LoRA-scale finetuning。 - 関連手法: Feature Token Modulation (FTM), Feature Linear Adaptation (FLA)。 - データセット: Libero。 - 同分野の定番: Vision-language-action (VLA) モデル、ViT エンコーダ。 - 具体的な次に読むべき論文は要旨からは不明。