VLAモデルの性能はどれだけkNN検索で説明できるか

- LIBERO ベンチマーク上の VLA (Vision-language-action) モデルの性能を、訓練デモの retrieval (kNN 的な近傍デモ検索と action chunk の再利用) で再現・分析する研究。 - ポリシー学習なしの retrieval が LIBERO で 91.7% の成功率を達成することを示す。 - 公開 VLA 9 モデルを対象に、fine-tuning の効果を retrieval の観点から分析する。 - 表現空間での近傍観測と将来行動の類似性を測る offline 指標 Local Action Consistency (LAC) を提案する。

- VLA は LIBERO で 95% 超の成功率に達しているが、その性能が訓練デモを超えた汎化をどこまで必要とするかは不明だった。 - 本研究は学習なしの retrieval でも 91.7% に達することを示し、性能の多くが近傍デモの再利用で説明できる可能性を提示する。 - LIBERO-Plus の摂動下で、retrieval が評価した全ポリシー中で最も小さな性能低下を示した点が特徴的。 - 9 つの公開 VLA の fine-tuning が主に vision-language backbone をより良い retrieval key にしていると分析する点が新しい。

- 観測に対し近傍の訓練デモを検索し、その action chunk を再利用する retrieval ベースのポリシー (kNN 的アプローチ)。 - 学習済み VLA の vision-language backbone を retrieval key として用い、行動選択を近傍デモの action chunk で代替する分析。 - Local Action Consistency (LAC): 表現空間で近い観測が類似した将来行動と結びつくかを測る offline 指標。 - LAC が retrieval の成功率と連動し、retrieval key の訓練指針になり得ることを示す。

- LIBERO シミュレーションベンチマークで、ポリシー学習なしの retrieval が 91.7% の成功率を達成。 - LIBERO-Plus の摂動条件下で、retrieval が評価対象の全ポリシー中で最小の性能低下を示すことを確認。 - 公開 VLA 9 モデルを fine-tuning し、backbone が retrieval key として改善されること、VLA の行動がデモに近いことを分析。 - LAC が retrieval の成功率を追跡できること、retrieval key の訓練に活用できることを検証。

- VLA の高性能の多くが訓練デモ近傍の retrieval で説明可能であり、汎化性能の解釈に再考を促す。 - fine-tuning の主効果が vision-language backbone の retrieval key としての改善にあるという主張は、VLA 学習の役割に関する議論を生む。 - LAC は offline で retrieval 性能を予測・誘導できる指標として有用性が示唆されるが、詳細な限界は要旨からは不明。 - 実ロボット環境や他ベンチマークへの一般化可能性については要旨からは不明。

- LIBERO ベンチマークおよび LIBERO-Plus 摂動ベンチマークに関する研究。 - 比較対象となった公開 VLA モデル (9 モデル) の各論文。 - retrieval ベースの行動生成・kNN ポリシーに関する先行研究。 - Vision-language backbone の表現学習と action chunk 予測に関する研究。 - コード: https://github.com/sereact/lerobot_knn で公開。