ロボット操作/汎化評価/VLM2026/3/1arXiv:2603.11426

訓練データに基づくロボット汎化の接地：検索拡張型VLMによるアプローチ

Grounding Robot Generalization in Training Data via Retrieval-Augmented VLMs

ロボット操作の評価タスクを訓練データと比較し、どのような汎化が必要かを分類するフレームワークRADARを提案した。

詳しい要約

1. どんなもの？

- ロボット操作ポリシーの汎化を評価するためのフレームワーク RADAR を提案。 - テスト時の評価タスクをポリシーの訓練データと直接比較し、どのような種類の汎化が必要かを判定する。 - 2段階パイプライン：generalist policy embeddings による retrieval と、vision-language models (VLMs) による分析・分類。 - 解釈可能な分析と汎化タイプの分類を出力する。

2. 先行研究と比べてどこがすごい？

- 従来は評価設定が訓練分布からどの程度汎化しているかを特徴付けるのが困難だった。 - RADAR は評価タスクと訓練データの関係を直接比較し、必要な汎化の形式を特定できる。 - 大規模データセットにスケール可能で、先行研究の人間定義のベンチマーク条件と一致することを観察。

3. 技術・手法の肝は？

- 第一段階：generalist policy embeddings を用いた retrieval で、評価タスクに関連する訓練例を特定。 - 第二段階：vision-language models (VLMs) が評価タスクと retrieved data を多軸で比較分析し、汎化タイプを分類。 - 解釈可能な分析を出力する点が肝。

4. どうやって有効だと検証した？

- 制御実験により、VLMs が汎化分析に有効であることを示す。 - retrieval ステップが正確な分類に必要な例を効果的に特定することを実証。 - 大規模データセットにスケールし、先行研究の人間定義のベンチマーク条件との一致を観察。 - デモを radar-analysis.github.io で提供。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：generalist policy embeddings、vision-language models (VLMs)、先行研究の人間定義ベンチマーク。 - 関連手法：robot manipulation の policy generalization 評価。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jensen Gao, Dorsa Sadigh, Sandy Huang, Dhruv Shah

分類: cs.RO

原文アブストラクト

Recent work on robot manipulation has advanced policy generalization to novel scenarios. However, it is often difficult to characterize how different evaluation settings actually represent generalization from the training distribution of a given policy. To work towards more precise evaluation of generalization in robotics, we propose RADAR, a scalable framework for directly comparing test-time evaluation tasks to policy training data, to determine what form of policy generalization is required. RADAR consists of a two-stage pipeline: first, retrieval using generalist policy embeddings identifies which training examples are relevant for a given evaluation task. Next, vision-language models (VLMs) analyze the evaluation task against the retrieved data, outputting interpretable analysis on how they compare along a variety of axes, and an overall classification of what type of policy generalization is required. Through controlled experiments, we demonstrate that VLMs are effective at analyzing data for generalization, and that our retrieval step effectively identifies examples needed to make accurate classifications with respect to the training data. Furthermore, we scale RADAR to large-scale datasets, where we observe agreement with human-defined benchmark conditions from prior work. We provide demonstrations at radar-analysis.github.io.

arXivで原文を読む →arXiv概要ページ

← 論文一覧