日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/検索拡張arXiv:2606.15631

再学習せずに検索せよ:テスト時に視覚言語行動モデルを新タスクへ拡張する手法

Retrieve, Don't Retrain: Extending Vision Language Action Models to New Tasks at Test Time

シェア:XThreadsFacebookLINEはてブBluesky

新しいタスクへの適応を、モデルの再学習ではなく、デモンストレーションの検索で置き換える手法を提案。凍結したポリシーが検索した軌跡を条件付けに使い、タスク追加をパラメータ更新なしで実現する。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) ポリシーを新タスクへ拡張する際の、タスク毎の teleoperated demonstrations 収集と fine-tuning を不要にする手法。 - 一度だけ target embodiment (query) と安価な embodiment (pool、例: human-hand video) の paired demonstrations で学習し、その後は frozen にする。 - 新タスクは deployment 時に pool 側の demonstrations を retrieval pool に追加するだけで吸収。 - 各制御ステップで retrieved trajectories を条件として使い、パラメータ更新なしで新タスクに対応。 - fine-tuning は新規の unseen embodiment への適応時のみ必要。

2. 先行研究と比べてどこがすごい?

- 従来は新タスクごとに task-specific teleoperated demonstrations と per-task fine-tuning が必要で、データ収集と計算コストが高かった。 - 本手法は target-side の per-task adaptation cost を retrieval で置き換える点が新しい。 - 新タスクをパラメータ更新ではなくデータの indexing で吸収できる。 - retrieval は特定の backbone に限らず標準的な VLA ポリシーも改善するが、特に video-generation-based world-action model (WAM) である Cosmos Policy で効果が顕著。

3. 技術・手法の肝は?

- target embodiment (query) と安価な embodiment (pool) の paired demonstrations で retrieval-augmented policy を一度学習し、frozen にする。 - deployment 時に pool 側 demonstrations を retrieval pool に追加して新タスクを追加。 - 各制御ステップで retrieved trajectories を条件に行動を生成。 - Cosmos Policy (WAM) では retrieval が coarse な task progression を供給し、future-image objective が視覚的一貫性の追加信号として retrieval-conditioned actions を強化。

4. どうやって有効だと検証した?

- PushT で retrieval が unseen goal angles への cross-embodiment generalization に再利用可能な high-level motion prior を提供することを検証。 - RoboTwin 2.0 で unseen tasks において cross-embodiment baselines を上回ることを確認。 - 実機ロボットでも手法を実証。

5. 議論はある?

- retrieval は backbone に依存せず標準 VLA ポリシーも改善するが、Cosmos Policy のような WAM で特に効果が大きい。 - retrieval が coarse な task progression を、WAM の future-image objective が視覚的一貫性信号を担う相補的関係が示唆される。 - fine-tuning は新規 unseen embodiment への適応時のみ必要で、新タスクごとには不要。 - 詳細な限界や失敗ケースについては要旨からは不明。

6. 次に読むべき論文は?

- Cosmos Policy (video-generation-based world-action model, WAM) - 標準的な Vision-Language-Action (VLA) ポリシー - PushT - RoboTwin 2.0 - cross-embodiment baselines

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jeongeun Park, Juhan Park, Taekyung Kim, Sungjoon Choi, Dongyoon Han, Sangdoo Yun

分類: cs.RO, cs.AI

原文アブストラクト

Extending a vision-language-action (VLA) policy to a new task typically requires task-specific teleoperated demonstrations and per-task fine-tuning, making adaptation costly in both data collection and compute. In this paper, we show that this target-side per-task adaptation cost can be replaced by retrieval. Our retrieval-augmented policy is trained once on paired demonstrations from the target embodiment (query) and a cheaper embodiment (pool, e.g., human-hand video), then frozen. New tasks are added at deployment by appending pool-side demonstrations to a retrieval pool. The frozen policy conditions on retrieved trajectories at every control step, so new tasks are absorbed by indexing data rather than updating parameters. Fine-tuning is needed only to take on a new, unseen embodiment, not for each new task. We show that retrieval improves policies beyond a specific backbone, including standard VLA policies, but its effect is especially pronounced in Cosmos Policy, a video-generation-based world-action model (WAM). In this setting, retrieval supplies coarse task progression, while the WAM's future-image objective provides an additional visual consistency signal that strengthens the retrieval-conditioned actions. On PushT, we study how retrieval provides a reusable high-level motion prior for cross-embodiment generalization to unseen goal angles, while on RoboTwin 2.0 our method outperforms cross-embodiment baselines on unseen tasks, and we additionally demonstrate the method on a real robot.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI