日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.02062

RICL: 事前学習済み視覚-言語-行動モデルへの文脈内適応性の付与

RICL: Adding In-Context Adaptability to Pre-Trained Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

模倣学習で事前学習されたVLAモデルに、少数の実演データを用いた追加学習で文脈内学習能力を後付けし、パラメータ更新なしで新しいマニピュレーションタスクを教えられるようにした。

詳しい要約

1. どんなもの?

- マルチタスク VLA (vision-language-action) モデルに、事後的に in-context learning (ICL) 能力を注入する手法 RICL を提案する研究。 - 対象は事前学習済みの π0-FAST VLA。パラメータ更新なしで新規タスクを教えられるインタフェースを目指す。 - エンドユーザが新タスクの実演を 10-20 個与えると、RICL が関連部分を VLA のコンテキストに取り込みタスクを実行する。 - コードと RICL-π0-FAST のモデル重みを公開し、操作タスク向けの簡易 ICL インタフェースを初めて提供すると主張。

2. 先行研究と比べてどこがすごい?

- 従来の VLA は imitation learning 目的で事前学習され、ICL 能力を自然には獲得しないと指摘。 - 言語・視覚モデルで見られる ICL の利便性をロボティクス VLA に持ち込む点が差分。 - パラメータ finetuning なしで新タスクを教えられる点を強調。 - 新規タスクごとに 20 実演のみで大きな in-context 改善を示すと報告。 - 具体的な比較対象の数値は要旨からは不明。

3. 技術・手法の肝は?

- 適切な finetuning recipe と小規模なロボット実演データセットにより、事後的に ICL を注入 (retraining for in-context learning, RICL)。 - エンドユーザが新タスクの実演を 10-20 個提供。 - RICL はそれらの実演から最も関連する部分を取得し、VLA のコンテキストに展開して ICL を活用。 - ベースは π0-FAST VLA。 - 対象タスクの実演でパラメータ更新が可能な場合は、RICL finetuning が更なる性能向上をもたらす。

4. どうやって有効だと検証した?

- π0-FAST VLA に ICL を注入した RICL-π0-FAST を構築。 - 複数の新規 manipulation タスクで、タスクあたり 20 実演のみかつパラメータ更新なしで大きな in-context 改善を確認したと報告。 - パラメータ更新が可能な設定では RICL finetuning による追加の性能向上を確認。 - 詳細なベースラインや評価指標は要旨からは不明。

5. 議論はある?

- 実演数が 10-20 個と少数で済む点、パラメータ更新不要で新タスクを教えられる点を利点として提示。 - パラメータ更新可能時には finetuning が更に効くという使い分けを示唆。 - 限界・失敗事例・計算コスト・コンテキスト長の制約などの議論は要旨からは不明。 - コードと重みを公開し再現性と実用性を狙う。

6. 次に読むべき論文は?

- ベースモデルである π0-FAST の原論文。 - imitation learning 目的で事前学習された VLA に関する研究 (RT-2 など VLA 系の代表的手法)。 - 言語・視覚モデルにおける in-context learning の代表的研究。 - ロボティクスにおける in-context learning / few-shot 実演からの適応に関する関連研究。 - 要旨で明示的に参照・比較されている個別論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kaustubh Sridhar, Souradeep Dutta, Dinesh Jayaraman, Insup Lee

分類: cs.RO, cs.AI

原文アブストラクト

Multi-task ``vision-language-action'' (VLA) models have recently demonstrated increasing promise as generalist foundation models for robotics, achieving non-trivial performance out of the box on new tasks in new environments. However, for such models to be truly useful, an end user must have easy means to teach them to improve. For language and vision models, the emergent ability to perform in-context learning (ICL) has proven to be a versatile and highly useful interface to easily teach new tasks with no parameter finetuning. Unfortunately, VLAs pre-trained with imitation learning objectives do not naturally acquire ICL abilities. In this paper, we demonstrate that, with the right finetuning recipe and a small robot demonstration dataset, it is possible to inject in-context adaptability post hoc into such a VLA. After retraining for in-context learning (RICL), our system permits an end user to provide a small number (10-20) of demonstrations for a new task. RICL then fetches the most relevant portions of those demonstrations into the VLA context to exploit ICL, performing the new task and boosting task performance. We apply RICL to inject ICL into the $\pi_{0}$-FAST VLA, and show that it permits large in-context improvements for a variety of new manipulation tasks with only 20 demonstrations per task, without any parameter updates. When parameter updates on the target task demonstrations is possible, RICL finetuning further boosts performance. We release code and model weights for RICL-$\pi_{0}$-FAST alongside the paper to enable, for the first time, a simple in-context learning interface for new manipulation tasks. Website: https://ricl-vla.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI