日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.07581

ICI-VLA: 時空間的に整列したデモによる文脈内模倣を用いた視覚言語行動モデル

ICI-VLA: In-Context Imitation with Spatiotemporally Aligned Demonstrations for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

追加学習なしで、テスト時にデモを文脈として与えることで新しい操作タスクに適応できるVLAモデルの訓練・検索フレームワークを提案した。

詳しい要約

1. どんなもの?

ICI-VLAは、Vision-Language-Action (VLA)モデルを新しい操作環境に適応させるためのトレーニングおよび検索フレームワーク。テキスト生成インターフェースを保持したVLMに、in-context demonstrationsを用いた数ショットのテスト時適応を提供する。推論時はポリシーを固定し、検索されたマイクロデモに基づいてアクション生成を条件付けする。

2. 先行研究と比べてどこがすごい?

従来のVLAポリシーは追加の勾配更新で適応しており、タスク固有のデータや計算資源が乏しい場合に迅速な展開が制限される。ICI-VLAは、追加の勾配更新を必要とせず、テスト時に固定されたポリシーがin-context learningで適応できる点が新しい。また、アクション固有のマルチモーダル融合ではなく、ネイティブなテキスト生成インターフェースを維持する点も異なる。

3. 技術・手法の肝は?

手法の肝は、(1)長い軌道を短い意味的にラベル付けされた例に分解し、Dynamic Time Warping (DTW)でポジティブをマイニングしてRD-Encoderを訓練し、現在のサブタスクの位相と幾何学に合わせて検索コンテキストを整列させること。(2)Target Action Maskingというコンテキスト破壊目的を導入し、直接的なアクションコピーを減らして現在の観察への依存を高めること。パラメータ更新はオフライン訓練のみで行い、推論時はポリシーを固定する。

4. どうやって有効だと検証した?

LIBEROで平均成功率97.7%、RoboTwin 2.0で60.4%を達成し、RoboTwin 2.0では最高報告ベースライン平均を19.3ポイント上回った。さらに、4つの物理タスクで83.2%の成功率を達成した。

5. 議論はある?

要旨からは、固定されたVLAポリシーがテスト時に時空間的に整列したデモンストレーションを条件付けすることで利益を得られることが示されたが、限界や議論については明記されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、VLAモデル、in-context learning、Dynamic Time Warping (DTW)を用いた検索手法、およびRoboTwin 2.0やLIBEROなどのベンチマークが挙げられる。具体的な論文名は不明だが、これらの分野の定番論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Songhua Yang, Ziyu Liu, Xuetao Li, Ruqi Xiao, Kangxin Zhu, Miao Li

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) policies are commonly adapted to new manipulation settings through additional gradient updates, which limits rapid deployment when task-specific data or compute is scarce. We present ICI-VLA, a training and retrieval framework that equips a text-action VLM with few-shot test-time adaptation through in-context demonstrations. Unlike mainstream VLA designs based on action-specific multimodal fusion, ICI-VLA retains the native text-generation interface. ICI-VLA updates its parameters only during offline training; at inference, the policy remains fixed and conditions action generation on retrieved micro-demonstrations. The framework decomposes long trajectories into short, semantically labeled examples and trains an RD-Encoder with positives mined by Dynamic Time Warping (DTW), aligning the retrieved context with the phase and geometry of the current subtask. We further introduce Target Action Masking, a context-corruption objective designed to reduce direct action copying and increase reliance on the current observation. ICI-VLA reaches average success rates of 97.7% on LIBERO and 60.4% on RoboTwin 2.0, exceeding the highest reported baseline average on RoboTwin 2.0 by 19.3 percentage points. It also achieves 83.2% across four physical tasks. These results indicate that a fixed VLA policy can benefit from conditioning on spatiotemporally aligned demonstrations at test time.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI