日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.16211

ControlVLA: 事前学習済み視覚言語行動モデルのための少数ショット物体中心適応

ControlVLA: Few-shot Object-centric Adaptation for Pre-trained Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

ControlNet風のアーキテクチャで物体中心表現を導入し、10〜20回のデモンストレーションだけで多様な実世界操作タスクに適応できるフレームワークを提案。

詳しい要約

1. どんなもの?

- 実世界ロボットマニピュレーションを少数デモで学習するためのフレームワーク ControlVLA を提案 - 大規模 imitation pre-training 済みの VLA モデルを対象に、object-centric 表現を導入して効率的に fine-tuning する - ControlNet 風アーキテクチャで pre-trained VLA と object-centric 条件を橋渡しする - 6 種類の実世界タスク(例: pouring cubes, folding clothes)で評価

2. 先行研究と比べてどこがすごい?

- 既存の few-shot 手法は simulation-augmented data や grasping・pose estimation などの pre-built modules に依存し、sim-to-real gap や拡張性の欠如が課題 - 大規模 imitation pre-training は有望だが、data-scarce 設定で特定タスクへ適応する研究は未探索 - ControlVLA は 10-20 demonstrations で 76.7% の成功率を達成 - 従来手法は同等の成功率に 100 以上の demonstrations を要し、大幅に少ないデータで性能を実現

3. 技術・手法の肝は?

- pre-trained VLA モデルに object-centric 条件を付与する ControlNet 風アーキテクチャ - 既存知識を上書きしないよう、projection layers を zero-initialize する - zero-initialized layers が徐々に pre-trained manipulation policies を適応させる仕組み - object-centric 表現を条件として注入しつつ、元の VLA の prior knowledge を保持

4. どうやって有効だと検証した?

- 実世界で 6 種類の多様なタスク(例: pouring cubes, folding clothes)を実施 - 10-20 demonstrations のみで 76.7% の成功率を達成 - 従来手法が同等性能に 100 以上の demonstrations を要することを比較 - 追加実験で long-horizon タスクへの拡張性と、未見物体・背景への robustness を示す

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗要因の議論は記述されていない) - 示されている範囲では、少ないデモでの高成功率、long-horizon への拡張性、未見物体・背景への robustness が主張されている

6. 次に読むべき論文は?

- ControlNet(条件付き拡散モデルのアーキテクチャ) - 大規模 imitation pre-training を用いた VLA モデル(具体的名称は要旨からは不明) - object-centric representation を用いた manipulation 手法 - few-shot manipulation における simulation-augmented data や grasping・pose estimation モジュールを扱う研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Puhao Li, Yingying Wu, Ziheng Xi, Wanlin Li, Yuzhe Huang, Zhiyuan Zhang, Yinghan Chen, Jianan Wang, Song-Chun Zhu, Tengyu Liu, Siyuan Huang

分類: cs.RO

原文アブストラクト

Learning real-world robotic manipulation is challenging, particularly when limited demonstrations are available. Existing methods for few-shot manipulation often rely on simulation-augmented data or pre-built modules like grasping and pose estimation, which struggle with sim-to-real gaps and lack extensibility. While large-scale imitation pre-training shows promise, adapting these general-purpose policies to specific tasks in data-scarce settings remains unexplored. To achieve this, we propose ControlVLA, a novel framework that bridges pre-trained VLA models with object-centric representations via a ControlNet-style architecture for efficient fine-tuning. Specifically, to introduce object-centric conditions without overwriting prior knowledge, ControlVLA zero-initializes a set of projection layers, allowing them to gradually adapt the pre-trained manipulation policies. In real-world experiments across 6 diverse tasks, including pouring cubes and folding clothes, our method achieves a 76.7% success rate while requiring only 10-20 demonstrations -- a significant improvement over traditional approaches that require more than 100 demonstrations to achieve comparable success. Additional experiments highlight ControlVLA's extensibility to long-horizon tasks and robustness to unseen objects and backgrounds.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI