日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/スキル獲得arXiv:2606.24884

InSight: 操縦可能なVLAによる自己誘導型スキル獲得

InSight: Self-Guided Skill Acquisition via Steerable VLAs

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルにプリミティブ動作レベルでの操縦性を持たせ、デモンストレーションの自動分割とVLMによるデータ収集のフィードバックループを通じて、人間のデモなしに新しい操作スキルを自律的に獲得するフレームワークを提案した。

詳しい要約

1. どんなもの?

- VLAモデルはdemonstrationからmanipulation skillを学習できるが、能力は訓練データ内のskillに限定される。 - 本研究はInSightを提案し、VLAをprimitive-actionレベルでsteerableにすることで自律的skill獲得を可能にする。 - 例として「move gripper to the bowl」「lift upward」「pour the bottle」などのprimitive単位で操作可能。 - 2段階から構成:demonstrationをlabeled primitiveに分割する自動segmentation、およびVLM-guided data flywheel。 - simulationとreal-worldのmanipulation taskで評価。

2. 先行研究と比べてどこがすごい?

- 従来のVLAは訓練データに含まれるskillに能力が限定される点が課題。 - InSightはprimitive-actionレベルのsteerabilityを導入し、訓練データに無いskillを自律的に獲得可能にする。 - 新規taskに必要なmissing primitiveをVLMが特定し、自律的にdemonstrationを試行・ラベル付け・統合するdata flywheelを実現。 - 人間によるtarget skillのdemonstration無しで学習できる点が先行研究と異なる。 - 学習後はprimitiveを組み合わせ、追加の人間demonstration無しに新規long-horizon taskを実行可能。

3. 技術・手法の肝は?

- 第1段階:VLM plan decompositionとend-effector poseを用い、demonstrationをlabeled primitiveに自動分割するsegmentation pipeline。 - これによりVLAのprimitive steerabilityを実現。 - 第2段階:VLM-guided data flywheel。 - 新規task達成に必要なmissing primitiveをVLMが特定。 - VLMが提案するlow-level controlでmissing primitiveのdemonstrationを自律的に試行。 - 成功したdemonstrationを自動でlabeling・保存し、VLA訓練セットに統合。 - 学習済みprimitiveは組み合わせて新規long-horizon taskを実行可能。

4. どうやって有効だと検証した?

- simulationとreal-worldのmanipulation taskで評価。 - 対象taskはblock flipping、drawer closing、sweeping、twisting、pouring。 - これらのtarget skillについて人間demonstrationを一切用いずに評価。 - 学習後、primitiveを組み合わせて新規long-horizon taskを追加の人間demonstration無しに実行できることを確認。 - 結果としてprimitive steerabilityがVLA policyの継続的skill獲得の実用的基盤となることを示した。

5. 議論はある?

- 本研究の知見は、primitive steerabilityがVLA policyにおける継続的skill獲得の実用的基盤を提供することを示す。 - 一方、要旨からは限界・失敗事例・計算コスト・安全性などの詳細な議論は不明。 - 評価taskの範囲やVLM依存性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法としてVLAモデル、VLM plan decomposition、data flywheel、primitive-based skill learningが挙げられる。 - 同分野の定番としてvision-language-action models、imitation learning、continual learning、robot manipulation benchmarksが次に読む候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Maggie Wang, Lars Osterberg, Stephen Tian, Ola Shorinwa, Jiajun Wu, Mac Schwager

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Vision-language-action (VLA) models can learn manipulation skills from demonstrations, but their capabilities are bounded by the skills in the training data. We present InSight, a framework that unlocks autonomous skill acquisition by rendering VLAs steerable at the primitive-action level (e.g., "move gripper to the bowl", "lift upward", "pour the bottle"). InSight consists of two primary stages: (1) an automated segmentation pipeline that partitions demonstrations into labeled primitives via VLM plan decomposition and end-effector poses to enable VLA primitive steerability, and (2) a VLM-guided data flywheel that identifies missing primitives required to accomplish a novel task, autonomously attempts demonstrations of the missing primitives with VLM-proposed low-level control, and automatically labels, stores, and integrates successful demonstrations into the VLA training set. We evaluate InSight across simulation and real-world manipulation tasks, including block flipping, drawer closing, sweeping, twisting, and pouring, without any human demonstrations of these target skills. Once learned, these primitives can be composed to execute novel, long-horizon tasks without additional human demonstrations. Our findings demonstrate that primitive steerability provides a practical foundation for continual skill acquisition in VLA policies. Project website: https://insight-vla.github.io.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI