日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.00524

同一シーン、異なるタスク:VLAの合成的汎化のためのスキルアラインメント

Same Scene, Different Task: Skill Alignment for Compositional Generalization in VLAs

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルが未学習のスキル組み合わせに汎化するため、指示を変えた反事実ペアを活用し、既存のスキル実行から監督を転移するCRAFTを提案。

詳しい要約

1. どんなもの?

- VLA modelsのcompositional generalizationを扱う研究。 - fine-tuningで見たskillの組み合わせにしか汎化できない問題に着目。 - 未提示の組み合わせを含むcounterfactual pairsで学習するCRAFTを提案。 - 3つのVLAモデルと2つのsimulation benchmarkで検証。 - 実機ロボットでもcompositional generalizationを改善。

2. 先行研究と比べてどこがすごい?

- 従来のVLAは、構成skillが全て実演済みでも未提示の組み合わせに汎化しにくい。 - 失敗モードとしてvision shortcutを指摘:観測がinstructionの代理となり、類似観測に紐づく実演済み組み合わせを実行しうる。 - 未提示組み合わせのcounterfactual pairsには対応するaction targetが無いという課題に対処。 - 同じskillでも観測により必要actionが異なるため、実演actionを直接targetにできない点を扱う。 - これらを踏まえ、未提示組み合わせの成功率を上げつつ実演済み組み合わせも維持。

3. 技術・手法の肝は?

- counterfactual pairsを構築:demonstration observationを固定し、instructionを未提示の組み合わせに変更。 - これらのpairには対応するdemonstrated action targetsが無い。 - 必要skill自体は実演済みだが、同一skillでも観測ごとにactionが異なるため直接targetにできない。 - CRAFTは、必要skillの実演実行からsupervisionをcounterfactual pairsへ転移。 - 同一skillの実行間で再利用可能なskill representationsを用いる。

4. どうやって有効だと検証した?

- 3つのVLAモデルと2つのsimulation benchmarkで評価。 - 未提示の組み合わせでのsuccessを改善。 - 実演済みの組み合わせでも高いsuccessを維持。 - 実機ロボットでもcompositional generalizationを改善。 - 詳細な評価指標やベースラインは要旨からは不明。

5. 議論はある?

- vision shortcutという失敗モードを提示し、観測がinstructionの代理になることを議論。 - counterfactual pairsにaction targetが無い問題を指摘。 - 同一skillでも観測によりactionが異なるため、実演actionを直接使えない点を議論。 - skill representationsの再利用でsupervision転移する設計を提案。 - 限界や失敗事例、計算コストなどは要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明記されていない。 - 関連手法としてVLA models、vision-language-action、compositional generalization、counterfactual pairs、skill representationsが挙げられる。 - 同分野の定番としてfine-tuning、imitation learning、simulation benchmarks、real robot evaluationが想定される。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Taegeun Yang, Youngju Na, Yoonki Cho, Sung-Eui Yoon

分類: cs.RO, cs.LG

原文アブストラクト

Vision-language-action (VLA) models often struggle to generalize to skill combinations absent from their fine-tuning demonstrations, even when every constituent skill has been demonstrated. We focus on a vision shortcut as one failure mode: during fine-tuning, visual observations can serve as a proxy for the instruction, so a policy may execute a demonstrated combination associated with similar observations rather than the instructed combination. This motivates training with counterfactual pairs formed by holding a demonstration observation fixed while changing the instruction to specify an undemonstrated combination. These pairs, however, lack corresponding demonstrated action targets. Crucially, the currently required skill has already been demonstrated, but actions from those executions cannot serve as direct targets because the same skill can require different actions across observations. We propose CRAFT, which transfers supervision from demonstrated executions of the required skill to counterfactual pairs using skill representations that can be reused across executions of the same skill. Across three VLA models and two simulation benchmarks, CRAFT improves success on undemonstrated combinations while maintaining high success on demonstrated ones; it also improves compositional generalization on a real robot. Project website: https://taegeunyang.github.io/craft/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI