日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.02735

少なく見て、多く指定する:汎用VLAのための視覚的証拠予算

See Less, Specify More: Visual Evidence Budgets for Generalizable VLAs

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動(VLA)モデルの汎化を改善するため、指示を詳細な軌跡・サブタスク言語で再ラベルし、明示的な視覚的証拠予算を課して実行器を訓練するフレームワークS2を提案した。

詳しい要約

1. どんなもの?

- 視覚言語行動(VLA)モデルの汎化を改善するフレームワーク S2 (See Less, Specify More) を提案。 - 実行者(executor)をよりクリーンなインターフェースで訓練する。 - Specify More: 元の指示を高レベル目標として保持しつつ、各軌道を軌道・サブタスクレベルの洗練された言語に再ラベル付け。 - See Less: 明示的な視覚証拠予算(visual evidence budget)を課し、領域やマスク注釈なしでタスク十分な証拠から行動するよう訓練。 - 既製の VLM planner と in-context learning で互換。

2. 先行研究と比べてどこがすごい?

- 従来の VLA は粗い指示から局所的な実行詳細を推論し、制御に重要な画像部分を自ら判断する必要があった。 - S2 は実行者に詳細な局所ガイダンスとタスク十分な視覚証拠を与えることで、この負担を軽減。 - 主なアブレーションで、目標保持型の局所ガイダンスが指示置換より優れることを示す。 - 明示的な証拠予算が効率以外の理由でも広い視覚文脈への依存を減らす。 - 実ロボット8タスクで pi0.5 に対し平均サブタスク成功率を 54.2% から 79.0% に向上。

3. 技術・手法の肝は?

- Specify More: 元の指示を安定した高レベル目標として保持し、各軌道を軌道・サブタスクレベルの言語に再ラベル付けし、現在の実行モードを明確化。 - See Less: 明示的な視覚証拠予算を課し、領域・マスク注釈なしでタスク十分な証拠から行動するよう実行者を訓練。 - このインターフェースにより、実行者は詳細ガイダンスに従いつつ、妨害的な視覚パッチや回避可能な曖昧さに依存しない。 - 既製の VLM planner と in-context learning で互換。

4. どうやって有効だと検証した?

- 主な評価設定で全体的な汎化指標を改善。 - 主なアブレーションで、粗い指示が回避可能な supervision aliasing を引き起こすこと、目標保持型局所ガイダンスが指示置換より優れること、明示的証拠予算が広い視覚文脈への依存を減らすことを示す。 - TX-G2 (AgiBot G2 互換変種) と HSR 上の8つの実ロボットタスクで、pi0.5 に対し平均サブタスク成功率を 54.2% から 79.0% に向上。

5. 議論はある?

- 結果は、実行者が弱い監督から両方を回復するのではなく、情報豊富な局所ガイダンスとタスク十分な視覚証拠から行動するよう訓練されると VLA 汎化が改善することを示唆。 - 要旨からは、限界や失敗事例、計算コストなどの詳細な議論は不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている pi0.5 を挙げる。 - 関連手法として VLA モデル、VLM planner、in-context learning が挙げられる。 - 同分野の定番として vision-language-action (VLA) モデル、vision-language model (VLM) が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yueh-Hua Wu, Tatsuya Matsushima, Kei Ota

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Generalization remains a central bottleneck for vision-language-action (VLA) models: under distractors, appearance shifts, and semantically similar tasks, the policy must often infer local execution details from coarse instructions while also deciding which parts of the image matter for control. We present S2 (See Less, Specify More), a framework for improving VLA generalization by training the executor under a cleaner interface. Specify More preserves the original instruction as a stable high-level goal while relabeling each trajectory into refined trajectory- and subtask-level language that disambiguates the current execution mode. Unlike native attention, See Less imposes an explicit visual evidence budget, training the executor to act from task-sufficient evidence rather than unconstrained visual context, without any region or mask annotation. This interface lets the executor follow detailed guidance without relying on distracting visual patches or resolving avoidable ambiguity on its own, and it remains compatible with off-the-shelf VLM planners through in-context learning. Across our main evaluation settings, S2 improves overall generalization metrics by changing the executor's learning problem: coarse instructions induce avoidable supervision aliasing, goal-preserving local guidance outperforms instruction replacement in our main ablations, and explicit evidence budgeting reduces dependence on broad visual context beyond efficiency considerations. Across eight real-robot tasks on TX-G2 (an AgiBot G2-compatible variant) and HSR, S2 raises mean subtask success from 54.2% to 79.0% over pi0.5. Together, these results suggest that VLA generalization improves when the executor is trained to act from informative local guidance and task-sufficient visual evidence, rather than recovering both from weak supervision.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI