日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/言語アノテーションarXiv:2605.17077

ロボットへの指示方法:高密度言語アノテーションがロボットポリシー学習を強化する

How to Instruct Your Robot: Dense Language Annotations Power Robot Policy Learning

シェア:XThreadsFacebookLINEはてブBluesky

デモンストレーションの収集コストを増やさずに、VLMで生成した多面的な高密度言語アノテーションを活用してロボットポリシーの学習を改善する手法を提案した。

詳しい要約

1. どんなもの?

- ロボット政策学習のスケーリングを、既存デモンストレーションへの言語注釈の密度向上で実現する研究。 - DeMiAn (Dense Multi-aspect Annotation) を提案。 - 2段階アプローチ。 - 第1段階: VLM生成注釈でデモ区間を再ラベル付け。 - 4つの相補的側面: physical motion, scene composition, arm pose, reasoning。 - 第2段階: 学習されたinstructorがタスク記述と初期シーンスナップショットから適切な注釈を生成。 - 非同期実行で生成遅延を政策実行の背後に隠す。 - 1M以上のロボット操作クリップと50KのEgoVerse人間視点動画で評価。 - vision-language-action政策とvideo-based world-action modelを改善。

2. 先行研究と比べてどこがすごい?

- 従来はデモ収集コストがボトルネックだったが、既存デモへの言語注釈は比較的安価。 - 言語密度をレバーとして固定コーパスからより多くの信号を抽出。 - 新規デモ収集なしで政策とworld-action modelを改善。 - RoboCasaで、task-onlyベースラインより成功率5ポイント向上、per-task oracleに3ポイント以内。 - 固定注釈側面がタスク間で支配的でないことを示し、適切な密な言語の選択が重要と判明。 - 複合タスクと分布外性能も改善。 - 注釈生成FLOPsを考慮後、mid-trainingとpost-trainingの計算性能フロンティアをシフト。

3. 技術・手法の肝は?

- DeMiAnは2段階。 - 第1段階: VLM生成注釈でデモ区間を再ラベル付け。 - 4側面: physical motion, scene composition, arm pose, reasoning。 - 第2段階: 学習されたinstructorがタスク記述と初期シーンスナップショットからタスク適切な注釈を生成。 - 非同期実行で生成遅延を政策実行の背後に隠す。 - 既存のロボットまたはegocentric-videoコーパスを活用。 - 言語密度を高めることで政策学習の信号を増強。

4. どうやって有効だと検証した?

- 1M以上のロボット操作クリップと50KのEgoVerse人間視点動画で評価。 - vision-language-action政策とvideo-based world-action modelの両方を改善。 - RoboCasaで、task-onlyベースラインより成功率5ポイント向上、per-task oracleに3ポイント以内。 - 複合タスクと分布外性能の改善を確認。 - 注釈生成FLOPsを考慮後、mid-trainingとpost-trainingの計算性能フロンティアをシフト。

5. 議論はある?

- 固定注釈側面がタスク間で支配的でないことを示し、適切な密な言語の選択が重要。 - 密な再注釈がロボット政策学習の実用的なスケーリングレバーとして位置づけられる。 - 注釈生成FLOPsを考慮した計算性能フロンティアのシフトを議論。 - その他の限界や議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: task-onlyベースライン、per-task oracle。 - 関連手法: vision-language-action政策、video-based world-action model、VLM生成注釈。 - データセット: RoboCasa、EgoVerse。 - 同分野の定番: ロボット政策学習、模倣学習、言語条件付き政策学習。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bosung Kim, Ruiyi Wang, David Acuna, Jaehun Jung, Alexander Trevithick, Brandon Cui, Yejin Choi, Prithviraj Ammanabrolu

分類: cs.RO, cs.AI

原文アブストラクト

Scaling robot policy learning is bottlenecked by the cost of collecting demonstrations, while language annotations for existing demonstrations are comparatively cheap. We study language density as a lever for extracting more signal from a fixed robot or egocentric-video corpus. We introduce DeMiAn (Dense Multi-aspect Annotation), a two-stage approach that first re-labels demonstration segments with VLM-generated annotations along four complementary aspects: physical motion, scene composition, arm pose, and reasoning. A learned instructor then maps a task description and initial scene snapshot to a task-appropriate annotation at deployment, running asynchronously so generation latency is hidden behind policy execution. Across over 1M robot manipulation clips and 50K EgoVerse human-egocentric videos, DeMiAn improves both a vision-language-action policy and a video-based world-action model without collecting new demonstrations. On RoboCasa, the instructor raises success by 5 points over a task-only baseline and comes within 3 points of a per-task oracle. No fixed annotation aspect dominates across tasks, showing that selecting the right dense language matters. DeMiAn also improves composite-task and out-of-distribution performance, and shifts the compute-performance frontier in both mid-training and post-training after accounting for annotation-generation FLOPs. These results position dense re-annotation as a practical scaling lever for robot policy learning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI