日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.10556

LAP: 言語-行動事前学習によるゼロショットの異機体転移

LAP: Language-Action Pre-Training Enables Zero-shot Cross-Embodiment Transfer

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの低レベル行動を自然言語で表現して事前学習することで、未知のロボット機体にもファインチューニングなしでゼロショット転移できるVLAモデルLAP-3Bを提案した。

詳しい要約

1. どんなもの?

- ロボティクスにおける汎用ポリシーを、新しいロボットembodimentにゼロショットで展開することを目指す研究。 - 既存のVision-Language-Action models (VLAs)は訓練embodimentに強く結合し、微調整が必要。 - 提案手法Language-Action Pre-training (LAP)は、低レベルロボット行動を自然言語で表現し、行動監督を事前学習済みVLMの入出力分布に整合させる。 - LAPに基づくLAP-3Bは、embodiment固有の微調整なしで未知のロボットembodimentへの実質的なゼロショット転移を達成した初のVLA。 - 複数の新規ロボットとマニピュレーションタスクで平均50%以上のゼロショット成功率を達成。

2. 先行研究と比べてどこがすごい?

- 既存のVLAsは大規模マルチembodiment事前学習を行っても訓練embodimentに密結合し、高コストな微調整を要する。 - LAP-3Bはembodiment固有の微調整なしで未知のembodimentにゼロショット転移を実現。 - 平均ゼロショット成功率で最強の先行VLAと比較して約2倍の改善。 - 学習済みトークナイザーや高コストなアノテーション、embodiment固有のアーキテクチャ設計を必要としない。

3. 技術・手法の肝は?

- 低レベルロボット行動を直接自然言語で表現するLanguage-Action Pre-training (LAP)。 - 行動監督を事前学習済みVLMの入出力分布に整合させる。 - 学習済みトークナイザー不要、高コストなアノテーション不要、embodiment固有のアーキテクチャ設計不要。 - 行動予測とVQAを共有のlanguage-action形式で統合し、co-trainingにより追加の利得を得る。

4. どうやって有効だと検証した?

- 複数の新規ロボットとマニピュレーションタスクで評価。 - LAP-3Bは平均50%以上のゼロショット成功率を達成。 - 最強の先行VLAと比較して約2倍の改善を確認。 - 効率的な適応と良好なスケーリングを示し、co-trainingによる追加利得も確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 既存のVision-Language-Action models (VLAs)。 - 関連手法: 大規模マルチembodiment事前学習、VLM、VQA。 - 同分野の定番: ロボティクスにおける汎用ポリシー、ゼロショット転移、マニピュレーションタスク。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lihan Zha, Asher J. Hancock, Mingtong Zhang, Tenny Yin, Yixuan Huang, Dhruv Shah, Allen Z. Ren, Anirudha Majumdar

分類: cs.RO, cs.AI

原文アブストラクト

A long-standing goal in robotics is a generalist policy that can be deployed zero-shot on new robot embodiments without per-embodiment adaptation. Despite large-scale multi-embodiment pre-training, existing Vision-Language-Action models (VLAs) remain tightly coupled to their training embodiments and typically require costly fine-tuning. We introduce Language-Action Pre-training (LAP), a simple recipe that represents low-level robot actions directly in natural language, aligning action supervision with the pre-trained vision-language model's input-output distribution. LAP requires no learned tokenizer, no costly annotation, and no embodiment-specific architectural design. Based on LAP, we present LAP-3B, which to the best of our knowledge is the first VLA to achieve substantial zero-shot transfer to previously unseen robot embodiments without any embodiment-specific fine-tuning. Across multiple novel robots and manipulation tasks, LAP-3B attains over 50% average zero-shot success, delivering roughly a 2x improvement over the strongest prior VLAs. We further show that LAP enables efficient adaptation and favorable scaling, while unifying action prediction and VQA in a shared language-action format that yields additional gains through co-training.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI