日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.13578

LabVLA: 科学実験室における視覚言語行動モデルの基盤構築

LabVLA: Grounding Vision-Language-Action Models in Scientific Laboratories

シェア:XThreadsFacebookLINEはてブBluesky

科学実験室向けのVLAモデルを開発し、シミュレーションデータ生成と2段階学習で実験プロトコルの実行を可能にした。

詳しい要約

1. どんなもの?

- 科学実験室でのプロトコル実行をロボットで行うための Vision-Language-Action (VLA) モデル - 実験室特有の器具・透明液体・固定ワークフローに対応 - データと embodiment のギャップを埋めるため RoboGenesis と LabVLA を提案 - LabUtopia benchmark で評価

2. 先行研究と比べてどこがすごい?

- 既存 VLA は家庭用・卓上デモ中心で実験室環境をほとんど経験しない - 実験室向けの supervision と多様なロボット embodiment を扱う統合学習フレームワークが不足 - 本研究はデータと embodiment を主要ボトルネックと特定し、両方に対処 - LabUtopia benchmark で in-distribution と out-of-distribution の両設定で最高平均成功率を達成

3. 技術・手法の肝は?

- RoboGenesis: シミュレーションベースのワークフロー・データエンジン - 原子スキルから実験室ワークフローを構成 - ロールアウトを検証・フィルタリング - 対応ロボットプロファイルに構造化デモを出力 - LabVLA: 二段階学習レシピ - FAST action token pretraining で Qwen3-VL-4B-Instruct backbone を action aware に - flow matching posttraining で DiT action expert を knowledge insulation 下で接続

4. どうやって有効だと検証した?

- LabUtopia benchmark で評価 - in-distribution および out-of-distribution 設定の両方で、評価した全ベースライン中最高の平均成功率を達成 - 詳細な比較対象や実験条件は要旨からは不明

5. 議論はある?

- データと embodiment が中心的なボトルネックであると指摘 - 実験室特有の supervision と統合学習フレームワークの必要性を議論 - 具体的な限界や今後の課題については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 既存 VLA モデル(家庭用・卓上デモで訓練) - 関連手法: Vision-Language-Action (VLA) モデル、FAST action token pretraining、flow matching、DiT action expert - 同分野の定番: ロボティクスにおける VLA モデル全般(例: RT-1, RT-2, OpenVLA など)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Baochang Ren, Xinjie Liu, Xi Chen, Yanshuo Liu, Chenxi Li, Daqi Gao, Zeqin Su, Jintao Xing, Zirui Xue, Rui Li, Xiangyu Zhao, Shuofei Qiao, Minting Pan, Wangmeng Zuo, Lei Bai, Dongzhan Zhou, Ningyu Zhang, Huajun Chen

分類: cs.CL, cs.AI, cs.LG, cs.MM, cs.RO

原文アブストラクト

Scientific laboratories increasingly rely on AI systems to reason about experiments, but the physical act of doing science remains largely outside their reach. AI can help read literature, generate hypotheses, and plan protocols, yet the execution of those protocols at the bench still requires a human operator. Vision-Language-Action (VLA) models provide one possible interface between written protocols and robot execution, but existing policies are trained mostly on household and tabletop demonstrations and rarely encounter the instruments, transparent liquids, or fixed protocol workflows found in scientific laboratories. Closing this gap requires both laboratory-specific supervision and a unified learning framework that can accommodate the diverse robot embodiments used to execute experimental protocols. We therefore identify data and embodiment as central bottlenecks alongside model design. To address the data side, we build RoboGenesis, a simulation-based workflow and data engine that composes configured laboratory workflows from atomic skills, validates and filters rollouts, and exports structured demonstrations across supported robot profiles. On the policy side, we present LabVLA, trained with a two-stage recipe: FAST action token pretraining first makes the Qwen3-VL-4B-Instruct backbone action aware before any continuous control is learned, and flow matching posttraining then attaches a DiT action expert under knowledge insulation. On the LabUtopia benchmark, LabVLA achieves the highest average success rate among all evaluated baselines under both in-distribution and out-of-distribution settings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI