日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2604.05014

StarVLA: 視覚言語行動モデル開発のためのレゴ風コードベース

StarVLA: A Lego-like Codebase for Vision-Language-Action Model Developing

シェア:XThreadsFacebookLINEはてブBluesky

VLA研究の断片化を解消するため、モジュール式のバックボーン・アクションヘッド構造と統一評価インターフェースを備えたオープンソースコードベースStarVLAを提案した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) 研究向けのオープンソース codebase「StarVLA」 - 汎用 embodied agent 構築のため、知覚・言語理解・行動を統合する VLA 手法を支援 - 断片化した architectures・codebases・評価プロトコルを統合することを目的とする - モジュール型 backbone–action-head 設計を採用 - 活発に保守・拡張中で、code と documentation を GitHub で公開

2. 先行研究と比べてどこがすごい?

- 従来 VLA 手法は architectures・codebases・評価プロトコルが互換性なく断片化 - 原理的な比較や再現性が困難という課題があった - StarVLA は backbone と action head を独立に交換可能な共通抽象を提供 - 複数 benchmarks を統一評価 interface で統合 - 最小限の data engineering で既存手法に匹敵または上回る再現可能な training recipes を提供 - 著者らによれば最も包括的なオープンソース VLA framework の一つ

3. 技術・手法の肝は?

- modular backbone–action-head architecture を採用 - VLM backbones (例: Qwen-VL) と world-model backbones (例: Cosmos) をサポート - 代表的な action-decoding paradigms を共通抽象下で扱う - backbone と action head をそれぞれ独立に交換可能 - 再利用可能な training strategies を提供 - cross-embodiment learning - multimodal co-training - 統一評価 interface で simulation と real-robot deployment の両方を支援

4. どうやって有効だと検証した?

- 主要 benchmarks を統合して評価 - LIBERO - SimplerEnv - RoboTwin 2.0 - RoboCasa-GR1 - BEHAVIOR-1K - 単一 benchmark 向けの fully reproducible training recipes を提供 - 最小限の data engineering にもかかわらず、VLM および world-model backbones の両方で複数 benchmarks において既存手法に匹敵または上回る結果 - 具体的な数値や実験詳細は要旨からは不明

5. 議論はある?

- VLA 研究の断片化が比較・再現性を妨げるという問題意識を提示 - StarVLA が既存手法の再現や新手法の prototyping の障壁を下げると主張 - 最も包括的なオープンソース VLA framework の一つと位置づけ - 活発に保守・拡張中であり、プロジェクトの進展に応じて report を更新予定 - 限界や制約に関する具体的な議論は要旨からは不明

6. 次に読むべき論文は?

- Qwen-VL (VLM backbone の例) - Cosmos (world-model backbone の例) - LIBERO - SimplerEnv - RoboTwin 2.0 - RoboCasa-GR1 - BEHAVIOR-1K - 関連する VLA 手法や vision-language models、world models の先行研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: StarVLA Community

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Building generalist embodied agents requires integrating perception, language understanding, and action, which are core capabilities addressed by Vision-Language-Action (VLA) approaches based on multimodal foundation models, including recent advances in vision-language models and world models. Despite rapid progress, VLA methods remain fragmented across incompatible architectures, codebases, and evaluation protocols, hindering principled comparison and reproducibility. We present StarVLA, an open-source codebase for VLA research. StarVLA addresses these challenges in three aspects. First, it provides a modular backbone--action-head architecture that supports both VLM backbones (e.g., Qwen-VL) and world-model backbones (e.g., Cosmos) alongside representative action-decoding paradigms, all under a shared abstraction in which backbone and action head can each be swapped independently. Second, it provides reusable training strategies, including cross-embodiment learning and multimodal co-training, that apply consistently across supported paradigms. Third, it integrates major benchmarks, including LIBERO, SimplerEnv, RoboTwin~2.0, RoboCasa-GR1, and BEHAVIOR-1K, through a unified evaluation interface that supports both simulation and real-robot deployment. StarVLA also ships simple, fully reproducible single-benchmark training recipes that, despite minimal data engineering, already match or surpass prior methods on multiple benchmarks with both VLM and world-model backbones. To our best knowledge, StarVLA is one of the most comprehensive open-source VLA frameworks available, and we expect it to lower the barrier for reproducing existing methods and prototyping new ones. StarVLA is being actively maintained and expanded; we will update this report as the project evolves. The code and documentation are available at https://github.com/starVLA/starVLA.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI