日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.11671

StellaVLA: 汎用視覚言語行動モデルのための文脈内構造化デモンストレーション

StellaVLA: In-Context Structured Demonstration for Generalizable Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

StellaVLAは、テスト時に単一の構造化デモンストレーションを条件付けすることで、分布外の状況でも適応できる視覚言語行動モデルを提案する。

詳しい要約

1. どんなもの?

StellaVLAは、Vision-Language-Action (VLA)モデルのテスト時適応を改善するフレームワーク。単一の取得したデモンストレーションを構造化デモ(タスクプラン、サブゴール記述、言語化された3Dモーション)に変換し、それをin-contextガイダンスとしてポリシーに提供する。これにより、シーンや視点、物体が訓練時と異なるOOD状況でも、追加のデータ収集やファインチューニングなしで適応する。

2. 先行研究と比べてどこがすごい?

従来のVLAモデルはOODで性能が低下し、適応にはデータ収集とファインチューニングが必要だった。StellaVLAは、テスト時に単一のデモを構造化してin-contextで与えることで、追加学習なしに適応する点が新しい。また、デモを模倣するのではなく、その理由(タスク計画やサブゴール)を伝えることで、異なるembodiment(実ロボット、人間の手、XRデモ)間で転移可能にする。

3. 技術・手法の肝は?

手法の肝は、オフラインの自動パイプラインで生の軌跡を構造化デモ(タスクプラン、サブゴール記述、言語化された3Dモーション)に変換し、人間の注釈なしで生成すること。並列デュアルトレーニング設計により、訓練中に行動と言語の共同目的で推論を内面化し、推論時は行動エキスパートのみを使用してリアルタイムの高周波制御を維持する。

4. どうやって有効だと検証した?

VLA-Arenaリーダーボード(2026年8月1日時点)で総合スコア0.63を達成し、先行モデル(π0.5とLingBot-VLA)の0.44と0.22を上回った。LIBEROで平均成功率98.8%、LIBERO-Plusで85.1%を達成。実ロボットベンチマークでは、人間/ロボットデモと人間からロボットへのXRデモをin-context構造化デモとして使用し、OODタスクへの適応を実証した。

5. 議論はある?

要旨からは、構造化デモの品質や取得方法の影響、OODの程度による性能変化、他のVLAモデルへの適用可能性などについての議論は不明。また、実ロボット実験の詳細や、デモの選択方法(retrieved demonstration)の基準も要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されている先行モデルはπ0.5とLingBot-VLA。また、VLA-ArenaやLIBERO、LIBERO-Plusなどのベンチマークが関連。次に読むべき論文としては、これらのベースとなったVLAモデル(例:Vision-Language-Actionモデルの一般)や、in-context learningをロボットに適用した研究が考えられるが、要旨からは特定できない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siyu Xu, Yunke Wang, Zijian Wang, Dihao Zhu, Chenghao Xia, Chengbin Du, Daochang Liu, Tao Huang, Chang Xu

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models can follow instructions and manipulate objects, but their performance often collapses out of distribution (OOD), when the scene, viewpoint, or object differs from training. Adapting to each new situation typically requires collecting more data and fine-tuning. We present StellaVLA, a framework that instead adapts at test time by conditioning on a single retrieved demonstration. The key idea is to move beyond imitating what an expert did and instead convey why: an automated offline pipeline converts each raw trajectory into a structured demonstration, e.g., a task plan, sub-goal descriptions, and verbalized 3D motion, at zero human-annotation cost. Provided as in-context guidance, this structured demonstration lets the policy reason about the task rather than mimic a pixel trajectory, which also makes it transferable across embodiments (real-robot, human-hand, or XR demonstrations). A parallel dual-training design internalizes this reasoning during training through a joint action-and-language objective, while inference uses the action expert alone, preserving real-time, high-frequency control with no added latency. On the VLA-Arena leaderboard(Aug 1, 2026), StellaVLA ranks first with an overall score of 0.63, versus 0.44 and 0.22 for the strong prior models ($\pi_{0.5}$ and LingBot-VLA), and it further leads on LIBERO with 98.8% average success rate and LIBERO-Plus with 85.1% success rate. Our real-robot benchmark demonstrates that StellaVLA can use both human/robot demos and human-to-robot (XR) demos as in-context structured demonstration to help VLA model adapt to OOD tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI