日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.11298

ロボットマニピュレーション向けVision-Language-Actionモデルのベンチマーク経験

Experiences from Benchmarking Vision-Language-Action Models for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

4つの代表的なVLAモデル(ACT、OpenVLA-OFT、RDT-1B、π0)をシミュレーションと実機ALOHA Mobileで4タスクにわたり標準化評価し、精度・適応性・指示追従性の観点から比較した実践的知見を報告する。

詳しい要約

1. どんなもの?

- 本論文は、ロボティクス向け基盤モデル、特に Vision-Language-Action (VLA) モデルの実世界評価とモデル間比較の不足を埋めるための実証的ベンチマーク報告である。 - 4つの代表的な VLA モデル、すなわち ACT、OpenVLA-OFT、RDT-1B、π0 を対象とする。 - 4つの manipulation タスクを simulation と ALOHA Mobile プラットフォームの両方で実施する。 - 標準化された評価フレームワークを構築し、精度・効率、適応性、言語指示追従精度の3次元で性能を測定する。

2. 先行研究と比べてどこがすごい?

- 先行研究では VLA モデルの体系的な実世界評価や cross-model comparison が scarce であると指摘している。 - 本論文は4つの代表 VLA を同一の standardized evaluation framework で比較する点が特徴である。 - simulation と実機 ALOHA Mobile の両方で評価する点も、実世界展開を見据えた比較として位置づけられる。 - 具体的な先行研究名との比較は要旨からは不明。

3. 技術・手法の肝は?

- 評価の肝は、標準化された評価フレームワークにより3つの次元を測る点にある。 - 第1次元は accuracy and efficiency で、success rate と time-to-success を測定する。 - 第2次元は adaptability で、in-distribution、spatial out-of-distribution、instance-plus-spatial out-of-distribution の設定を区別する。 - 第3次元は language instruction-following accuracy である。 - 対象モデルは ACT、OpenVLA-OFT、RDT-1B、π0 で、4つの manipulation タスクを simulation と ALOHA Mobile で実行する。

4. どうやって有効だと検証した?

- 4つの manipulation タスクを simulation と ALOHA Mobile 上で実施し、4つの VLA モデルを比較した。 - 3次元の評価軸、すなわち success rate と time-to-success、in-distribution および out-of-distribution への適応性、language instruction-following accuracy を用いて検証している。 - 結果として π0 は out-of-distribution シナリオで優れた適応性を示し、ACT は in-distribution で最も高い安定性を示した。 - 計算要求、data-scaling behavior、near-miss grasps、premature releases、long-horizon state drift などの失敗モードの分析も行っている。

5. 議論はある?

- VLA モデルアーキテクチャ間には、precision、generalization、deployment cost のバランスに関する実用的な trade-off があることが示唆される。 - π0 の out-of-distribution 適応性と ACT の in-distribution 安定性という異なる強みが観察されている。 - 計算要求や data-scaling behavior の違い、near-miss grasps、premature releases、long-horizon state drift といった再発する失敗モードが議論されている。 - 実世界の robotic manipulation タスクにおける VLA の選択と展開に向けた actionable insights を提供する。 - 具体的な議論の詳細や限界は要旨からは不明。

6. 次に読むべき論文は?

- 本論文で比較対象となっている ACT、OpenVLA-OFT、RDT-1B、π0 の原論文・手法論文。 - VLA モデルの評価に関連する standardized evaluation framework や benchmark 研究。 - out-of-distribution 適応性や language instruction-following を扱う manipulation 研究。 - 要旨で明示的に参照されている個別の先行研究はないため、上記は比較対象手法と同分野の関連研究を一般名で挙げたものである。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yihao Zhang, Yuankai Qi, Xi Zheng

分類: cs.RO, cs.AI

原文アブストラクト

Foundation models applied in robotics, particularly \textbf{Vision--Language--Action (VLA)} models, hold great promise for achieving general-purpose manipulation. Yet, systematic real-world evaluations and cross-model comparisons remain scarce. This paper reports our \textbf{empirical experiences} from benchmarking four representative VLAs -- \textbf{ACT}, \textbf{OpenVLA--OFT}, \textbf{RDT-1B}, and \boldmath{$\pi_0$} -- across four manipulation tasks conducted in both simulation and on the \textbf{ALOHA Mobile} platform. We establish a \textbf{standardized evaluation framework} that measures performance along three key dimensions: (1) \textit{accuracy and efficiency} (success rate and time-to-success), (2) \textit{adaptability} across in-distribution, spatial out-of-distribution, and instance-plus-spatial out-of-distribution settings, and (3) \textit{language instruction-following accuracy}. Through this process, we observe that \boldmath{$\pi_0$} demonstrates superior adaptability in out-of-distribution scenarios, while \textbf{ACT} provides the highest stability in-distribution. Further analysis highlights differences in computational demands, data-scaling behavior, and recurring failure modes such as near-miss grasps, premature releases, and long-horizon state drift. These findings reveal practical trade-offs among VLA model architectures in balancing precision, generalization, and deployment cost, offering actionable insights for selecting and deploying VLAs in real-world robotic manipulation tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI