日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/評価ベンチマークarXiv:2606.29247

SurgVLA-Bench: 腹腔鏡手術ロボットのための視覚言語行動モデル評価ベンチマーク

SurgVLA-Bench: Towards Evaluating Vision-Language-Action Models for Laparoscopic Surgical Robotics

シェア:XThreadsFacebookLINEはてブBluesky

腹腔鏡手術ロボット向けのVLAモデルを評価する初の包括的ベンチマークを提案し、SurRoLシミュレーション上で階層的タスクと多次元評価フレームワークを構築した。

詳しい要約

1. どんなもの?

- 腹腔鏡手術ロボティクスにおけるVision-Language-Action (VLA)モデル評価のための初の包括的ベンチマークSurgVLA-Benchを提案。 - SurRoLシミュレーションプラットフォームを活用し、原子行動から完全な手術手順までの階層的タスク分類を構築。 - 行動精度と意味的一貫性を評価する多次元評価フレームワークを備える。 - 自己回帰モデル(OpenVLAなど)とフローマッチングモデル(π0, π0.5, SmolVLAなど)の2つの代表パラダイムを体系的に評価。

2. 先行研究と比べてどこがすごい?

- 一般ロボティクス向けのVLAベンチマークは普及しているが、手術コンテキストに特化した標準評価プラットフォームは存在しなかった。 - SurgVLA-Benchは手術ロボティクスにおけるVLAモデル評価のための最初の包括的ベンチマークである点が新しい。 - 従来の一般ベンチマークと異なり、腹腔鏡手術の制約(限られた視野、視角制限、頻繁な遮蔽)を考慮した評価が可能。

3. 技術・手法の肝は?

- SurRoLシミュレーションプラットフォームを基盤として使用。 - 階層的タスク分類:原子行動から完全な手術手順までをカバー。 - 多次元評価フレームワーク:行動精度と意味的一貫性を評価。 - 自己回帰モデル(OpenVLA)とフローマッチングモデル(π0, π0.5, SmolVLA)を代表例として系統的に評価。

4. どうやって有効だと検証した?

- 2つの代表パラダイム(自己回帰モデルとフローマッチングモデル)をSurgVLA-Bench上で体系的に評価。 - 実験結果:自己回帰モデルは意味理解に優れる傾向、フローマッチングモデルはタスク精度が高いが汎化にトレードオフがある可能性。 - 最高性能モデルでも満足できるレベルには程遠く、内視鏡視野の制約、視角制限、頻繁な遮蔽が根本的な物理的ボトルネックとして残ることを示した。

5. 議論はある?

- 自己回帰モデルとフローマッチングモデルの特性の違い(意味理解 vs タスク精度)が議論されている。 - フローマッチングモデルは汎化にトレードオフがある可能性が指摘されている。 - 内視鏡視野の制約、視角制限、頻繁な遮蔽といった物理的ボトルネックが、最高性能モデルでも解決されていない根本的課題として議論されている。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- OpenVLA(自己回帰モデルの代表例) - π0, π0.5, SmolVLA(フローマッチングモデルの代表例) - SurRoL(シミュレーションプラットフォーム) - 一般ロボティクス向けVLAベンチマーク(具体的名称は要旨に記載なし)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiashuo Sun, Yue He, Wenxuan Liu, Tao Mao, Jiazheng Wang, Xiang Chen, Min Liu

分類: cs.AI

原文アブストラクト

Vision-Language-Action (VLA) models represent a promising direction for embodied intelligence in surgical robotics. Despite the prevalence of VLA benchmarks for general robotics, standardized evaluation platforms specifically designed for surgical contexts remain absent. To address this limitation, we present SurgVLA-Bench, the first comprehensive benchmark for evaluating VLA models in laparoscopic surgical robotics. Leveraging the SurRoL simulation platform, we construct a hierarchical task taxonomy ranging from atomic actions to complete surgical procedures, complemented by a multi-dimensional evaluation framework assessing action accuracy and semantic consistency. We then systematically evaluate two representative paradigms, including autoregressive models such as OpenVLA, and flow matching models such as $π_{0}$, $π_{0.5}$, and SmolVLA. Our experiments show that autoregressive models tend to excel in semantic understanding, while flow matching models often achieve higher task precision but may face generalization trade-offs. However, even the best-performing models remain far from satisfactory, as the constrained endoscopic field of view, restricted viewing angles, and frequent occlusions persist as fundamental physical bottlenecks. The code and data are available at https://github.com/VCL-HNU/SurgVLA

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI