SO-101における視覚言語行動モデルのベンチマーク：失敗と回復の分析

- 低コストロボット SO-101 上で VLA と模倣学習ポリシーを評価する実世界ベンチマーク。 - 4つの操作タスクと統一評価プロトコルを提供。 - 実機の teleoperated demonstrations で π_{0.5}, SmolVLA, Wall-X, ACT を fine-tune し評価。 - 成功率に加え failure taxonomy、semantic/execution レベルの分解、recovery-aware 指標を導入。

- 既存評価は simulation か高価なロボットが中心で、低コスト実機での robustness は未探索。 - 本研究は affordable な SO-101 上で embodiment uncertainty 下の系統比較を可能にする。 - 二値の成功率を超え、failure と recovery を分析する点が新しい。

- SO-101 上で実世界 teleoperated demonstrations を用いて π_{0.5}, SmolVLA, Wall-X, ACT を fine-tune。 - 4タスクの統一評価プロトコルを設計。 - structured failure taxonomy と semantic/execution レベルの failure decomposition を導入。 - recovery-aware evaluation metrics でポリシーの robustness を特徴づける。

- 実機 SO-101 上で代表的な VLA と imitation learning ポリシーを fine-tune し評価。 - 成功率、failure taxonomy、semantic/execution 分解、recovery 指標で比較。 - 結果、pretrained VLA は imitation learning baseline を概ね上回るが、低コスト実機ではタスク依存性が高い。 - execution instability が主要な failure 源で、recovery 能力はアーキテクチャ間で大きく異なる。

- 二値のタスク成功率を超え、failure と recovery 分析の重要性を示す。 - 低コスト実機展開条件下での embodied AI 評価の実用的ベンチマークとして SO-101 を確立。 - 性能はタスク依存で、execution instability が支配的な failure 源。 - recovery 能力のアーキテクチャ間差が議論の焦点。

- π_{0.5} - SmolVLA - Wall-X - ACT - imitation learning の代表手法 - Vision-Language-Action (VLA) モデル全般