ManipArena：推論指向の汎用ロボットマニピュレーションの実世界包括評価

- 視覚-言語-行動（VLA）モデルとworld-actionモデルの汎用ロボット操作を評価するための、実世界ロボット評価フレームワーク「ManipArena」を提案。 - 20タスク、10,812のexpert trajectories、13.5M frames、約188 robot hoursを含み、tabletopとmobile manipulationをカバー。 - schema-defined task variation、stratified in-domain、visual-shift、semantic-OOD trials、subtask-level partial-credit scoring、3-level language annotations、low-level motor signals、paired real-to-sim environmentsを統合。 - 7つのtabletop configurations（VLAとworld-action-model policies）を評価。

- シミュレータ中心のベンチマークは規模と再現性を提供するが、perception noise、contact dynamics、latency、calibration error、hardware constraintsによるreality gapを捉えきれない。 - 実ロボット評価はプラットフォーム、シーン、物体、スコアリングルールが断片化し、公平な比較とfailure attributionが困難。 - ManipArenaはmatched physical conditionsの下で操作の汎化を研究する標準化された実ロボット評価フレームワークを提供し、これらの問題に対処。

- schema-defined task variationによりタスクの変動を体系的に定義。 - stratified in-domain、visual-shift、semantic-OOD trialsを組み合わせ、汎化性能を層別評価。 - subtask-level partial-credit scoringを導入し、部分的な成功を評価。 - 3-level language annotations、low-level motor signals、paired real-to-sim environments（物理シーンから再構築）を活用。 - これらにより、再現可能で解釈可能な診断を可能にする。

- ManipArenaを用いて、VLAとworld-action-model policiesを含む7つのtabletop configurationsを評価。 - 結果として、実ロボットでの結論はアーキテクチャだけでなく、model provenance、fine-tuning regime、data sampling、annotation granularityにも依存することを示した。 - これにより、embodied generalizationの能力境界とfailure modesを診断する基盤を提供。

- 実ロボット評価の結論がアーキテクチャ以外の要因（model provenance、fine-tuning regime、data sampling、annotation granularity）に依存することを指摘。 - シミュレータと実ロボットのギャップや評価の断片化といった課題に対処する必要性を示唆。 - 具体的な議論や限界については要旨からは不明。

- 要旨で参照/比較されている研究：VLA models、world-action models、simulator-centric benchmarks、real-robot evaluations。 - 関連手法：Vision-Language-Action (VLA) models、world-action models。 - 同分野の定番：robot manipulation benchmarks（例：RLBench、Meta-Worldなど）が考えられるが、要旨では明示されていない。