ロボット操作のベンチマークは実際に何を測っているのか？

- ロボットマニピュレーションのベンチマークスコアが、一般的な操作能力の証拠として扱われる問題を指摘する研究。 - 4つの失敗モードを特定: shortcut solvability、lack of statistical significance、creeping overfitting、data-source dependence。 - 各失敗モードに対応する診断法を1つずつ提案。 - LIBERO、CALVIN、SimplerEnv、RoboCasa、RoboTwin 2.0を診断。 - LIBEROとCALVINは複数の診断で失敗。RoboCasaとRoboTwin 2.0は失敗が少ないが、最近の進歩主張ではあまり登場しない。 - 診断法と参照実装を公開し、スコアを進歩の証拠とする前に適用するよう促す。

- 従来は単一の固定評価設定での成功率を一般的な操作能力の証拠とみなしていた。 - 本研究は、そのようなスコアが有効な代理指標とならない4つの失敗モードを明示的に特定。 - 各失敗モードに対する診断法を提案し、複数の主要ベンチマークを監査した点が新しい。 - LIBEROでは言語エンコーダなしの0.09Bプローブが報告SOTAと同等以上、多くの報告改善が統計的有意でないことを示した。 - CALVINでは訓練範囲内でブロック姿勢をランダム化すると全テストポリシーの性能が低下することを示した。

- 4つの失敗モードを定義: shortcut solvability、lack of statistical significance、creeping overfitting、data-source dependence。 - 各失敗モードに対応する診断法を1つずつ提案。 - LIBERO、CALVIN、SimplerEnv、RoboCasa、RoboTwin 2.0に診断を適用。 - LIBEROでは言語エンコーダなしの0.09Bプローブを評価。 - CALVINでは訓練範囲内でブロック姿勢をランダム化する実験を実施。 - 診断法の参照実装を公開。

- LIBERO、CALVIN、SimplerEnv、RoboCasa、RoboTwin 2.0の5つのベンチマークを診断で監査。 - LIBEROとCALVINが複数の診断で失敗することを確認。 - RoboCasaとRoboTwin 2.0は失敗が少ないが、最近の進歩主張ではあまり使われていないことを指摘。 - LIBEROで0.09Bプローブが報告SOTAと同等以上、多くの改善が統計的有意でないことを示す。 - CALVINで訓練範囲内のブロック姿勢ランダム化により全テストポリシーの性能低下を確認。

- ベンチマークスコアを一般的な操作能力の証拠とすることの危険性を議論。 - 4つの失敗モードがベンチマークの有効性を弱めるか無効化することを主張。 - LIBEROとCALVINの失敗は、最近の進歩主張の信頼性に疑問を投げかける。 - RoboCasaとRoboTwin 2.0は失敗が少ないが、進歩主張での使用が少ない理由は要旨からは不明。 - 診断法を公開し、著者と査読者がスコアを進歩の証拠とする前に適用することを推奨。

- LIBERO、CALVIN、SimplerEnv、RoboCasa、RoboTwin 2.0の各ベンチマーク論文。 - 提案された4つの診断法の参照実装（https://ripl.github.io/manipulation_benchmark_audit/）。 - ロボットマニピュレーションのベンチマーク設計や評価方法に関する研究。 - 統計的有意性や過学習に関する一般的な機械学習評価の文献。