Vision-Language-Actionモデルのペア評価におけるテスト状態同一性の検証

- 本論文は、Vision-Language-Action Models (VLA) のシミュレーション評価における paired comparison の妥当性を問う評価整合性フレームワーク。 - 同一の task・seed・episode ID が一致していても、vectorized reset や autoreset の条件下では termination timing の違いにより後続の initial-state assignment が変わり得る点を指摘。 - 不変条件 I1–I5、provenance logging、任意の scene fingerprints、自動 checker から構成。 - LeRobot 0.6.1 の LIBERO harness 上で emulated controllers を用いた制御実験も実施。 - 実 VLA の shared-vector 実験は未完了であり、主張は限定的。

- 従来の VLA 評価は、task・seed・episode ID の一致を同一テスト条件の十分な証拠とみなしてきた。 - 本論文は、vectorized reset と autoreset の下では termination timing の差が後続の initial-state assignment を変え得ることを示し、この前提に疑問を投げる。 - 単なる指摘にとどまらず、invariants I1–I5・provenance logging・scene fingerprints・自動 checker という検証手段を提示。 - ただし published VLA leaderboards が一般に無効だとは主張しないと明言し、主張範囲を限定。 - 具体的な先行研究名との比較は要旨からは不明。

- 評価整合性の核は、不変条件 I1–I5 による init-state identity の検査。 - provenance logging で宣言された init-state と解決された init-state の同一性を記録。 - 任意で scene fingerprints を用い、テスト状態の同一性を補強。 - 自動 checker により paired statistics 前の整合性確認を支援。 - LeRobot 0.6.1 の LIBERO harness 上で emulated controllers を用い、Sync/Async+Freeze などの条件を制御的に比較。

- 4つの evidence level を分離して検証。 - (A) mixed-horizon Sync wave-1 IDs [20, 5, 22, 7] vs [4, 5, 6, 7]。 - (B) homogeneous separate-job Sync control（16 cells、ID/fingerprint mismatch は 0）。 - (C) Async+Freeze の batch-size map 差分（I3 mismatch 12件、bs=8 は incomplete、mechanism は unisolated）。 - (D) synthetic McNemar illustration のみ。 - controllers は emulated であり、実 VLA の shared-vector 実験は未完了。

- 著者らは、published VLA leaderboards が一般に無効であるとは主張しないと明記。 - 実 VLA の shared-vector 実験が未完了であり、emulated controllers による限定的な検証にとどまる。 - Async+Freeze の batch-size map 差分については mechanism が unisolated と述べ、原因特定は未解決。 - paired statistics の前に、宣言/解決された init-state identity と provenance を確認することを推奨。 - 実 VLA への一般化可能性については要旨からは不明。

- 要旨で参照/比較されている研究は明示されていないため、同分野の定番として以下を挙げる。 - LeRobot（本論文が用いた harness 基盤）。 - LIBERO（本論文が用いた benchmark）。 - Vision-Language-Action Models (VLA) の代表的評価研究。 - paired comparison の統計手法として McNemar test 関連文献。 - vectorized simulation の reset/autoreset 設計に関する研究。