KineBench: IDM不要の運動学的接地による身体化世界モデルのベンチマーク

- 本論文は KineBench を提案する。 - 目的: Embodied World Models (EWMs) の物理的整合性を評価する。 - 特徴: IDM を使わない closed-loop benchmark。 - 構成: 生成動画から 6D end-effector poses を抽出し、physics simulator で実行。 - 指標: task success に加え SPARC と Maruyama Manipulability Index を利用。 - 基盤: ManiSkill3 の 20 多様な manipulation tasks。 - 評価: 4 段階の progressive suites。

- 従来の closed-loop 評価は Inverse Dynamics Models (IDMs) に依存。 - IDM は 2D pixel から 3D kinematic への写像が難しく、訓練分布外で脆い。 - その結果、world model の不正確さと extractor の誤りの帰属が曖昧になる。 - KineBench は IDM を使わず、明示的な kinematic grounding pipeline でこの曖昧さを低減。 - これにより、より信頼できる物理的妥当性評価を目指す。

- 生成動画に対し、cascaded visual foundation models を適用。 - 各フレームから 6D end-effector poses を直接抽出。 - 抽出した poses を physics simulator で実行し、closed-loop validation を行う。 - 評価指標として、実行ベースの task success に加え、 - Spectral Arc Length (SPARC): 軌道の滑らかさ。 - Maruyama Manipulability Index: 運動学的実現可能性。 - これらを robot-centric な視点で用いる。

- ManiSkill3 上の 20 の多様な manipulation tasks で評価。 - 4 つの progressive suites を設定。 - basic execution - task transfer - visual out-of-distribution generalization - complexity-conditioned scaling - 最先端モデルを評価し、embodied video generation における task-complexity-bounded nonlinear scaling を明らかにした。 - これは将来の data-scaling 戦略への実証的指針を与える。

- 主な議論は、IDM 依存による帰属曖昧性の低減。 - KineBench は IDM-free で closed-loop 評価を実現。 - 評価結果から、タスク複雑性に依存した非線形スケーリングが示唆される。 - ただし、具体的な限界や失敗事例、計算コスト、一般化範囲については要旨からは不明。

- 要旨で直接参照されている研究は明示されていない。 - 関連手法として、Inverse Dynamics Models (IDMs) を用いた既存の closed-loop 評価フレームワーク。 - 評価基盤として ManiSkill3。 - 指標として Spectral Arc Length (SPARC) と Maruyama Manipulability Index。 - 同分野の定番として、embodied world models の評価、physics simulator を用いた closed-loop 評価、visual foundation models による pose 抽出。