WorldArena：身体性世界モデルの知覚と機能的実用性を評価する統合ベンチマーク

- 本論文は、embodied world models の評価のための統一ベンチマーク WorldArena を提案する。 - 従来の評価は知覚的忠実度（例：video generation quality）に偏っていた。 - WorldArena は video perception quality と embodied task functionality の両次元を評価する。 - video perception quality は6つのサブ次元にわたる16の指標で測定される。 - embodied task functionality は world models を data engine、policy evaluator、action planner として評価し、主観的 human evaluation も統合する。 - 多次元性能を単一の解釈可能な指標 EWMScore に統合する。 - 14の代表モデルで実験し、知覚と機能の間に大きなギャップがあることを明らかにした。 - 公開リーダーボードを https://world-arena.ai で公開。

- 従来の embodied world models の評価は、video generation quality などの知覚的忠実度に主に焦点を当てていた。 - 下流の意思決定タスクにおける機能的有用性は見過ごされがちだった。 - WorldArena は知覚と機能の両次元を体系的に評価する統一ベンチマークを提供する。 - 機能評価では world models を data engine、policy evaluator、action planner として捉え、human evaluation も統合する点が新しい。 - EWMScore により多次元性能を単一の解釈可能な指標に統合する。 - 14モデルの実験で、高い視覚品質が必ずしも強い embodied task capability に結びつかないことを示した。

- WorldArena は video perception quality と embodied task functionality の2つの主要次元で評価する。 - video perception quality は6つのサブ次元にわたる16の指標で測定される。 - embodied task functionality は world models を data engine、policy evaluator、action planner として評価する。 - 主観的 human evaluation を統合する。 - EWMScore は多次元性能を単一の解釈可能な指数に統合する。 - 14の代表モデルに対して広範な実験を実施。 - 公開リーダーボードを提供。

- 14の代表モデルに対して広範な実験を実施した。 - その結果、知覚と機能の間に有意な perception-functionality gap があることを明らかにした。 - 高い視覚品質が必ずしも強い embodied task capability に翻訳されないことを示した。 - 公開リーダーボードを https://world-arena.ai で公開し、進捗追跡の枠組みを提供。

- 知覚と機能の間に有意な perception-functionality gap が存在することが示された。 - 高い視覚品質が必ずしも強い embodied task capability に結びつかない。 - このギャップは、真に機能的な world models に向けた進捗を追跡する必要性を示唆する。 - その他の議論や限界については要旨からは不明。

- 要旨で参照/比較されている具体的な研究は明記されていない。 - 関連手法として、embodied world models、video generation models、policy evaluation、action planning に関する研究が挙げられる。 - 同分野の定番として、world models の知覚的評価や embodied AI のベンチマークに関する研究を読むべき。 - 具体的な論文名は要旨からは不明。