日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2510.19788

環境レベルのクエリで世界モデル学習をベンチマークする

Benchmarking World-Model Learning with Environment-Level Queries

シェア:XThreadsFacebookLINEはてブBluesky

世界モデルが環境全体に関する多様なクエリに答えられるかを評価するWorldTestプロトコルと、43のグリッドワールド環境・129タスクからなるAutumnBenchを提案し、人間とAIモデルの性能差を明らかにした。

詳しい要約

1. どんなもの?

- 学習した world model が環境全体に関する多様な質問に答えられるかを評価するプロトコル WorldTest を提案。 - 観測された trajectory から測れる性質だけでなく、environment-level queries(例:reachability や intervention の効果)を対象とする。 - 具体化として AutumnBench を構築:43 の interactive grid-world environments、3 つの query families にわたる 129 tasks。 - 人間と学習エージェントの両方を対象としたベンチマーク。

2. 先行研究と比べてどこがすごい?

- 従来の評価は next-frame prediction や task return など、観測された interaction から測れる性質のみを対象としていた。 - また、学習した model が環境に関する多様な質問を支えられるかを検証していなかった。 - WorldTest は environment-level queries を複数種類まとめて評価し、query types をまたいだ model の generality を測る点が新しい。 - 単一の rollout distribution では決まらない性質(reachability、intervention の効果など)も個別の query として扱う。

3. 技術・手法の肝は?

- WorldTest は、回答が観測 trajectory ではなく環境全体の性質に依存する environment-level queries を用いる評価プロトコル。 - 個々の query は reachability や intervention の効果など、単一 rollout では定まらない性質を標的とする。 - 複数の query types をまとめて評価することで、model の generality を評価する。 - AutumnBench では 43 の interactive grid-world environments と 3 つの query families からなる 129 tasks を用意。 - 詳細な学習・評価手続きは要旨からは不明。

4. どうやって有効だと検証した?

- AutumnBench 上で 517 人の人間参加者と 5 つの frontier models を比較する実験を実施。 - 結果として、人間がこれらのモデルを substantially outperform することが示された。 - この差は exploration と belief updating の違いに起因すると考察している。 - 個々の query や query families ごとの詳細な結果は要旨からは不明。

5. 議論はある?

- 人間と frontier models の性能差を、exploration と belief updating の違いに帰属させている。 - AutumnBench は grid-world environments における world-model learning を environment-level queries で評価する枠組みを提供。 - WorldTest はより rich な domains へ評価を拡張するための template として位置づけられている。 - 限界や今後の課題の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は明示されていない。 - 関連手法として、next-frame prediction に基づく world model 評価、task return による評価、interactive grid-world environments を用いたベンチマークが挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Archana Warrier, Dat Nguyen, Michelangelo Naim, Moksh Jain, Yichao Liang, Karen Schroeder, Cambridge Yang, Joshua B. Tenenbaum, Sebastian Vollmer, Kevin Ellis, Zenna Tavares

分類: cs.AI, cs.LG

原文アブストラクト

World models are central to building AI agents capable of flexible reasoning and planning. Yet current evaluations (i) test only properties measurable from observed interactions, such as next-frame prediction or task return, and (ii) do not test whether a learned model supports diverse queries about the environment. In contrast, humans build $\textit{general-purpose}$ models that can answer many different questions about an environment$\unicode{x2014}$including questions that require understanding global structure and counterfactual consequences. We propose $\textit{WorldTest}$: a protocol for evaluating whether agents learn models that support multiple $\textit{environment-level queries}\unicode{x2014}$questions whose answers depend on properties of the full environment, not just observed trajectories. Individually, these queries can target properties (e.g., reachability or the effects of interventions) that no single rollout distribution determines. Collectively, they assess model generality across query types. We instantiate WorldTest as $\textit{AutumnBench}$, a benchmark of 43 interactive grid-world environments and 129 tasks across three query families for both humans and learning agents. Experiments with 517 human participants and five frontier models show that humans substantially outperform these models, a gap we attribute to differences in exploration and belief updating. AutumnBench provides a framework for evaluating world-model learning in grid-world environments with environment-level queries, and WorldTest provides a template for extending such evaluations to richer domains.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI