日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2604.09580

OOWM: オブジェクト指向プログラムによる世界モデリングで身体性推論と計画を構造化

OOWM: Structuring Embodied Reasoning and Planning via Object-Oriented Programmatic World Modeling

シェア:XThreadsFacebookLINEはてブBluesky

LLMの身体性タスク推論を、UMLのクラス図とアクティビティ図を用いたオブジェクト指向の世界モデルとして明示的に構造化し、SFTとGRPOで訓練する枠組みを提案。

詳しい要約

1. どんなもの?

- 提案手法: OOWM (Object-Oriented World Modeling) - 目的: 具現化タスクにおけるLLMの推論と計画を構造化 - 特徴: 世界モデルを明示的な記号タプル W = <S, T> として再定義 - S: State Abstraction (G_state) による環境状態 - T: Control Policy (G_control) による遷移ロジック T: S × A → S' - 実装: UML (Unified Modeling Language) を利用 - Class Diagrams: 視覚知覚をオブジェクト階層に接地 - Activity Diagrams: 計画を実行可能な制御フローに操作化 - 学習: 3段階パイプライン (SFT + GRPO) - 評価: MRoom-30k ベンチマークで有効性を確認

2. 先行研究と比べてどこがすごい?

- 先行研究: 標準的な Chain-of-Thought (CoT) プロンプティング - 問題点: 線形自然言語に依存し、状態空間・オブジェクト階層・因果依存関係を明示的に表現できない - 提案手法の優位性: - ソフトウェア工学の形式手法 (UML) を導入し、構造化された世界モデルを実現 - 計画の一貫性、実行成功率、構造的忠実性で非構造テキストベースラインを大幅に上回る - スパースアノテーションでも効果的な学習が可能

3. 技術・手法の肝は?

- 世界モデルの再定義: 潜在ベクトル空間ではなく、明示的な記号タプル W = <S, T> - State Abstraction (G_state): 環境状態 S をインスタンス化 - Control Policy (G_control): 遷移ロジック T: S × A → S' を表現 - UML の活用: - Class Diagrams: 視覚知覚をオブジェクト階層に接地 - Activity Diagrams: 計画を実行可能な制御フローに変換 - 学習パイプライン: - 3段階: Supervised Fine-Tuning (SFT) + Group Relative Policy Optimization (GRPO) - 最終計画からの結果ベース報酬を利用し、オブジェクト指向推論構造を暗黙的に最適化 - スパースアノテーション下でも有効

4. どうやって有効だと検証した?

- ベンチマーク: MRoom-30k を使用 - 評価指標: - 計画の一貫性 (planning coherence) - 実行成功率 (execution success) - 構造的忠実性 (structural fidelity) - 結果: 非構造テキストベースラインと比較して、OOWM が有意に優れることを実証

5. 議論はある?

- 議論の有無: 要旨からは不明 - 限界や課題についての言及: 要旨からは不明 - 今後の展望: 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: - Chain-of-Thought (CoT) prompting - Supervised Fine-Tuning (SFT) - Group Relative Policy Optimization (GRPO) - 関連手法: - Unified Modeling Language (UML) - MRoom-30k benchmark - 同分野の定番: 特になし (要旨に明示的な参照なし)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongyu Chen, Liang Lin, Guangrun Wang

分類: cs.AI, cs.LG

原文アブストラクト

Standard Chain-of-Thought (CoT) prompting empowers Large Language Models (LLMs) with reasoning capabilities, yet its reliance on linear natural language is inherently insufficient for effective world modeling in embodied tasks. While text offers flexibility, it fails to explicitly represent the state-space, object hierarchies, and causal dependencies required for robust robotic planning. To address these limitations, we propose Object-Oriented World Modeling (OOWM), a novel framework that structures embodied reasoning through the lens of software engineering formalisms. We redefine the world model not as a latent vector space, but as an explicit symbolic tuple $W = \langle S, T \rangle$: a State Abstraction ($G_\text{state}$) instantiating the environmental state $S$, coupled with a Control Policy ($G_\text{control}$) representing the transition logic $T: S \times A \rightarrow S'$. OOWM leverages the Unified Modeling Language (UML) to materialize this definition: it employs Class Diagrams to ground visual perception into rigorous object hierarchies, and Activity Diagrams to operationalize planning into executable control flows. Furthermore, we introduce a three-stage training pipeline combining Supervised Fine-Tuning (SFT) with Group Relative Policy Optimization (GRPO). Crucially, this method utilizes outcome-based rewards from the final plan to implicitly optimize the underlying object-oriented reasoning structure, enabling effective learning even with sparse annotations. Extensive evaluations on the MRoom-30k benchmark demonstrate that OOWM significantly outperforms unstructured textual baselines in planning coherence, execution success, and structural fidelity, establishing a new paradigm for structured embodied reasoning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI