強化学習/自動設計2026/11/3arXiv:2611.04974

LLMをMDP設計者として活用する依存関係考慮型エージェントフレームワークによるロボット方策の自動生成

LLMs as MDP Designers: A Dependency-Aware Agentic Framework for Automated Robot Policy Generation

LLMを実行時の意思決定者ではなく設計者として使い、自然言語タスクから強化学習パイプライン（MDP定式化とシミュレータ実装）を自動構築する依存関係考慮型フレームワークARPGを提案し、Isaac Simで有効性を示した。

詳しい要約

1. どんなもの？

- 自然言語のタスク記述から実行可能な robot RL policy を自動生成する研究 - LLM を実行時の意思決定者ではなく、deployment 前に RL pipeline を設計する designer として使う - 対象は MDP formulation と simulator implementation を含む - 提案手法は dependency-aware agentic framework の ARPG - Isaac Sim 上で評価

2. 先行研究と比べてどこがすごい？

- 従来の LLM を実行時 decision maker として使う立場と異なり、設計段階の designer として位置づける - monolithic LLM baselines や off-the-shelf agentic systems と比較して改善 - 改善点は modeling correctness、environment executability、policy-generation success - 実行可能コードでも state/action/reward/termination が意味的に整合しないと non-learnable policy になる failure mode を狙う

3. 技術・手法の肝は？

- 問題を phase-wise 構造として捉える - MDP formulation は dependency-structured かつ sequential - formulation 固定後の simulator implementation は modular - ARPG は sequential MDP modeling、localized verification and correction、simulator-structured implementation を行う - 中間 artifact を externalize する - 依存関係を考慮した agentic framework が肝

4. どうやって有効だと検証した？

- Isaac Sim での実験 - monolithic LLM baselines および off-the-shelf agentic systems と比較 - 評価軸は modeling correctness、environment executability、policy-generation success - custom robotics、standard RL、engineering-domain MDPs での追加 demonstration も実施 - 同じ modeling pipeline の再利用可能性を示唆

5. 議論はある？

- 実行可能コードが必ずしも learnable policy にならない点を主要 failure mode として議論 - state/action/reward/termination artifact の semantic alignment の重要性を指摘 - phase-wise 構造に基づく設計が有効とする立場 - 限界や失敗事例の詳細は要旨からは不明 - 定量結果の詳細は要旨からは不明

6. 次に読むべき論文は？

- monolithic LLM baselines - off-the-shelf agentic systems - Isaac Sim を用いた robot RL 研究 - MDP formulation の自動化研究 - LLM を designer として使う agentic framework 関連研究 - 要旨で個別論文名の参照は無いため、同分野の定番として robot RL と LLM-based agent 研究を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hong Je-Gal, Jinwoo Kim, Chanbin Yi, Hyun-Suk Lee

分類: cs.RO, cs.AI

原文アブストラクト

We investigate the automated generation of executable robot reinforcement learning (RL) policies from natural-language task descriptions. Rather than using large language models (LLMs) as execution-time decision makers, we use them as designers that construct RL pipelines before deployment, including Markov decision process (MDP) formulation and simulator implementation. We identify a phase-wise structure in this problem: MDP formulation is dependency-structured and sequential, whereas simulator implementation becomes modular once the formulation is fixed. Based on this structure, we propose ARPG, a dependency-aware agentic framework that performs sequential MDP modeling, localized verification and correction, and simulator-structured implementation while externalizing intermediate artifacts. ARPG targets a key failure mode of automated policy generation: executable code may still yield non-learnable policies when state, action, reward, and termination artifacts are not semantically aligned. Experiments in Isaac Sim show that ARPG improves modeling correctness, environment executability, and policy-generation success compared with monolithic LLM baselines and off-the-shelf agentic systems. Additional demonstrations on custom robotics, standard RL, and engineering-domain MDPs further suggest that the same modeling pipeline can be reused beyond the main benchmark suite.

arXivで原文を読む →arXiv概要ページ

← 論文一覧