日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

進化計算/コード生成/身体性タスクarXiv:2607.22832

MEMENTO: 記憶誘導型メメティックコード・アズ・ポリシー進化

MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution

シェア:XThreadsFacebookLINEはてブBluesky

長期にわたる身体性タスク向けに、LLMを用いた進化的探索でコードとして表現されたポリシーを改善する手法を提案。評価器と記憶誘導の局所改善を組み合わせ、既存手法より高い成功率と汎化を達成した。

詳しい要約

1. どんなもの?

MEMENTOは、LLMを用いたコードとしてのポリシー進化(code-as-policy evolution)のためのメモリ誘導型シングルエリート・メメティックフレームワークである。長期的な身体性タスクにおいて、ポリシーを実行可能な制御プログラムとして表現し、ロールアウト評価後にプログラムを改訂・比較することでポリシー改善を実行誘導型プログラム探索として扱う。MEMENTOは、ロールアウト評価器を進化させ、フィットネスと構造化フィードバック指標を生成し、メモリ誘導の山登り、マクロ突然変異、交叉を用いてポリシー候補を生成・選択する。

2. 先行研究と比べてどこがすごい?

既存のLLM駆動進化手法(EurekaやREvolveなど)は、独立に生成された変異体から選択するだけで、逐次的な局所改善フェーズを欠いていた。MEMENTOは、シングルエリート・メメティックフレームワークを導入し、メモリ誘導の局所探索(山登り)と大域探索(マクロ突然変異、交叉)を組み合わせることで、より効果的なポリシー改善を実現する。また、ロールアウト評価器自体を進化させる点も新規性がある。

3. 技術・手法の肝は?

MEMENTOの手法の肝は、(1)ロールアウト評価器の進化:ロールアウトをスカラー・フィットネスと構造化フィードバック指標にマッピングする評価器を進化させる。(2)メモリ誘導のポリシー提案:フィードバック指標に基づき、メモリ(過去の成功・失敗事例)を利用して山登り、マクロ突然変異、交叉によりポリシー候補を生成する。(3)シングルエリート選択:フィットネスに基づき、受け入れ候補と次世代エリートを選択する。

4. どうやって有効だと検証した?

Robosuite Franka Tower-of-Hanoi操作とAI2-THOR家庭内相互作用の2つの長期的身体性ドメインで評価した。EurekaとREvolveをcode-as-policy進化ベースラインとして適応し、タスク成功率と一般化(Robosuiteの未見オブジェクト構成、AI2-THORの未見シーン)で比較し、MEMENTOが優れていることを示した。アブレーションでは、ゼロショット生成と未進化評価器ではどちらのドメインも解けないこと、ポリシー探索ブランチの除去で性能が低下することを確認した。さらに、最良のRobosuiteポリシーを実機Frankaロボットに展開し、sim-to-real転送の実現可能性を示した。

5. 議論はある?

要旨からは、MEMENTOの限界や議論についての詳細は不明。ただし、アブレーション結果から、ゼロショット生成や未進化評価器ではタスクを解けないことが示され、進化の重要性が示唆される。また、実機展開は単一タスクのみであり、他のタスクへの一般化や実機での堅牢性については要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されているEurekaとREvolveが関連研究として挙げられる。また、code-as-policyの概念やLLMを用いた進化的手法の基礎となる研究(例えば、LLMを用いたプログラム合成や進化的アルゴリズムの応用)が関連する。具体的には、Eureka(NVIDIAのロボットポリシー進化)やREvolve(LLMによるコード進化)を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Alkis Sygkounas, Victor Aregbede, Amy Loutfi, Andreas Persson

分類: cs.LG

原文アブストラクト

Long-horizon embodied tasks require policies that execute many dependent actions before task success can be observed. Representing policies as executable control pro- grams (code-as-policy) enables their decision logic to be inspected and revised after rollout evaluation. Revised programs can then be executed and compared by rollout performance, framing policy improvement as execution-guided program search. Evo- lutionary methods driven by large language models (LLMs) provide a natural mecha- nism for this search by generating variants and selecting high-performing candidates. However, existing approaches primarily select among independently generated vari- ants and lack a sequential local improvement phase. We introduce MEMENTO, a memory-guided single-elite memetic framework for code-as-policy evolution. ME- MENTO first evolves a rollout evaluator that maps policy rollouts to scalar fitness and structured feedback metrics. Fitness selects accepted candidates and the next elite, while feedback metrics condition policy proposals generated by memory-guided hill-climbing, macro-mutation, and crossover. We evaluate MEMENTO on two long- horizon embodied domains: Robosuite Franka Tower-of-Hanoi manipulation and AI2- THOR household interaction. MEMENTO outperforms Eureka and REvolve, adapted as code-as-policy evolutionary baselines, in task success and generalization to held- out Robosuite object configurations and unseen AI2-THOR scenes. Ablations show that zero-shot generation and unevolved evaluators fail to solve either domain, and that removing policy-search branches reduces performance. Finally, we deploy the best-evolved Robosuite policy on a physical Franka robot, demonstrating the feasibil- ity of sim-to-real transfer of the evolved code-as-policy. Code, prompts, and videos are available at: https://github.com/sygkounas/MEMENTO.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI