日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2605.03408

大規模言語モデルによる強化学習インターフェースの発見

Discovering Reinforcement Learning Interfaces with Large Language Models

シェア:XThreadsFacebookLINEはてブBluesky

強化学習のタスク設定に必要な観測と報酬のインターフェースを、大規模言語モデルを用いた進化的フレームワークLIMENで自動生成する手法を提案した。

詳しい要約

1. どんなもの?

- 強化学習のタスクインターフェース(観測マッピングと報酬関数)を、生のシミュレータ状態から自動発見する問題を扱う。 - 提案手法 LIMEN は、LLM をガイドとする進化的フレームワークで、候補インターフェースを実行可能プログラムとして生成し、ポリシー学習のフィードバックで反復的に改良する。 - 離散 gridworld タスクと連続制御(locomotion, manipulation)で評価。 - 軌道レベルの成功指標のみを与え、観測と報酬の同時進化が有効なインターフェースを発見できることを示す。

2. 先行研究と比べてどこがすごい?

- 従来の LLM による自動報酬設計は、観測が固定されていると仮定し、完全なタスクインターフェースの合成には対応していなかった。 - 本研究は、観測マッピングと報酬関数の両方を生成対象とし、生のシミュレータ状態からインターフェースを発見する点で先行研究と異なる。 - 観測と報酬の同時進化が、どちらか一方のみの最適化では少なくとも1つのドメインで失敗するのに対し、有効なインターフェースを発見できることを示した。

3. 技術・手法の肝は?

- LIMEN は LLM をガイドとする進化的フレームワーク。 - 候補インターフェースを実行可能プログラムとして生成する。 - ポリシー学習のフィードバックを用いて候補を反復的に改良する。 - 観測マッピングと報酬関数を同時に進化させる。 - 軌道レベルの成功指標のみを入力とする。

4. どうやって有効だと検証した?

- 新規の離散 gridworld タスクと、locomotion および manipulation を含む連続制御ドメインで評価。 - 軌道レベルの成功指標のみを与え、観測と報酬の同時進化が有効なインターフェースを発見できることを確認。 - 一方、観測または報酬のどちらか一方のみを最適化する場合、少なくとも1つのドメインで失敗することを示した。

5. 議論はある?

- 観測と報酬のコンポーネントは共設計(co-design)から恩恵を受けることが多く、単一コンポーネントの最適化は評価スイート内の少なくとも1つのドメインで壊滅的に失敗する。 - 生の状態からの RL インターフェースの自動構築は、手作業のエンジニアリングを大幅に削減できる可能性がある。 - 要旨からは、限界や今後の課題についての詳細な議論は不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:LLM を用いた自動報酬設計(automated reward design using large language models)。 - 関連手法:強化学習のタスクインターフェース設計、観測マッピング、報酬関数設計。 - 同分野の定番:RL における reward shaping、observation design、evolutionary computation と LLM の組み合わせ。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Akshat Singh Jaswal, Ashish Baghel, Paras Chopra

分類: cs.LG, cs.AI

原文アブストラクト

Reinforcement learning systems rely on environment interfaces that specify observations and reward functions, yet constructing these interfaces for new tasks often requires substantial manual effort. While recent work has automated reward design using large language models (LLMs), these approaches assume fixed observations and do not address the broader challenge of synthesizing complete task interfaces. We study RL task interface discovery from raw simulator state, where both observation mappings and reward functions must be generated. We propose LIMEN (Code available at https://github.com/Lossfunk/LIMEN), a LLM guided evolutionary framework that produces candidate interfaces as executable programs and iteratively refines them using policy training feedback. Across novel discrete gridworld tasks and continuous control domains spanning locomotion and manipulation, joint evolution of observations and rewards discovers effective interfaces given only a trajectory-level success metric, while optimizing either component alone fails on at least one domain. These results demonstrate that automatic construction of RL interfaces from raw state can substantially reduce manual engineering and that observation and reward components often benefit from co-design, as single-component optimization fails catastrophically on at least one domain in our evaluation suite.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI