日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

制御/プログラム合成arXiv:2609.38733

制御へのコード合成:パラメータ化されたリアクティブコントローラの合成

Code to Control: Synthesizing Parameterized Reactive Controllers

シェア:XThreadsFacebookLINEはてブBluesky

LLMでコントローラの構造を合成し、パラメータを微分不要の探索で調整することで、実行時にLLM推論や計画を必要としないリアルタイム制御ポリシーを生成する手法を提案。

詳しい要約

1. どんなもの?

- 提案手法: Code to Control - LLMがPythonコントローラの構造を合成 - パラメータはderivative-free searchで環境フィードバックを用いて適合 - 実行時はLLM推論やplanning不要で直接policyとして動作 - 対象: 連続制御 - Atari, Flappy Bird, MuJoCoタスク - 特徴: リアルタイム動作、PPOより高速なaction selection

2. 先行研究と比べてどこがすごい?

- 従来のLLMベース制御 - 行動選択にLLMを呼ぶ、またはworld modelを合成し毎回planning - レイテンシが大きくリアルタイム性に難 - Code to Controlの優位性 - 実行時にLLM推論・planning不要 - planningベースのprogram synthesisより高性能 - 深層強化学習と競合しつつ環境相互作用が少ない - 環境動態の大きな変化に転移可能 - 複雑なlocomotionタスクにスケール

3. 技術・手法の肝は?

- プログラム構造とパラメータを分離 - LLMがコントローラ構造を合成 - derivative-free searchが連続制御パラメータを環境フィードバックで適合 - 学習後 - 合成されたPythonコントローラが直接policyとして実行 - LLM推論もplanningも不要 - タイミングプロトコル下でPPOより高速なaction selectionを実現

4. どうやって有効だと検証した?

- 評価タスク - Atariゲーム群、Flappy Bird、MuJoCoタスク - 比較 - planningベースのprogram synthesis手法に勝利 - 深層強化学習と競合しつつ環境相互作用が少ない - 環境動態の大きな変化への転移を確認 - 複雑なlocomotionタスクへのスケールを確認 - タイミング - 提案プロトコル下でPPOより高速なaction selection

5. 議論はある?

- 要旨からは不明 - 限界、失敗事例、計算コスト、一般化の範囲についての議論は記載なし

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究 - LLM-based approaches to control - planning-based program synthesis methods - PPO - deep reinforcement learning - 関連手法 - world models - derivative-free search - program synthesis

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zergham Ahmed, Joshua B. Tenenbaum, Chris Bates, Samuel J. Gershman

分類: cs.AI, cs.LG

原文アブストラクト

Recent LLM-based approaches to control either invoke a language model to select actions or synthesize world models that require planning at every decision, introducing latency that can limit real-time use. We introduce Code to Control, an approach that synthesizes Python controllers which execute directly as policies. Code to Control separates program structure from parameters. An LLM synthesizes the controller structure, while derivative-free search fits its parameters for continuous control using feedback from the environment. Once learned, the resulting controllers require neither LLM inference nor planning at decision time, enabling real-time gameplay and, under our timing protocol, faster action selection than a PPO policy. Across a suite of Atari games, Flappy Bird, and MuJoCo tasks, Code to Control outperforms planning-based program synthesis methods, remains competitive with deep reinforcement learning while using fewer environment interactions, transfers across substantial changes in environment dynamics, and scales to complex locomotion tasks.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI