日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.04867

反復的な方策改善による大規模言語モデルを用いた感覚運動制御

Sensory-Motor Control with Large Language Models via Iterative Policy Refinement

シェア:XThreadsFacebookLINEはてブBluesky

LLMがエージェントの記述から制御方策を生成し、評価中の性能フィードバックと感覚運動データを用いて反復的に改善することで、連続観測を連続行動に写像する制御を実現する手法を提案した。

詳しい要約

1. どんなもの?

- LLM が embodied agent の制御を担う手法の提案 - LLM が連続観測ベクトルから連続行動ベクトルへの制御 policy を直接生成 - 初期戦略は agent・環境・目標のテキスト記述から生成 - 評価中の性能 feedback と sensory-motor data を用いて反復的に改善 - 対象は Gymnasium の classic control タスクと MuJoCo の inverted pendulum - GPT-oss:120b や Qwen2.5:72b など比較的小規模なモデルでも有効と報告

2. 先行研究と比べてどこがすごい?

- 先行研究との具体的比較は要旨からは不明 - 主張される特徴は以下 - LLM が制御則そのものを生成し、反復 refinement で改善する点 - 推論で得た symbolic knowledge と、環境相互作用で得た sub-symbolic sensory-motor data を統合する点 - 比較的小さなモデルでも最適解または準最適解に到達しうる点

3. 技術・手法の肝は?

- 核となる流れ - agent・環境・目標のテキスト記述から LLM が初期 control strategy を生成 - その strategy を評価し、性能 feedback と sensory-motor data を収集 - 収集データを prompt に用いて LLM に改善を促す反復 loop - 生成物は連続観測→連続行動の写像としての control policy - symbolic な推論結果と sub-symbolic な相互作用データを統合する設計

4. どうやって有効だと検証した?

- Gymnasium の classic control タスクで検証 - MuJoCo の inverted pendulum タスクで検証 - 使用モデルは GPT-oss:120b と Qwen2.5:72b - 多くの場合で最適解または準最適解を発見したと報告 - 定量的な評価指標や比較条件の詳細は要旨からは不明

5. 議論はある?

- 比較的小規模な LLM でも制御 policy 生成が可能という主張 - symbolic knowledge と sub-symbolic data の統合が有効性の根拠として示唆 - 限界や失敗条件、汎化性、計算コストに関する議論は要旨からは不明 - 検証タスクが classic control と inverted pendulum に限られる点は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない - 関連手法として次を検討 - LLM を用いた code-as-policies 系の制御生成 - LLM による reward 設計や feedback を用いた反復改善 - Gymnasium の classic control と MuJoCo の inverted pendulum を扱う強化学習・制御の定番研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jônata Tyska Carvalho, Stefano Nolfi

分類: cs.AI, cs.HC, cs.LG, cs.RO

原文アブストラクト

We propose a method that enables large language models (LLMs) to control embodied agents through the generation of control policies that directly map continuous observation vectors to continuous action vectors. At the outset, the LLMs generate a control strategy based on a textual description of the agent, its environment, and the intended goal. This strategy is then iteratively refined through a learning process in which the LLMs are repeatedly prompted to improve the current strategy, using performance feedback and sensory-motor data collected during its evaluation. The method is validated on classic control tasks from the Gymnasium library and the inverted pendulum task from the MuJoCo library. The approach proves effective with relatively compact models such as GPT-oss:120b and Qwen2.5:72b. In most cases, it successfully identifies optimal or near-optimal solutions by integrating symbolic knowledge derived through reasoning with sub-symbolic sensory-motor data gathered as the agent interacts with its environment.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI