日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作学習arXiv:2603.04466

Act-Observe-Rewrite: マルチモーダルコーディングエージェントによるロボット操作の文脈内ポリシー学習

Act-Observe-Rewrite: Multimodal Coding Agents as In-Context Policy Learners for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

LLMエージェントが試行錯誤の観察から失敗を診断し、実行可能なPythonコードを書き換えることで、勾配更新やデモなしにロボット操作ポリシーを改善するフレームワークを提案した。

詳しい要約

1. どんなもの?

- マルチモーダル言語モデルが、勾配更新・デモ・報酬設計なしに物理物体操作を学習できるかを問う研究。 - Act-Observe-Rewrite (AOR) というフレームワークを提案。 - LLMエージェントが試行間で新しい実行可能Pythonコントローラコードを合成し、ロボット操作ポリシーを改善。 - 視覚観察と構造化されたエピソード結果をガイドに用いる。 - 低レベルモータ制御実装全体をLLM推論の単位とする。

2. 先行研究と比べてどこがすごい?

- 従来はLLMを事前定義スキルライブラリに接地させたり、コード生成をワンショット計画合成に使うものが多い。 - AORは低レベルモータ制御実装全体をLLM推論の単位とし、ロボットが「何をするか」だけでなく「どうやるか」も変更可能。 - 解釈可能なコードをポリシー表現とすることで、不透明なニューラルポリシーとは質的に異なるインコンテキスト学習を実現。 - 系統的失敗を診断し、その原因を書き換えられる点が特徴。

3. 技術・手法の肝は?

- LLMエージェントが試行間で新しい実行可能Pythonコントローラコードを合成。 - 視覚観察と構造化されたエピソード結果をガイドとして利用。 - 低レベルモータ制御実装全体をLLM推論の単位とする。 - コードをポリシー表現とし、失敗の原因を書き換える。 - 勾配更新・デモ・報酬設計は不要。

4. どうやって有効だと検証した?

- robosuiteの3つの操作タスクで検証。 - デモ、報酬設計、勾配更新なしで高い成功率を達成。 - 有望な結果を報告。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:事前定義スキルライブラリにLLMを接地させる研究、コード生成をワンショット計画合成に使う研究。 - 同分野の定番:robosuite、ニューラルポリシー、インコンテキスト学習。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Vaishak Kumar

分類: cs.RO, cs.LG

原文アブストラクト

Can a multimodal language model learn to manipulate physical objects by reasoning about its own failures-without gradient updates, demonstrations, or reward engineering? We argue the answer is yes, under conditions we characterise precisely. We present Act-Observe-Rewrite (AOR), a framework in which an LLM agent improves a robot manipulation policy by synthesising entirely new executable Python controller code between trials, guided by visual observations and structured episode outcomes. Unlike prior work that grounds LLMs in pre-defined skill libraries or uses code generation for one-shot plan synthesis, AOR makes the full low-level motor control implementation the unit of LLM reasoning, enabling the agent to change not just what the robot does, but how it does it. The central claim is that interpretable code as the policy representation creates a qualitatively different kind of in-context learning from opaque neural policies: the agent can diagnose systematic failures and rewrite their causes. We validate this across three robosuite manipulation tasks and report promising results, with the agent achieving high success rates without demonstrations, reward engineering, or gradient updates.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  4. 4パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術
  5. 5日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI