日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.39018

コードをポリシーとして再活用:フロンティアエージェントがロボットツールを書き、呼び出し、進化させる

Make Code as Policy Great Again: Frontier Agents Write, Call, and Evolve Robot Tools

シェア:XThreadsFacebookLINEはてブBluesky

LLMエージェントが再利用可能なロボットツールをコードとして生成・改良し、実行エージェントがそれを呼び出して動作を制御するURAIを提案。直接制御より成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

- フロンティアモデルによるロボット制御を、コードをポリシーとして再解釈する枠組み。 - URAI (Universal Robot-Agent Interface) を提案。 - programming agent が再利用可能な robot tool を生成・改良。 - execution agent が観測から tool を選択・パラメータ化して呼び出す。 - 各 tool 呼び出しは完全な動作をローカル実行し、その後モデルに制御を戻す。 - 人間とエージェントが同じ tool を共有できる GUI と API を提供。

2. 先行研究と比べてどこがすごい?

- 従来の『毎ステップ推論』型制御は遅く token 消費が大きい。 - 生成プログラムに以降の判断を委譲する手法と異なり、tool 実行間でモデルレベルの意思決定を保持。 - 検証済み tool 改訂は foundation-model の重み更新なしで episode を跨いで永続化。 - 直接 fingertip control 比で aggregate success を 18.0% から 53.0% に向上。 - 事前に書いたプログラムは 24% に対し、各呼び出し後に 2 agent が判断すると 56%。

3. 技術・手法の肝は?

- programming agent が task intent から再利用可能・タスク特化の tool を書き、実行フィードバックと人間指導で改良。 - execution agent が現在の観測から tool を選択・パラメータ化。 - 各 tool 呼び出しは完全な動作をローカル実行し、その後モデルに制御を戻す。 - 検証済み tool 改訂は重み更新なしで episode を跨いで永続化。 - 人間とエージェントが同じ tool を使える共有 GUI と API。

4. どうやって有効だと検証した?

- 5 つの RoboDojo タスクと 4 つの frozen execution agent で評価。 - 直接 fingertip control 比で aggregate success が 18.0% から 53.0% に向上、Swap Blocks で最大の改善。 - 同じ tool で事前プログラムは 24%、各呼び出し後に 2 agent が判断すると 56%。 - 4 agent 中 3 つで episode 完了が 1.3-1.5 倍速く、execution-agent output token が 1.5-1.7 倍少ない。 - DeepSeek-V4-Flash のコストはほとんど変化なし。 - 7 つの実世界 AgileX dual-arm タスク (物体操作、布折り、人間対話型 tic-tac-toe) でも評価。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、一般化可能性についての議論は要旨に記載なし。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 直接 fingertip control、生成プログラムへの委譲手法。 - 関連手法: RoboDojo、AgileX dual-arm、DeepSeek-V4-Flash。 - 同分野の定番: code-as-policy、robot tool learning、LLM-based robot control。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shijia Ge, Alex Zhou, Jianshu Zeng, Yexing Wan, Di Wu, Zelin Zheng, Yazhe Wang, Zhiqi Jia, Xuan Shangguan, Jay Zhu, Yijun Liu, Lingyu He, Sihang Wu, Xiao He, Hongcheng Gao

分類: cs.RO, cs.AI

原文アブストラクト

Frontier models can control robots, but reasoning through every reach, grasp, and retreat makes manipulation slow and token-intensive. We revisit code as policy with a different division of labor: models build executable tools, code handles multi-phase motions, and models decide what to do next. We introduce URAI (Universal Robot-Agent Interface), which couples a programming agent that constructs robot tools with an execution agent that uses them in a feedback loop. The programming agent writes reusable and task-specific tools from task intent and refines them through execution feedback and human guidance. The execution agent selects and parameterizes these tools from current observations; each call runs a complete motion locally before returning control to the agent. Unlike delegating subsequent decisions to a generated program, this design retains model-level decision-making between tool executions. Validated tool revisions persist across episodes without updating foundation-model weights, and a shared GUI and API make the same tools available to humans and agents. Across five RoboDojo tasks and four frozen execution agents, URAI raises aggregate success from 18.0% to 53.0% relative to direct fingertip control, with the largest gain on Swap Blocks; with the same tools, a program written in advance reaches only 24% against 56% for two agents deciding after each call. Three of the four agents also finish episodes 1.3-1.5 times faster with 1.5-1.7 times fewer execution-agent output tokens; DeepSeek-V4-Flash's cost barely changes. We further evaluate URAI on seven real-world AgileX dual-arm tasks, spanning object manipulation, cloth folding, and human-interactive tic-tac-toe. URAI connects the coding and decision-making capabilities of frontier agents, organizing robot control around reusable tools that agents can both invoke and revise.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI