日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/コード生成ポリシーarXiv:2606.16458

RHO: あなたのコーディングエージェントは実はロボット工学者

RHO: Your Coding Agent is Secretly a Roboticist

シェア:XThreadsFacebookLINEはてブBluesky

コード生成エージェントを訓練時に活用し、ロボット制御のための複数ファイルからなる解釈可能なポリシーリポジトリを探索する新しいパラダイムを提案。環境報酬に基づく反射的フィードバックで検索し、実時間制御に適した単一ターン実行で高い成功率を達成した。

詳しい要約

1. どんなもの?

- ロボティクス向けの新しいパラダイム「Robotics Harness Optimization (RHO)」を提案する論文。 - 訓練時に、tool-enabled coding agent が、解釈可能な neurosymbolic な multi-file policy repository(Repositories-as-Policies)を提案・探索する。 - これは単一の prompt・関数・ファイルではなく、perception・planning・control の primitives を組み合わせる。 - テスト時には multi-turn のコード生成ループを必要とせず、single-turn 実行でロボットを制御する。

2. 先行研究と比べてどこがすごい?

- 従来の Code-as-Policies (CaP) はテスト時に multi-turn のコード生成ループに依存し、リアルタイム制御に不向きだった。 - RHO は訓練時に探索・最適化を行うため、展開時は single-turn 実行で済み、修正的な LLM コード編集が不要。 - 摂動のある pick-and-place 設定 LIBERO-PRO で、OpenVLA は 0.0%、π_{0.5} は平均 12.83% に対し、RHO は 45.0% の成功率を達成。 - これは最強の multi-turn agentic system の 2.5 倍、π_{0.5} の 3.5 倍。 - Robosuite では 70.0% の新たな state-of-the-art を達成し、従来の multi-turn 記録 68.29% を上回る。

3. 技術・手法の肝は?

- 訓練時に tool-enabled coding agent が、環境報酬と実行からの reflective feedback を用いて探索する。 - teleoperation によるデモンストレーションは使わない。 - 単一の prompt や関数ではなく、複数ファイルからなる policy repository(Repositories-as-Policies)を提案・探索する。 - この repository は perception・planning・control の primitives を組み合わせた neurosymbolic なもので、解釈可能。 - 展開時は single-turn 実行で、LLM によるコード修正なしに動作する。

4. どうやって有効だと検証した?

- 摂動のある pick-and-place 設定 LIBERO-PRO で評価し、OpenVLA が 0.0%、π_{0.5} が平均 12.83% に対し、RHO は 45.0% の成功率を達成。 - 最強の multi-turn agentic system の 2.5 倍、π_{0.5} の 3.5 倍の性能。 - Robosuite で 70.0% の成功率を達成し、従来の multi-turn 記録 68.29% を上回る新たな state-of-the-art を樹立。 - RAI の O3DE ベンチマークでは、展開された agent の multi-file harness(prompts・tools・control code)を最適化し、held-out 成功率を 23.5% から 44.3% に改善。 - 同時に wall-clock time を 20% 削減し、tool calls を 27% 削減。

5. 議論はある?

- 要旨からは、RHO の限界や失敗事例、計算コスト、一般化可能性に関する議論は明示されていない。 - 訓練時の探索コストや、他のタスクへの転移性能については要旨からは不明。 - ただし、single-turn 実行で動作し、展開時の LLM コード編集が不要である点が強調されている。

6. 次に読むべき論文は?

- Code-as-Policies (CaP) の元論文。 - OpenVLA。 - π_{0.5}。 - LIBERO-PRO ベンチマーク。 - Robosuite。 - RAI の O3DE ベンチマーク。 - これらは要旨で参照・比較されている研究や手法である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Karim Elmaaroufi, Justin Svegliato, Sarunas Kalade, Graham Schelle, Sanjit A. Seshia, Matei Zaharia

分類: cs.RO

原文アブストラクト

Code-as-Policies (CaP) has shown that large language models (LLMs) can write code to solve robotics tasks by composing perception, planning, and control primitives. Recent CaP systems, however, rely on multi-turn code-generation loops at test time, which is often infeasible for real-time robot control. We introduce Robotics Harness Optimization (RHO), a novel paradigm in which tool-enabled coding agents, at training time, propose and search for interpretable, neurosymbolic multi-file policy repositories (Repositories-as-Policies) that compose these primitives rather than a single prompt, function, or file. RHO searches with reflective feedback from environment reward and execution rather than teleoperation demonstrations. It generalizes to perturbed pick-and-place settings like LIBERO-PRO, where OpenVLA scores 0.0% and $\pi_{0.5}$ averages 12.83%. Using the same low-level primitives, RHO reaches a 45.0% success rate, 2.5x higher than the strongest multi-turn agentic system, and 3.5x higher than $\pi_{0.5}$. On Robosuite, RHO sets a new state-of-the-art of 70.0%, exceeding the prior multi-turn record of 68.29% using single-turn execution with no corrective LLM code edits at deployment. When an LLM is used in the control loop, as on RAI's O3DE benchmark, RHO optimizes the deployed agent's multi-file harness of prompts, tools, and control code, improving held-out success from 23.5% to 44.3% with 20% less wall-clock time and 27% fewer tool calls.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI