日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2609.33807

CodeActionBench:身体性マニピュレーションのためのエージェント型Code-as-Policy評価

CodeActionBench: Evaluating Agentic Code-as-Policy for Embodied Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

汎用マルチモーダルモデルが実行可能コードを通じて視覚理解と推論を身体性マニピュレーションに変換できるかを評価する25タスクのベンチマークを提案し、9構成・675試行で成功率2.7〜73.3%を報告した。

詳しい要約

1. どんなもの?

- 汎用マルチモーダルモデルが視覚理解と推論を実行可能コード経由で身体操作に変換する能力を評価するベンチマーク - CodeActionBench は25の操作タスクで構成 - agentic Code-as-Policy を通じて評価 - タスク固有のファインチューニング、デモ、外部の専門知覚/把持モジュール、特権的なシーン状態、事前定義されたタスクポリシーなしでエージェントが動作 - エージェントは視覚証拠を選択し、タスク関連の3D推定を行い、操作ターゲットを構築し、ポリシーを反復実行・修正する必要がある - 共有ロボットAPIがRGB観測、キャリブレーションされた幾何演算、ロボットフィードバック、有界運動を提供 - 固定タスクインスタンス、リソース予算、隠れた物理結果検証器により制御された比較が可能

2. 先行研究と比べてどこがすごい?

- タスク固有のファインチューニング、デモ、外部の専門知覚/把持モジュール、特権的なシーン状態、事前定義されたタスクポリシーを必要としない点が先行研究と異なる - 汎用モデルがコードを介して身体操作を行う能力を直接評価する点が新しい - 制御された比較を可能にする固定タスクインスタンス、リソース予算、隠れた物理結果検証器を備える - 9つの構成と675回の試行で成功率2.7%から73.3%の範囲を報告 - 最強構成 GPT-6 Astra with Codex CLI は25タスク中22を3回の試行で少なくとも1回成功 - 要旨からは先行研究との具体的な比較は不明

3. 技術・手法の肝は?

- agentic Code-as-Policy パラダイムを採用 - エージェントは視覚証拠を選択し、タスク関連の3D推定を形成し、操作ターゲットを構築し、ポリシーを反復実行・修正する - 共有ロボットAPIがRGB観測、キャリブレーションされた幾何演算、ロボットフィードバック、有界運動を提供 - タスク依存の決定は評価対象エージェントに委ねられる - 固定タスクインスタンス、リソース予算、隠れた物理結果検証器により制御された比較を実現 - 詳細な技術的肝は要旨からは不明

4. どうやって有効だと検証した?

- 9つの構成と675回の試行で評価 - 成功率は2.7%から73.3%の範囲 - 最強構成 GPT-6 Astra with Codex CLI は25タスク中22を3回の試行で少なくとも1回成功 - 軌道分析により空間アラインメント、オブジェクト保持、完了判断の困難を明らかにした - 運動が成功裏に完了したにもかかわらずタスク失敗する例も含む - 隠れた物理結果検証器が物理的結果を検証

5. 議論はある?

- 最強構成でも25タスク中3タスクは解決できず、改善の余地が大きい - 軌道分析から空間アラインメント、オブジェクト保持、完了判断の困難が明らかに - 運動が成功裏に完了したにもかかわらずタスク失敗する例がある - 汎用モデルが能力を操作行動に変換する方法を測定し、典型的な失敗シナリオを調べるための制御されたテストベッドを提供 - 要旨からはその他の議論は不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 同分野の定番として、Code-as-Policy、SayCan、PaLM-E、RT-2、VoxPoser などが関連手法として挙げられる - 具体的な次に読むべき論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiheng Lyu, Xueying Jiang, Wenhao Li, Shijian Lu, Gongjie Zhang

分類: cs.RO, cs.AI

原文アブストラクト

How well can general-purpose multimodal models turn visual understanding and reasoning into embodied manipulation via executable code? We introduce CodeActionBench, a benchmark of 25 manipulation tasks that evaluates this capability through agentic Code-as-Policy. Without task-specific fine-tuning, demonstrations, external specialist perception or grasp modules, privileged scene state, or predefined task policies, agents should select visual evidence, form task-relevant 3D estimates, construct manipulation targets, and iteratively execute and revise their policies. A shared robot API provides RGB observations, calibrated geometric operations, robot feedback, and bounded motion, leaving task-dependent decisions to the evaluated agent. Fixed task instances, resource budgets, and a hidden physical-outcome verifier support controlled comparisons across models and harness configurations. Extensive evaluations across nine configurations and 675 attempts achieve success rates ranging from 2.7% to 73.3%. The strongest configuration, GPT-6 Astra with Codex CLI, solves 22 of 25 tasks at least once in three attempts, demonstrating the best performance while still leaving substantial room for improvement. Trajectory analyses reveal difficulties in spatial alignment, object retention, and completion judgment, including task failures despite successfully completed motions. CodeActionBench provides a controlled testbed for measuring how general-purpose models translate their capabilities into manipulation behavior and for examining typical failure scenarios in that process.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI