CaP-X: ロボットマニピュレーションのためのコーディングエージェントのベンチマークと改善フレームワーク

- ロボットマニピュレーションのためのCode-as-Policyエージェントを体系的に研究するオープンアクセスフレームワークCaP-Xを提案。 - 中核はCaP-Gym：エージェントが知覚と制御のプリミティブを組み合わせたプログラムを合成・実行してロボットを制御する対話型環境。 - CaP-Bench：様々な抽象度、インタラクション、知覚的グラウンディングのレベルで最先端の言語・視覚言語モデルを評価。 - 12モデルを評価し、人間が作った抽象化があると性能が向上するが、その事前知識を除去すると性能が低下することを発見。 - エージェント的テスト時計算のスケーリング（マルチターン対話、構造化実行フィードバック、視覚差分、自動スキル合成、アンサンブル推論）でこのギャップを緩和できることを示す。 - これらの知見から、訓練不要のCaP-Agent0を導出し、シミュレーションと実機で人間レベルの信頼性を回復。 - さらにCaP-RLを導入し、検証可能な報酬による強化学習が成功率を改善し、sim2real転移を最小ギャップで実現することを示す。

- 先行研究ではCode-as-Policyがデータ集約的なVision-Language-Action (VLA)手法を補完する可能性が示唆されていたが、自律的な身体性マニピュレーションコントローラとしての有効性は十分に検討されていなかった。 - 本研究は、Code-as-Policyエージェントを体系的に研究するためのオープンアクセスフレームワークを提供し、その有効性と限界を明らかにする。 - 特に、人間が設計した抽象化への依存を定量的に示し、テスト時計算のスケーリングでその依存を軽減できることを実証した点が新しい。 - 訓練不要のCaP-Agent0と、検証可能な報酬による強化学習CaP-RLを提案し、シミュレーションと実機での性能を向上させた。

- CaP-Gym：エージェントが知覚と制御のプリミティブを組み合わせたプログラムを合成・実行する対話型環境。 - CaP-Bench：抽象度、インタラクション、知覚的グラウンディングのレベルを変化させて言語・視覚言語モデルを評価するベンチマーク。 - エージェント的テスト時計算のスケーリング：マルチターン対話、構造化実行フィードバック、視覚差分、自動スキル合成、アンサンブル推論。 - CaP-Agent0：訓練不要のフレームワークで、上記のテスト時計算技術を統合。 - CaP-RL：検証可能な報酬を用いた強化学習により、成功率を改善しsim2real転移を実現。

- 12の言語・視覚言語モデルをCaP-Benchで評価し、抽象化の有無による性能変化を分析。 - エージェント的テスト時計算のスケーリングが、低レベルプリミティブ上でもロバスト性を大幅に改善することを示した。 - CaP-Agent0がシミュレーションと実機のいくつかのマニピュレーションタスクで人間レベルの信頼性を回復することを確認。 - CaP-RLが成功率を改善し、sim2real転移を最小ギャップで実現することを示した。

- 性能は人間が作った抽象化に依存し、事前知識を除去すると低下するという一貫した傾向が明らかになった。 - この依存は、マルチターン対話や構造化実行フィードバックなどのエージェント的テスト時計算のスケーリングによって緩和できる。 - 訓練不要のCaP-Agent0と強化学習ベースのCaP-RLの有効性が示されたが、限界や課題については要旨からは不明。

- 要旨で参照/比較されている研究：Vision-Language-Action (VLA) 手法、Code-as-Policy。 - 関連手法：CaP-Gym、CaP-Bench、CaP-Agent0、CaP-RL。 - 同分野の定番：ロボットマニピュレーションのためのVision-Language-Actionモデル、Code-as-Policy。