日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.21378

RoboInspector:LLMロボット操作におけるポリシーコードの信頼性欠如を暴く

RoboInspector: Unveiling the Unreliability of Policy Code for LLM-enabled Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

LLMによるロボット操作のポリシーコード生成が、タスクの複雑さや指示の粒度によって不安定になる問題を体系的に分析し、失敗原因を4つに分類。失敗コードのフィードバックによる改善手法で信頼性を最大35%向上させた。

詳しい要約

1. どんなもの?

- LLM を用いたロボットマニピュレーションにおける policy code 生成の信頼性を分析するパイプライン **RoboInspector** を提案 - タスクの複雑さと指示の粒度という2つの観点から、policy code の不安定性を特徴づける - 216通りのタスク・指示・LLM の組み合わせを2つの主要フレームワークで実験 - 失敗につながる4つの主要な不安定挙動を特定し、その原因を分析 - 失敗した policy code のフィードバックに基づく refinement 手法を導入し、信頼性を最大35%改善

2. 先行研究と比べてどこがすごい?

- 従来の LLM による policy code 生成研究は機能向上に焦点が当たりがち - 本研究は同一タスクに対する多様なユーザー指示が生成コードの不安定さを招く点に着目 - タスク複雑度と指示粒度の2軸で体系的に不安定挙動を分類・特徴づける点が新しい - 216通りの組み合わせを2フレームワークで大規模に評価した点が先行研究と異なる - 失敗コードのフィードバックによる refinement で信頼性を定量改善した点が貢献

3. 技術・手法の肝は?

- **RoboInspector** パイプラインを設計し、policy code の不安定さを2観点から特徴づけ - 観点1: manipulation task の複雑さ - 観点2: instruction の粒度 - 216通りの task・instruction・LLM の組み合わせを2つの主要フレームワークで実験 - 生成された policy code の失敗パターンを分析し、4つの主要な unreliable behaviors を同定 - 各挙動の詳細な特徴と原因を整理 - 失敗した policy code のフィードバックに基づく refinement 手法を導入

4. どうやって有効だと検証した?

- 216通りの task・instruction・LLM の組み合わせを2つの主要フレームワークで実験 - 4つの主要な unreliable behaviors を同定し、その原因を特徴づけ - refinement 手法の有効性を simulation と real-world 環境の両方で評価 - policy code 生成の信頼性が最大35%改善することを確認 - 具体的な評価指標やベースラインの詳細は要旨からは不明

5. 議論はある?

- 4つの unreliable behaviors とその原因を整理し、実開発への示唆を提示 - 指示の多様性が policy code の不安定さを招くという問題意識を提示 - refinement により最大35%の改善を報告するが、残る不安定さへの対処は議論の余地あり - タスク複雑度・指示粒度以外の要因の検討は要旨からは不明 - 2フレームワーク以外への一般化可能性は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない - 同分野の関連手法として LLM による code generation を用いた robotic manipulation の代表的研究(例: Code as Policies, ProgPrompt など)を次に読むべき - 指示の粒度やタスク複雑度を扱う instruction following / task planning 研究 - 失敗フィードバックによる refinement や self-correction に関する研究 - 具体的な比較対象は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenduo Ying, Linkang Du, Peng Cheng, Yuanchao Shu

分類: cs.RO, cs.AI

原文アブストラクト

Large language models (LLMs) demonstrate remarkable capabilities in reasoning and code generation, enabling robotic manipulation to be initiated with just a single instruction. The LLM carries out various tasks by generating policy code required to control the robot. Despite advances in LLMs, achieving reliable policy code generation remains a significant challenge due to the diverse requirements of real-world tasks and the inherent complexity of user instructions. In practice, different users may provide distinct instructions to drive the robot for the same task, which may cause the unreliability of policy code generation. To bridge this gap, we design \textbf{RoboInspector}, a pipeline to unveil and characterize the unreliability of the policy code for LLM-enabled robotic manipulation from two perspectives: the complexity of the manipulation task and the granularity of the instruction. We perform comprehensive experiments with 216 distinct combinations of tasks, instructions, and LLMs in two prominent frameworks. The \textbf{RoboInspector} identifies four main unreliable behaviors that lead to manipulation failure. We provide a detailed characterization of these behaviors and their underlying causes, giving insight for practical development to reduce unreliability. Furthermore, we introduce a refinement approach guided by failure policy code feedback that improves the reliability of policy code generation by up to 35\% in LLM-enabled robotic manipulation, evaluated in both simulation and real-world environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI