日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.20334

デモンストレーション不要のLLMエージェントによるロボット制御

Demonstration-Free Robotic Control via LLM Agents

シェア:XThreadsFacebookLINEはてブBluesky

ソフトウェア開発用のLLMエージェントフレームワークをそのままロボット操作に適用し、デモやファインチューニングなしでLIBEROなどで高い成功率を達成した。

詳しい要約

1. どんなもの?

- 汎用LLMエージェントフレームワークをそのままembodied manipulationに適用する制御パラダイムの検討 - FAEA (Frontier Agent as Embodied Agent) を提案 - ソフトウェアエージェントの反復推論を操作戦略の推論に流用 - 未改変のfrontier agent (Claude Agent SDK) を使用 - LIBERO, ManiSkill3, MetaWorldで評価 - 実演やfine-tuningを必要としないdemonstration-free制御

2. 先行研究と比べてどこがすごい?

- VLA (vision-language-action) モデルは高い性能だがタスク固有の実演とfine-tuningが必要 - VLAはdomain shift下での汎化が弱い - FAEAは実演・fine-tuning不要で、タスク成功率がVLA (1タスク100実演未満で訓練) に迫る - 人間フィードバック1回でLIBERO 88.2%に向上 - 新規シナリオを自律探索し訓練データ拡張用の成功trajectoryを生成可能 - 活発に維持されるagent基盤とfrontier modelの進歩を直接活用できる

3. 技術・手法の肝は?

- ソフトウェアエンジニアリング向けLLMエージェントフレームワークを改変せずembodied manipulationに適用 - コードのデバッグを可能にするのと同じ反復推論で操作戦略を推論 - 未改変のfrontier agent (Claude Agent SDK) を使用 - privileged environment state accessを利用 - 人間フィードバック1回を任意の最適化として追加可能

4. どうやって有効だと検証した?

- LIBERO, ManiSkill3, MetaWorldの3ベンチマークで評価 - privileged environment state access下で成功率84.9%, 85.7%, 96%を達成 - これは1タスク100実演未満で訓練したVLAモデルに迫る水準 - 人間フィードバック1回でLIBERO 88.2%に向上 - 実演・fine-tuningなしで達成

5. 議論はある?

- 汎用エージェントは熟慮的なタスクレベル計画が支配的な操作タスク群に十分 - ロボティクスが活発に維持されるagent基盤を活用しfrontier modelの進歩から直接恩恵を受ける道を開く - demonstration-free能力はシミュレーションでの新規シナリオ自律探索や訓練データ拡張に即時実用的価値 - 限界や失敗事例、他のタスク種別への一般化については要旨からは不明

6. 次に読むべき論文は?

- VLA (vision-language-action) モデル - Claude Agent SDK - LIBERO - ManiSkill3 - MetaWorld - ソフトウェアエンジニアリング向けLLMエージェントフレームワーク

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Brian Y. Tsui, Alan Y. Fang, Tiffany J. Hwu

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Robotic manipulation has increasingly adopted vision-language-action (VLA) models, which achieve strong performance but typically require task-specific demonstrations and fine-tuning, and often generalize poorly under domain shift. We investigate whether general-purpose large language model (LLM) agent frameworks, originally developed for software engineering, can serve as an alternative control paradigm for embodied manipulation. We introduce FAEA (Frontier Agent as Embodied Agent), which applies an LLM agent framework directly to embodied manipulation without modification. Using the same iterative reasoning that enables software agents to debug code, FAEA enables embodied agents to reason through manipulation strategies. We evaluate an unmodified frontier agent, Claude Agent SDK, across the LIBERO, ManiSkill3, and MetaWorld benchmarks. With privileged environment state access, FAEA achieves success rates of 84.9%, 85.7%, and 96%, respectively. This level of task success approaches that of VLA models trained with less than 100 demonstrations per task, without requiring demonstrations or fine-tuning. With one round of human feedback as an optional optimization, performance increases to 88.2% on LIBERO. This demonstration-free capability has immediate practical value: FAEA can autonomously explore novel scenarios in simulation and generate successful trajectories for training data augmentation in embodied learning. Our results indicate that general-purpose agents are sufficient for a class of manipulation tasks dominated by deliberative, task-level planning. This opens a path for robotics systems to leverage actively maintained agent infrastructure and benefit directly from ongoing advances in frontier models. Code is available at https://github.com/robiemusketeer/faea-sim

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI