日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2510.08572

BLAZER: ゼロショットデータ生成によるLLMベース操作エージェントのブートストラップ

BLAZER: Bootstrapping LLM-based Manipulation Agents with Zero-Shot Data Generation

シェア:XThreadsFacebookLINEはてブBluesky

LLMプランナーでシミュレーション内の操作デモを自動生成し、成功例でLLMを微調整することで、人手なしに操作スキルを獲得・転移させるフレームワークを提案。

詳しい要約

1. どんなもの?

- BLAZERは、自動生成した訓練データからmanipulation policyを学習するフレームワーク - LLM plannerのzero-shot能力を活用し、simulation内で多様なmanipulationタスクのdemonstrationを自動生成 - 成功例を用いてLLMをfinetuneし、人手監督なしでplanning能力を改善 - 訓練にはsimulatorのstateが必要だが、獲得技能をsensor-based manipulationへ直接転移できることを示す

2. 先行研究と比べてどこがすごい?

- 従来のroboticsはvision/languageと異なりinternet-scaleのdemonstrationがなく、dataset規模が手動収集・curationに制約されていた - BLAZERは自動生成データによりこの制約を回避し、人手監督なしでpolicy学習とLLM改善を両立 - 先行研究との具体的な比較数値は要旨からは不明 - 訓練pool外タスクへの汎化とLLMモデルのdownscalingを可能にした点を主張

3. 技術・手法の肝は?

- LLM plannerのzero-shot能力でsimulation内の多様なmanipulationタスクのdemonstrationを自動生成 - 成功したexampleを選別し、LLMのfinetuneに利用してplanning能力を向上 - 得られたデータでmanipulation policyを学習 - 訓練時はsimulatorのstateを利用するが、sensor-based manipulationへの直接転移を実現 - 詳細なアルゴリズムやモデル構成は要旨からは不明

4. どうやって有効だと検証した?

- 広範なexperimentを実施し、simulated環境とreal環境の両方でzero-shot manipulationが大幅に改善したと報告 - 訓練pool外のタスクでも改善を確認 - LLMモデルのdownscalingが可能であることを示した - 具体的なタスク数・成功率・比較手法などの定量詳細は要旨からは不明

5. 議論はある?

- 訓練にsimulatorのstateが必要という制約がある一方、sensor-based manipulationへの転移を示した点が議論の焦点 - 自動生成データの品質や成功例選別の妥当性、sim-to-real gapの程度は要旨からは不明 - 訓練pool外への汎化やLLM downscalingの限界・適用範囲は要旨からは不明 - コードとデータは公開予定とされている

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法としてLLM-based planning、zero-shot manipulation、sim-to-real transfer、imitation learning、data scalingに関する研究を挙げて読むのが妥当 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rocktim Jyoti Das, Harsh Singh, Diana Turmakhan, Muhammad Abdullah Sohail, Mingfei Han, Preslav Nakov, Fabio Pizzati, Ivan Laptev

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Scaling data and models has played a pivotal role in the remarkable progress of computer vision and language. Inspired by these domains, recent efforts in robotics have similarly focused on scaling both data and model size to develop more generalizable and robust policies. However, unlike vision and language, robotics lacks access to internet-scale demonstrations across diverse robotic tasks and environments. As a result, the scale of existing datasets typically suffers from the need for manual data collection and curation. To address this problem, here we propose BLAZER, a framework that learns manipulation policies from automatically generated training data. We build on the zero-shot capabilities of LLM planners and automatically generate demonstrations for diverse manipulation tasks in simulation. Successful examples are then used to finetune an LLM and to improve its planning capabilities without human supervision. Notably, while BLAZER training requires access to the simulator's state, we demonstrate direct transfer of acquired skills to sensor-based manipulation. Through extensive experiments, we show BLAZER to significantly improve zero-shot manipulation in both simulated and real environments. Moreover, BLAZER improves on tasks outside of its training pool and enables downscaling of LLM models. Our code and data will be made publicly available on the project page.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI