日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2511.05855

VLMが計画した原子スキルのデモンストレーションによる優しいマニピュレーション方策学習

Gentle Manipulation Policy Learning via Demonstrations from VLM Planned Atomic Skills

シェア:XThreadsFacebookLINEはてブBluesky

VLMで長期的な接触を伴うタスクを原子スキルに分解し、力制約付きRLで各スキルをシミュレーション学習、そのデモを視触覚拡散方策に蒸留して実機展開する枠組みを提案。

詳しい要約

1. どんなもの？

- 長期的・接触の多いmanipulationタスクを、階層的なsemantic decompositionでatomic skillsに分解し、RL・VLM・knowledge distillationを統合して学習するフレームワーク - 各atomic skillのpolicyはシミュレーション内のみでRL学習し、VLMが高レベルなタスク分解とskill planningを行って多様なexpert demonstrationsを生成 - それらをVisual-Tactile Diffusion Policyで単一のunified policyにdistillし、end-to-end実行を可能にする - 実世界の高コストなhuman demonstrationsなしでのlong-horizon manipulation policy学習を狙う

2. 先行研究と比べてどこがすごい？

- 従来のlong-horizon contact-rich manipulationは大量のreal-world dataとexpert engineeringを要し、コストとスケーラビリティが課題だった - 本研究はreal-world human demonstrationsを不要とし、シミュレーション内RLとVLM生成demonstrationsでpolicy学習を実現 - RL定式化にexplicit force constraintsを組み込み、delicate interaction時の物体損傷を防ぐ点が特徴 - VLM-guided atomic skill frameworkにより多様なタスクへのスケーラブルなgeneralizationを可能にする - 要旨からは不明：具体的な先行研究名や定量的な比較優位は明記されていない

3. 技術・手法の肝は？

- 階層的semantic decompositionにより複雑タスクをatomic skillsへ分解 - 各primitiveに対しシミュレーション内でRL-trained policyを学習し、explicit force constraintsをRL定式化に導入 - VLMがhigh-level task decompositionとskill planningを担い、多様なexpert demonstrationsを生成 - 生成されたdemonstrationsをVisual-Tactile Diffusion Policyによりunified policyへknowledge distillation - 異なるVLM-based task plannersのablationと、skill distillation向けimitation learningアルゴリズムの系統的比較を実施

4. どうやって有効だと検証した？

- 異なるVLM-based task plannersを探索するcomprehensive ablation studiesを実施し、最適なdemonstration generation pipelineを同定 - skill distillationのためのimitation learningアルゴリズムを系統的に比較 - extensive simulation experimentsに加えphysical deploymentにより有効性を検証 - 高コストなhuman demonstrationsなしでlong-horizon manipulationのpolicy learningが達成されること、VLM-guided atomic skill frameworkが多様なタスクへgeneralizationすることを確認

5. 議論はある？

- 要旨からは不明：限界や失敗ケース、force constraintsの具体的な設計・調整、sim-to-real gapに関する議論は明記されていない - 示唆される論点として、VLM-based task planner間の性能差とdemonstration生成パイプラインの選択、imitation learningアルゴリズム間のskill distillation性能比較がある - physical deploymentの結果とシミュレーション実験の対応関係の詳細は要旨からは不明

6. 次に読むべき論文は？

- Visual-Tactile Diffusion Policy（本研究でdistillation先として用いられる手法） - VLM-based task planning / skill planningの代表的手法（本研究でablation対象となったplanner群） - imitation learningアルゴリズムの比較対象（behavior cloning等の定番手法） - RLにおけるforce-constrained manipulation学習の関連研究 - 要旨で参照・比較されている個別論文名は明記されていないため、上記は本研究で用いられた手法・比較対象を一般名で挙げたもの

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiayu Zhou, Qiwei Wu, Jian Li, Zhe Chen, Xiaogang Xiong, Renjing Xu

分類: cs.RO

原文アブストラクト

Autonomous execution of long-horizon, contact-rich manipulation tasks traditionally requires extensive real-world data and expert engineering, posing significant cost and scalability challenges. This paper proposes a novel framework integrating hierarchical semantic decomposition, reinforcement learning (RL), visual language models (VLMs), and knowledge distillation to overcome these limitations. Complex tasks are decomposed into atomic skills, with RL-trained policies for each primitive exclusively in simulation. Crucially, our RL formulation incorporates explicit force constraints to prevent object damage during delicate interactions. VLMs perform high-level task decomposition and skill planning, generating diverse expert demonstrations. These are distilled into a unified policy via Visual-Tactile Diffusion Policy for end-to-end execution. We conduct comprehensive ablation studies exploring different VLM-based task planners to identify optimal demonstration generation pipelines, and systematically compare imitation learning algorithms for skill distillation. Extensive simulation experiments and physical deployment validate that our approach achieves policy learning for long-horizon manipulation without costly human demonstrations, while the VLM-guided atomic skill framework enables scalable generalization to diverse tasks.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →