日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

変形物体操作arXiv:2509.02324

LLMプランニングと視覚知覚による言語誘導長期的変形物体操作

Language-Guided Long Horizon Manipulation with LLM-based Planning and Visual Perception

シェア:XThreadsFacebookLINEはてブBluesky

LLMベースのプランナーとVLMベースの知覚を統合し、言語指示から多段階の布折り畳みを実現するフレームワークを提案。シミュレーションと実機で有効性を検証。

詳しい要約

1. どんなもの?

- 言語指示による変形物体の長期的操作(multi-step cloth folding)を対象とした統合フレームワーク - LLM-based planner、VLM-based perception、task execution moduleの3要素で構成 - 高次言語指示を低次action primitivesへ分解し、知覚と行動を整合させる - 実世界の多様な布素材・配置での多段折り畳みを目指す

2. 先行研究と比べてどこがすごい?

- 変形物体は高自由度・複雑な動力学・vision-language groundingの難しさが課題 - 提案はLLM plannerとVLM perceptionを統合しsemantic-execution gapを橋渡し - シミュレーションでstate-of-the-art baselinesをseen instructionsで2.23、unseen instructionsで1.87、unseen tasksで33.3上回る - 実ロボットでも多様な布で頑健に多段折り畳みを実行し汎化を示す

3. 技術・手法の肝は?

- LLM-based plannerが高レベル言語指示を低レベルaction primitivesへ分解 - VLM-based perception moduleはSigLIP2-driven architectureを採用 - bidirectional cross-attention fusion mechanismで言語条件付きのfine-grained visual groundingを実現 - weight-decomposed low-rank adaptation (DoRA) fine-tuningを適用 - task execution moduleが計画と知覚を統合して実行

4. どうやって有効だと検証した?

- シミュレーションと実世界設定の両方で実験 - シミュレーションでseen instructions、unseen instructions、unseen tasksの3条件でbaselinesと比較 - 実ロボットで多様な布素材・配置に対し言語指示からの多段折り畳みを実行 - 実環境での汎化を定性的に示す(詳細な評価指標は要旨からは不明)

5. 議論はある?

- 実世界で多様な布素材・配置への汎化を示すと主張 - シミュレーションでのunseen tasks改善幅33.3が特に大きい - 失敗事例や限界、計算コスト、安全性の議論は要旨からは不明 - 実世界評価の定量指標や被験者数は要旨からは不明

6. 次に読むべき論文は?

- SigLIP2(VLM-based perceptionの基盤) - weight-decomposed low-rank adaptation (DoRA) - LLM-based planningによる長期的操作の先行研究(具体名は要旨からは不明) - 変形物体操作・cloth foldingの代表的ベンチマーク(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Changshi Zhou, Haichuan Xu, Ningquan Gu, Zhipeng Wang, Bin Cheng, Pengpeng Zhang, Yanchao Dong, Mitsuhiro Hayashibe, Yanmin Zhou, Bin He

分類: cs.RO

原文アブストラクト

Language-guided long-horizon manipulation of deformable objects presents significant challenges due to high degrees of freedom, complex dynamics, and the need for accurate vision-language grounding. In this work, we focus on multi-step cloth folding, a representative deformable-object manipulation task that requires both structured long-horizon planning and fine-grained visual perception. To this end, we propose a unified framework that integrates a Large Language Model (LLM)-based planner, a Vision-Language Model (VLM)-based perception system, and a task execution module. Specifically, the LLM-based planner decomposes high-level language instructions into low-level action primitives, bridging the semantic-execution gap, aligning perception with action, and enhancing generalization. The VLM-based perception module employs a SigLIP2-driven architecture with a bidirectional cross-attention fusion mechanism and weight-decomposed low-rank adaptation (DoRA) fine-tuning to achieve language-conditioned fine-grained visual grounding. Experiments in both simulation and real-world settings demonstrate the method's effectiveness. In simulation, it outperforms state-of-the-art baselines by 2.23, 1.87, and 33.3 on seen instructions, unseen instructions, and unseen tasks, respectively. On a real robot, it robustly executes multi-step folding sequences from language instructions across diverse cloth materials and configurations, demonstrating strong generalization in practical scenarios. Project page: https://language-guided.netlify.app/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI