日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.16652

CodeDiffuser: VLM生成コードによる曖昧な指示に対応する注意強化拡散ポリシー

CodeDiffuser: Attention-Enhanced Diffusion Policy via VLM-Generated Code for Instruction Ambiguity

シェア:XThreadsFacebookLINEはてブBluesky

VLMが自然言語指示を解釈してタスク固有のコードを生成し、そのコードから3D注意マップを作って拡散ポリシーを誘導することで、曖昧な指示下のロボットマニピュレーションを実現するフレームワーク。

詳しい要約

1. どんなもの?

- 曖昧・曖昧模糊とした自然言語指示でロボットマニピュレーションを行う枠組み - 例:「Hang a mug on the mug tree」で複数の mug や枝がある場合の曖昧性に対処 - VLM が指示の抽象概念を解釈し、タスク特化の code を中間表現として生成 - 生成 code が perception module と連携し 3D attention map を作成 - 曖昧性を解消しつつ解釈可能なパイプラインを目指す

2. 先行研究と比べてどこがすごい?

- 既存の language-conditioned policy は end-to-end で高レベル意味理解と低レベル行動生成を同時処理 - そのため modularity と interpretability に欠け性能が不十分になり得る - 提案法は VLM 生成 code という解釈可能な中間表現で両者を分離 - 曖昧指示への適応、contact-rich 操作、multi-object 相互作用で優位と主張 - 既存 imitation learning の言語・環境変化への適応不足も指摘

3. 技術・手法の肝は?

- VLM が自然言語指示中の抽象概念を解釈しタスク特化 code を生成 - 生成 code は解釈可能かつ実行可能な中間表現として機能 - code が perception module と interface し 3D attention map を生成 - attention map は空間情報と意味情報を統合しタスク関連領域を強調 - これにより指示の曖昧性を実効的に解消する設計

4. どうやって有効だと検証した?

- 広範な実験を実施したと記載 - 言語曖昧性を含む難易度の高い manipulation タスクで評価 - contact-rich manipulation および multi-object interactions でも検証 - 現行 imitation learning の主要限界(言語・環境変化への適応不良)を実験で特定 - 詳細なベースラインや指標は要旨からは不明

5. 議論はある?

- 既存 end-to-end 手法の modularity・interpretability 不足を問題視 - imitation learning の言語・環境変動への適応限界を指摘 - VLM 生成 code による曖昧性解消の有効性を主張 - 具体的な失敗事例や限界、計算コストの議論は要旨からは不明

6. 次に読むべき論文は?

- 既存の end-to-end language-conditioned policy(imitation learning 系) - VLM を用いた code 生成・中間表現に関する研究 - 3D attention map を用いた manipulation 研究 - contact-rich manipulation および multi-object interaction の関連手法 - 個別の論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guang Yin, Yitong Li, Yixuan Wang, Dale McConachie, Paarth Shah, Kunimatsu Hashimoto, Huan Zhang, Katherine Liu, Yunzhu Li

分類: cs.RO, cs.CV, cs.LG, cs.SE

原文アブストラクト

Natural language instructions for robotic manipulation tasks often exhibit ambiguity and vagueness. For instance, the instruction "Hang a mug on the mug tree" may involve multiple valid actions if there are several mugs and branches to choose from. Existing language-conditioned policies typically rely on end-to-end models that jointly handle high-level semantic understanding and low-level action generation, which can result in suboptimal performance due to their lack of modularity and interpretability. To address these challenges, we introduce a novel robotic manipulation framework that can accomplish tasks specified by potentially ambiguous natural language. This framework employs a Vision-Language Model (VLM) to interpret abstract concepts in natural language instructions and generates task-specific code - an interpretable and executable intermediate representation. The generated code interfaces with the perception module to produce 3D attention maps that highlight task-relevant regions by integrating spatial and semantic information, effectively resolving ambiguities in instructions. Through extensive experiments, we identify key limitations of current imitation learning methods, such as poor adaptation to language and environmental variations. We show that our approach excels across challenging manipulation tasks involving language ambiguity, contact-rich manipulation, and multi-object interactions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI