日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.15061

Ask-to-Clarify: マルチターン対話による指示の曖昧性解消

Ask-to-Clarify: Resolving Instruction Ambiguity through Multi-turn Dialogue

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルに対話による曖昧性解消と視覚運動制御を統合したフレームワークを提案し、実世界11タスクで有効性を示した。

詳しい要約

1. どんなもの?

- 物理世界で知覚・推論・行動する embodied agents 向けの統合フレームワーク - 指示の曖昧さを multi-turn dialogue で解消する Ask-to-Clarify を提案 - VLM-based Cognitive Planner と Diffusion-based Motor Executor を組み合わせる - 高レベル action primitives や外部 planner に依存せず end-to-end で低レベル visuomotor control まで統合 - 従来の VLA モデルの『Listen-and-Act』型の受動的指示実行の限界に対処する

2. 先行研究と比べてどこがすごい?

- 既存の VLA-based models は指示を曖昧でない前提で受動的に実行し、対話で不確実性を解消できなかった - 本研究は multi-turn disambiguation dialogue と低レベル visuomotor control を単一の end-to-end フレームワークで統合 - 高レベル action primitives や外部 planner を不要にする点が従来と異なる - 11 の real-world tasks で既存手法を大きく上回ると報告

3. 技術・手法の肝は?

- VLM-based Cognitive Planner と Diffusion-based Motor Executor を組み合わせた構成 - 高レベル曖昧性解消と低レベル実行のギャップを埋める Semantic-Visual Alignment Adapter を導入 - 同 Adapter は cross-modal interface として semantic intent と visual perceptual streams を統合 - visuomotor fine-tuning が対話能力を完全に消す catastrophic forgetting を観測 - 対話ロジックと物理操作を分離する two-stage knowledge-insulation training strategy を提案

4. どうやって有効だと検証した?

- 11 の real-world tasks で広範な評価を実施 - Ask-to-Clarify が既存手法を有意に上回ることを示した - 具体的な評価指標・ベースライン・被験者数などは要旨からは不明

5. 議論はある?

- visuomotor fine-tuning による catastrophic forgetting が重要な問題として指摘されている - two-stage knowledge-insulation training strategy で対話と操作の分離を図るが、その限界や一般性は要旨からは不明 - 実世界 11 タスクでの優位性は示されるが、他環境への汎化や失敗事例の議論は要旨からは不明

6. 次に読むべき論文は?

- VLA-based models(Vision-Language-Action models) - VLM-based Cognitive Planner に関連する Vision-Language Model 研究 - Diffusion-based Motor Executor に関連する diffusion policy 研究 - catastrophic forgetting および knowledge insulation に関する継続学習研究 - multi-turn dialogue による指示曖昧性解消に関する対話研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xingyao Lin, Xinghao Zhu, Tianyi Lu, Guojin Zhong, Sicheng Xie, Hui Zhang, Xipeng Qiu, Zuxuan Wu, Yu-Gang Jiang

分類: cs.RO, cs.CV

原文アブストラクト

Embodied agents are intelligent systems designed to perceive, reason, and act within the physical world. While the robotics community has long strived to build such versatile agents, a fundamental limitation persists: most current VLA-based models operate under a rigid ``Listen-and-Act'' paradigm. These systems assume instructions are unambiguous and execute them in a passive fashion, preventing them from resolving uncertainty through dialogue. To address this, we propose Ask-to-Clarify, a unified end-to-end framework that seamlessly integrates multi-turn disambiguation dialogue with low-level visuomotor control, eliminating the reliance on high-level action primitives or external planners. Specifically, Ask-to-Clarify synergizes a VLM-based Cognitive Planner with a Diffusion-based Motor Executor. To bridge the disparity between high-level disambiguation and low-level execution, we introduce a Semantic-Visual Alignment Adapter, which functions as a cross-modal interface to synthesize semantic intent with visual perceptual streams. Furthermore, we observe severe catastrophic forgetting: visuomotor fine-tuning completely erases dialogue capabilities. To overcome this, we propose a two-stage knowledge-insulation training strategy, effectively decoupling dialogue logic from physical manipulation. Extensive evaluations across 11 real-world tasks demonstrate that \framework{} significantly outperforms existing methods, offering a promising path toward building truly collaborative embodied agents.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI