日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.16143

見えない指示もお任せ:対話的質問によるマルチモーダルな直示参照解決

Take That for Me: Multimodal Exophora Resolution with Interactive Questioning for Ambiguous Out-of-View Instructions

シェア:XThreadsFacebookLINEはてブBluesky

音源定位・意味地図・VLM・GPT-4oによる対話的質問を組み合わせ、ロボットの視野外にいるユーザーや物体への曖昧な指示を解決するフレームワークMIELを提案した。

詳しい要約

1. どんなもの?

- 日常生活支援ロボットが「あのカップを持ってきて」のような demonstratives を含む曖昧な指示を、対象物やユーザーがロボットの視野外にある場合でも解釈するための枠組み。 - MIEL (Multimodal Interactive Exophora resolution with user Localization) と名付けられた multimodal exophora resolution framework。 - sound source localization (SSL)、semantic mapping、visual-language models (VLMs)、GPT-4o を用いた interactive questioning を組み合わせる。

2. 先行研究と比べてどこがすごい?

- 既存の exophora resolution は主に visual data に依存し、対象物やユーザーが見えない実世界シナリオでは失敗する。 - MIEL は SSL により初期視野外のユーザーへロボットを向け、gesture や pointing direction を同定可能にする点が異なる。 - 曖昧さが残る場合に GPT-4o で clarifying questions を生成し能動的に質問する点が先行手法と異なる。

3. 技術・手法の肝は?

- 環境の semantic map を構築し、linguistic query とユーザーの skeletal data から候補物体を推定。 - SSL を用いて視野外のユーザー方向へロボットを向け、ユーザーの gesture と pointing direction を正確に同定。 - 曖昧さが残る場合は GPT-4o を用いて clarifying questions を生成し、ユーザーと対話的に解決。 - VLM と semantic mapping を組み合わせて対象物の候補を絞り込む。

4. どうやって有効だと検証した?

- 実世界環境での実験を実施。 - SSL と interactive questioning を用いない手法と比較し、ユーザーが見える場合は約1.3倍、見えない場合は約2.0倍の性能向上を報告。 - 具体的な評価指標・被験者数・タスク設定は要旨からは不明。

5. 議論はある?

- 実世界実験で有効性を示す一方、詳細な限界や失敗事例、SSL の精度依存性、GPT-4o の質問生成品質への依存については要旨からは不明。 - 視野外ユーザーへの対応が改善されることが示唆されるが、議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別論文は明示されていない。 - 関連手法として exophora resolution、sound source localization (SSL)、semantic mapping、visual-language models (VLMs)、GPT-4o を用いた interactive questioning に関する研究が次に読むべき候補。 - 同分野の定番として visual grounding や referring expression comprehension の研究も関連。詳細は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Akira Oyama, Shoichi Hasegawa, Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi

分類: cs.RO, cs.AI

原文アブストラクト

Daily life support robots must interpret ambiguous verbal instructions involving demonstratives such as ``Bring me that cup,'' even when objects or users are out of the robot's view. Existing approaches to exophora resolution primarily rely on visual data and thus fail in real-world scenarios where the object or user is not visible. We propose Multimodal Interactive Exophora resolution with user Localization (MIEL), which is a multimodal exophora resolution framework leveraging sound source localization (SSL), semantic mapping, visual-language models (VLMs), and interactive questioning with GPT-4o. Our approach first constructs a semantic map of the environment and estimates candidate objects from a linguistic query with the user's skeletal data. SSL is utilized to orient the robot toward users who are initially outside its visual field, enabling accurate identification of user gestures and pointing directions. When ambiguities remain, the robot proactively interacts with the user, employing GPT-4o to formulate clarifying questions. Experiments in a real-world environment showed results that were approximately 1.3 times better when the user was visible to the robot and 2.0 times better when the user was not visible to the robot, compared to the methods without SSL and interactive questioning. The project website is https://emergentsystemlabstudent.github.io/MIEL/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI