日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

物体探索/POMDP/マルチモーダルarXiv:2603.04705

LEGS-POMDP: 部分観測環境における言語とジェスチャーによる物体探索

LEGS-POMDP: Language and Gesture-Guided Object Search in Partially Observable Environments

シェア:XThreadsFacebookLINEはてブBluesky

ロボットが曖昧な指示を解釈して物体を探すための、言語・ジェスチャー・視覚を統合したPOMDPシステムを提案し、シミュレーションと実機で有効性を示した。

詳しい要約

1. どんなもの?

- 言語とジェスチャーを統合した物体探索システム - 部分的観測可能な環境で動作するPOMDPベース - モジュール式で、言語・ジェスチャー・視覚観測を統合 - オープンワールドでの物体探索を目的とする - 四足歩行マニピュレータに実装

2. 先行研究と比べてどこがすごい?

- 従来の基盤モデルベース手法は不確実性のモデリングが欠如 - 従来のPOMDPはモダリティが限定的で環境仮定が制約的 - LEGS-POMDPは言語・ジェスチャー・視覚を統合 - 対象物体の同一性と空間位置の2つの不確実性を明示的にモデル化 - マルチモーダル融合が単一モーダルベースラインを大幅に上回る

3. 技術・手法の肝は?

- モジュール式POMDPシステム - 言語、ジェスチャー、視覚観測を統合 - 部分的観測可能性を2つに分類:対象物体の同一性と空間位置 - 不確実性下での計画を体系的に実行 - オープンワールド物体探索に適用

4. どうやって有効だと検証した?

- シミュレーションで評価 - マルチモーダル融合が単一モーダルベースラインを有意に上回る - 挑戦的な環境と物体カテゴリで平均成功率89% - 四足歩行マニピュレータで実世界実験 - 定性的にロバストなマルチモーダル知覚と不確実性低減を検証

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 基盤モデルベースのマルチモーダルグラウンディング手法 - 従来のPOMDPベースの物体探索手法 - 言語とジェスチャーを統合したロボット指示理解 - 部分的観測可能環境下での計画アルゴリズム

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ivy Xiao He, Stefanie Tellex, Jason Xinyu Liu

分類: cs.RO, cs.HC

原文アブストラクト

To assist humans in open-world environments, robots must interpret ambiguous instructions to locate desired objects. Foundation model-based approaches excel at multimodal grounding, but they lack a principled mechanism for modeling uncertainty in long-horizon tasks. In contrast, Partially Observable Markov Decision Processes (POMDPs) provide a systematic framework for planning under uncertainty but are often limited in supported modalities and rely on restrictive environment assumptions. We introduce LanguagE and Gesture-Guided Object Search in Partially Observable Environments (LEGS-POMDP), a modular POMDP system that integrates language, gesture, and visual observations for open-world object search. Unlike prior work, LEGS-POMDP explicitly models two sources of partial observability: uncertainty over the target object's identity and its spatial location. In simulation, multimodal fusion significantly outperforms unimodal baselines, achieving an average success rate of 89\% across challenging environments and object categories. Finally, we demonstrate the full system on a quadruped mobile manipulator, where real-world experiments qualitatively validate robust multimodal perception and uncertainty reduction under ambiguous instructions.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI