VLA/記憶/ナビゲーション2026/4/1arXiv:2604.18271

EmbodiedLGR: ロボットエージェントのための軽量グラフ表現と検索を統合した意味空間メモリ

EmbodiedLGR: Integrating Lightweight Graph Representation and Retrieval for Semantic-Spatial Memory in Robotic Agents

ロボットが環境の記憶を効率的に構築・検索できるよう、視覚言語モデルを用いて物体の位置情報をグラフに、シーンの高レベル記述を検索アーキテクチャに格納するハイブリッド手法を提案した。NaVQAデータセットで最先端の推論・問い合わせ時間を達成した。

詳しい要約

1. どんなもの？

- ロボティクス向けのagentic AIにおいて、効率的な記憶構築と検索を可能にするEmbodiedLGR-Agentを提案。 - VLM駆動のエージェントアーキテクチャで、環境の密で効率的な表現を構築。 - 物体と位置の低レベル情報をsemantic graphに、観測シーンの高レベル記述をretrieval-augmented architectureに保持するハイブリッド手法。 - NaVQAデータセットで評価し、推論・クエリ時間でSOTA、精度は競争力あり。 - 実機ロボットに展開し、VLMとパイプラインをローカルで実行、人間-ロボットインタラクションで実用性を実証。

2. 先行研究と比べてどこがすごい？

- 従来のretrieval-augmentedアーキテクチャと比較し、semantic graphを組み合わせることで、メモリ表現の効率と検索速度を向上。 - 推論およびクエリ時間でstate-of-the-artを達成し、人間らしい応答時間を実現。 - 精度は現在のstate-of-the-artと比較して競争力を維持。 - 実機ロボットへの展開により、実世界での有用性を示した点が先行研究と異なる。

3. 技術・手法の肝は？

- VLMをパラメータ効率的に使用し、低レベル情報（物体と位置）をsemantic graphに格納。 - 高レベル記述はretrieval-augmented architectureで保持するハイブリッド構築・検索アプローチ。 - これにより密で効率的な環境表現を実現し、迅速な検索を可能にする。 - 具体的なグラフ構築・検索アルゴリズムの詳細は要旨からは不明。

4. どうやって有効だと検証した？

- NaVQAデータセットで評価し、推論・クエリ時間でstate-of-the-art、精度で競争力を確認。 - 実機ロボットに展開し、VLMとパイプラインをローカルで実行、人間-ロボットインタラクションを通じて実用性を検証。 - 具体的な評価指標や実験設定の詳細は要旨からは不明。

5. 議論はある？

- 効率的なメモリ表現と迅速な検索が人間-ロボットインタラクションに重要であると議論。 - 実機展開により実世界での有用性を示すが、限界や課題についての議論は要旨からは不明。 - 精度と速度のトレードオフやスケーラビリティに関する議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：NaVQAデータセット、retrieval-augmented architecture、semantic graph、VLM。 - 関連手法：EmbodiedLGR-Agentの基盤となるVLMやgraph representation learning。 - 同分野の定番：Embodied AI、Visual Question Answering (VQA)、Human-Robot Interaction (HRI)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Paolo Riva, Leonardo Gargani, Matteo Frosi, Matteo Matteucci

分類: cs.RO

原文アブストラクト

As the world of agentic artificial intelligence applied to robotics evolves, the need for agents capable of building and retrieving memories and observations efficiently is increasing. Robots operating in complex environments must build memory structures to enable useful human-robot interactions by leveraging the mnemonic representation of the current operating context. People interacting with robots may expect the embodied agent to provide information about locations, events, or objects, which requires the agent to provide precise answers within human-like inference times to be perceived as responsive. We propose the Embodied Light Graph Retrieval Agent (EmbodiedLGR-Agent), a visual-language model (VLM)-driven agent architecture that constructs dense and efficient representations of robot operating environments. EmbodiedLGR-Agent directly addresses the need for an efficient memory representation of the environment by providing a hybrid building-retrieval approach built on parameter-efficient VLMs that store low-level information about objects and their positions in a semantic graph, while retaining high-level descriptions of the observed scenes with a traditional retrieval-augmented architecture. EmbodiedLGR-Agent is evaluated on the popular NaVQA dataset, achieving state-of-the-art performance in inference and querying times for embodied agents, while retaining competitive accuracy on the global task relative to the current state-of-the-art approaches. Moreover, EmbodiedLGR-Agent was successfully deployed on a physical robot, showing practical utility in real-world contexts through human-robot interaction, while running the visual-language model and the building-retrieval pipeline locally.

arXivで原文を読む →arXiv概要ページ

← 論文一覧