物体検索/空間記憶/VLM2026/6/1arXiv:2606.15476

FARM: 関係空間記憶を用いた任意物体の発見

FARM: Find Anything using Relational Spatial Memory

ロボットが「ダーツボードの下の背の高いランプ」のような関係的な指示で物体を見つけられるよう、実時間で物体レベルの空間記憶を構築し、VLMでクエリを解析して検索するシステムを提案した。

詳しい要約

1. どんなもの？

- 家庭・倉庫など物体が多い環境で、ロボットが特定の物体インスタンスを要求に応じて見つけるための記憶システム。 - 物体レベルの記憶だけでは不十分で、ランドマークや周囲物体との関係（例: 'ダーツボードの下、ポスターの左にある背の高いランプ'）を扱う relational spatial memory を構築。 - FARM (Find Anything using Relational Spatial Memory) は、5-10 Hz でリアルタイムに、geometry・visual-language descriptors・viewpoint evidence を備えたコンパクトで open-vocabulary な物体レベル記憶を構築。 - クエリ時には VLM を用いてクエリを解析し視覚証拠をスコアリングしつつ、空間制約を object symbols と relational predicates で明示的にグラウンディング。

2. 先行研究と比べてどこがすごい？

- 従来の物体レベル記憶のみの手法や、frame histories や scene-graph context に対する end-to-end reasoning と比較して、より正確でロバストな検索を実現。 - 44k の言語クエリ、67 の屋内・屋外シーン（15〜15,000 m^2）の実験で、Recall@5 と Recall@10 を先行手法よりそれぞれ 164%、224% 改善。 - 最終的な VLM reranking 段階により Accuracy@1 を 35% 改善し、リアルタイム動作を維持。 - オンボードセンサと計算機を用いた四足歩行ロボットでの closed-loop 展開も実証。

3. 技術・手法の肝は？

- リアルタイム（5-10 Hz）で、open-vocabulary な物体レベル記憶を構築。 - 記憶には geometry、visual-language descriptors、viewpoint evidence を保持。 - クエリ時には VLM を用いてクエリを解析し、視覚証拠をスコアリング。 - 空間制約は object symbols と relational predicates を介して明示的にグラウンディング。 - この構造化された VLM の利用が、end-to-end reasoning よりも正確でロバストな検索を可能にする。

4. どうやって有効だと検証した？

- 44k の言語クエリ、67 の屋内・屋外シーン（15〜15,000 m^2）で実験。 - Recall@5 と Recall@10 を先行手法より 164%、224% 改善。 - 最終 VLM reranking 段階で Accuracy@1 を 35% 改善。 - リアルタイム動作を確認。 - 四足歩行ロボットにオンボードセンサと計算機を用いて closed-loop 展開を実証。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、物体レベル記憶、frame histories や scene-graph context に対する end-to-end reasoning、VLM を用いた検索、relational spatial memory などが挙げられる。 - 同分野の定番として、object-level memory、scene graph、visual-language model (VLM) ベースのロボット記憶・検索手法を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siming He, Leo Huang, Adam Lilja, Fabio Huebel, Jonas Frey, Marco Pavone, S. Shankar Sastry, Jitendra Malik, Claire Tomlin

分類: cs.RO

原文アブストラクト

Robots operating in homes, warehouses, and other object-rich environments need memory systems that can find specific object instances on demand. Object-level memory alone is often insufficient: scenes contain many plausibly matching objects, and users refer to the target through relations to landmarks and surrounding objects (e.g. ``the tall lamp below the dartboard and to the left of the poster''), demanding a relational spatial memory that supports retrieval through semantic, appearance, and spatial predicates over objects. To achieve this, we present FARM (Find Anything using Relational Spatial Memory), which builds, in real time at 5-10 Hz, a compact, open-vocabulary, object-level memory with geometry, visual-language descriptors, and viewpoint evidence. At query time, FARM uses VLMs to parse the query and score visual evidence, while grounding spatial constraints explicitly through object symbols and relational predicates. This structured use of VLMs enables more accurate and robust retrieval than end-to-end reasoning over frame histories or scene-graph context. In experiments on 44k language queries spanning 67 indoor and outdoor scenes, ranging from 15 to 15,000 m^2, FARM improves Recall@5 and Recall@10 over prior methods by 164% and 224%, and a final VLM reranking stage improves Accuracy@1 by 35%, while running in real time. We further demonstrate closed-loop deployment on a quadrupedal robot using onboard sensors and compute.

arXivで原文を読む →arXiv概要ページ

← 論文一覧