記憶/不確実性定量化2026/6/6arXiv:2606.08277

自信を持って記憶する：確率的保証を伴う時空間記憶の不確実性定量化

Remember with Confidence: Uncertainty Quantification for Spatio-temporal Memory with Probabilistic Guarantees

VLMによる説明文のノイズや視点依存性を考慮し、物体ごとの意味的不確実性を定量化して、不確実な物体を能動的に改善する時空間記憶システムUQ-DAAAMを提案した。

詳しい要約

1. どんなもの？

- 長期的なロボット操作には時空間メモリが不可欠。 - シーングラフやretrieval-augmentedシステムはVLM記述を永続的な3Dエンティティに接地。 - しかしVLMキャプションはノイズが多く視点不整合があり、既存システムは信頼性を検出する仕組みがない。 - 本研究は多視点VLMメモリのオブジェクトレベル意味的不確実性を導入。 - オブジェクト中心のクロスビュー意味散らばりを測り、意味的に未解決なオブジェクトを特定。 - 不確実性スコアを空間意味メモリシステムUQ-DAAAMに組み込む。

2. 先行研究と比べてどこがすごい？

- 既存システムはVLMキャプションをオラクルとして扱い、信頼性検出機構がなかった。 - 本研究はオブジェクトレベルの意味的不確実性を定量化し、能動的に不確実なオブジェクトを洗練。 - 固定クエリ予算下で高品質ビューを選択し、多視点キャプションを融合。 - 確率的保証を導出し、高品質候補ビューが不確実性を低減しやすいことを示す。 - OC-NaVQAベンチマークでベースラインより大きな不確実性低減と時空間QA性能向上を達成。

3. 技術・手法の肝は？

- オブジェクトレベルの意味的不確実性スコアを定義：オブジェクト中心のクロスビュー意味散らばりを測定。 - このスコアを空間意味メモリシステムUQ-DAAAMに統合。 - 固定クエリ予算下で不確実なオブジェクトを能動的に洗練：高品質ビューを選択し、多視点キャプションを単一オブジェクト記述に融合。 - 確率的保証を導出：アプローチが選択する高品質候補ビューは不確実性を低減する可能性が高い。

4. どうやって有効だと検証した？

- OC-NaVQAベンチマークで実験。 - UQ-DAAAMはベースラインと比較して、不確実性の大幅な低減と時空間質問応答性能の向上を達成。 - 不確実性定量化がembodied 4Dメモリシステムの信頼性と有効性を高めることを示す。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：Scene graphs, retrieval-augmented systems, VLM, OC-NaVQA benchmark, UQ-DAAAM, DAAAM (関連手法)。 - 同分野の定番：Spatio-temporal memory, embodied 4D memory systems, uncertainty quantification in robotics。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Harry Zhang, Nicolas Gorlo, Luca Carlone

分類: cs.CV

原文アブストラクト

Long-horizon robot operation requires spatio-temporal memory to record the environment state and recall it for downstream reasoning. Scene graphs and retrieval-augmented systems ground VLM descriptions to persistent 3D entities with rich semantic descriptions. However, VLM captions are noisy and viewpoint-inconsistent, and existing systems treat them as an oracle with no mechanism to detect unreliable stored descriptions. We introduce object-level semantic uncertainty for multi-view VLM memory: a score that measures object-centric cross-view semantic scatter of captions and identifies semantically unresolved objects. Then, we include our uncertainty scores in an advanced spatial-semantic memory system, that we dub UQ-DAAAM. UQ-DAAAM uses this score to actively refine uncertain objects under a fixed query budget by selecting high-quality views and fusing the resulting multi-view captions into a single object description. We also derive probabilistic guarantees showing that higher-quality candidate views (as selected by our approach) are more likely to reduce uncertainty. Our experiments show that uncertainty quantification can make embodied 4D memory systems more reliable and more effective. In particular, on the OC-NaVQA benchmark, UQ-DAAAM achieves substantially larger uncertainty reduction and better spatio-temporal question answering performance than baselines.

arXivで原文を読む →arXiv概要ページ

← 論文一覧