日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

物体検索arXiv:2511.14004

時空間を探索する:オープンワールド物体検索のための統合メモリ・行動ループ

Searching in Space and Time: Unified Memory-Action Loops for Open-World Object Retrieval

シェア:XThreadsFacebookLINEはてブBluesky

ロボットが過去の状態や空間的文脈を手がかりに物体を探すため、長期記憶と行動を単一のループで統合するフレームワークSTARを提案し、新ベンチマークで有効性を示した。

詳しい要約

1. どんなもの?

- 動的で open-world な環境でサービスロボットが物体を検索する枠組み STAR (SpatioTemporal Active Retrieval) を提案 - 属性・空間文脈・過去状態など多様な参照に対応する物体検索を対象 - 長期記憶 (non-parametric long-term memory) と working memory を単一の decision loop に統合 - 時間的検索と空間的検索を統一問題として扱う - シミュレーションと実環境の STARBench ベンチマークを導入

2. 先行研究と比べてどこがすごい?

- 既存の scene graph は空間関係を捉えるが temporal grounding を無視 - temporal reasoning 手法は動態を扱うが embodied interaction を支援しない - dynamic scene graph は両方を扱うが固定語彙の closed-world に留まる - STAR は open-world で memory query と embodied action を単一ループで統合する点が新しい - 時間と空間の検索を別問題ではなく統一問題として扱う利点を示す

3. 技術・手法の肝は?

- non-parametric long-term memory と working memory による効率的な recall - vision-language model を用い、各ステップで temporal action か spatial action かを選択 - memory query と embodied action を単一の decision loop に統合 - 属性・空間文脈・過去状態の参照を同一枠組みで扱う設計 - 詳細なアルゴリズム構成は要旨からは不明

4. どうやって有効だと検証した?

- STARBench を構築し、シミュレーション環境と実環境の spatiotemporal object search タスクで評価 - Tiago robot 上での実験を実施 - scene-graph baseline および memory-only baseline と比較 - STAR が一貫して baseline を上回ることを示す - 時間検索と空間検索の統一が有効であることを実証

5. 議論はある?

- 時間と空間の検索を統一問題として扱う利点を主張 - open-world 設定での有効性を示す一方、具体的な限界や失敗事例は要旨からは不明 - baseline 比較の詳細や定量結果は要旨からは不明 - 実環境での汎化性や長期運用時の課題は要旨からは不明

6. 次に読むべき論文は?

- dynamic scene graph を用いた物体検索の研究 - scene graph ベースの spatial relation 推論手法 - temporal reasoning を用いた物体追跡・状態推定手法 - vision-language model をロボット行動選択に用いる embodied AI 研究 - open-world 物体検索ベンチマーク (STARBench 関連)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Taijing Chen, Sateesh Kumar, Junhong Xu, Georgios Pavlakos, Joydeep Biswas, Roberto Martín-Martín

分類: cs.RO

原文アブストラクト

Service robots must retrieve objects in dynamic, open-world settings where requests may reference attributes ("the red mug"), spatial context ("the mug on the table"), or past states ("the mug that was here yesterday"). Existing approaches capture only parts of this problem: scene graphs capture spatial relations but ignore temporal grounding, temporal reasoning methods model dynamics but do not support embodied interaction, and dynamic scene graphs handle both but remain closed-world with fixed vocabularies. We present STAR (SpatioTemporal Active Retrieval), a framework that unifies memory queries and embodied actions within a single decision loop. STAR leverages non-parametric long-term memory and a working memory to support efficient recall, and uses a vision-language model to select either temporal or spatial actions at each step. We introduce STARBench, a benchmark of spatiotemporal object search tasks across simulated and real environments. Experiments in STARBench and on a Tiago robot show that STAR consistently outperforms scene-graph and memory-only baselines, demonstrating the benefits of treating search in time and search in space as a unified problem. For more information: https://amrl.cs.utexas.edu/STAR.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI