日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

移動操作arXiv:2606.00576

動的環境におけるハイブリッド位置推定を用いた弾力的な時空間セマンティックメモリによる移動操作

Dynamic Resilient Spatio-Semantic Memory with Hybrid Localization for Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

事前地図なしの未知屋内環境で、RGB-D観測とLiDAR-慣性-視覚SLAMを統合し、オンラインで時空間セマンティックボクセルメモリを構築する移動操作フレームワークDREAMを提案。ポーズ補正後の冗長性を考慮したメモリ刈り込みと、言語条件付き3D検索・オープン語彙検出・MLLM検証による対象物の再獲得を実現し、実ロボット実験で成功率を向上させた。

詳しい要約

1. どんなもの?

- 動的屋内環境での mobile manipulation 向けフレームワーク DREAM を提案。 - 事前地図なしで知覚・記憶・localization・navigation・manipulation を統合。 - RGB-D 観測から online spatio-semantic voxel memory を構築。 - LiDAR-inertial-visual SLAM backend で位置推定。 - 物体移動や pose 修正後も記憶を更新し、長期履歴を有界に保つ。

2. 先行研究と比べてどこがすごい?

- 既存手法は事前地図・静的 scene 仮定・高精度 camera pose に依存し、物体移動や pose 修正で情報が古くなる/ずれる問題があった。 - DREAM は未見の屋内環境で事前地図なしに動作。 - pose 修正後の履歴更新とメモリ有界化を両立。 - 実機で long-horizon 成功率を DynaMem の 40%-60% から 55%-70% に改善。

3. 技術・手法の肝は?

- online spatio-semantic voxel memory を RGB-D 観測から構築。 - LiDAR-inertial-visual SLAM backend で観測を登録。 - pose-graph-aware Redundancy-Aware Memory Pruning (RMP) で pose 修正後の過去観測を更新し、長期履歴を有界化。 - 目標 localization/reacquisition に language-conditioned 3D retrieval、open-vocabulary image detection、multimodal large language model による semantic verification を組み合わせ。

4. どうやって有効だと検証した?

- 4 つの動的屋内実験室 scene で real-robot 実験を実施。 - long-horizon タスク成功率を DynaMem と比較し、40%-60% から 55%-70% へ改善。 - メモリ使用量 0.37-0.63 GB、online memory-update 時間 0.43-0.53 s を各 scene で維持。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算資源制約、他手法との詳細比較の議論は記述されていない。

6. 次に読むべき論文は?

- DynaMem(要旨で比較対象として明示)。 - LiDAR-inertial-visual SLAM、open-vocabulary detection、language-conditioned 3D retrieval、multimodal large language model を用いた semantic verification の関連研究。 - mobile manipulation 向け spatio-semantic memory の既存研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhijie Yan, Shufei Li, Ze Zhang, Xin Liu, Yuhang Zheng, Zuoxu Wang

分類: cs.RO

原文アブストラクト

Reliable mobile manipulation in dynamic indoor environments requires a scene representation that remains geometrically consistent, semantically queryable, and computationally bounded as the environment changes. Existing systems often rely on pre-built maps, static-scene assumptions, or highly accurate camera poses, which can lead to stale or misaligned scene information when target objects are relocated or pose estimates are corrected. This paper presents DREAM, a real-robot mobile manipulation framework that integrates perception, memory, localization, navigation, and manipulation in previously unseen indoor environments without a pre-built map. DREAM constructs an online spatio-semantic voxel memory from RGB-D observations registered by a LiDAR-inertial-visual SLAM backend. It further introduces pose-graph-aware Redundancy-Aware Memory Pruning (RMP) to update historical observations after pose corrections while keeping long-horizon observation history bounded. For target localization and reacquisition, DREAM combines language-conditioned 3D retrieval, open-vocabulary image detection, and multimodal large language model based semantic verification. Real-robot experiments in four dynamic indoor laboratory scenes show that DREAM improves long-horizon task success rates from 40%-60% with DynaMem to 55%-70%, while maintaining a memory footprint of 0.37-0.63 GB and an online memory-update time of 0.43-0.53 s across scenes.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI