日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2606.29936

OpenSPM: 環境転移可能なロボット用空間キーポーズ記憶と閉ループ高周波フローマッチング行動生成モデル

OpenSPM: An Environment-Transferable Robotic Key Spatial Pose Memory and Closed-Loop High-Frequency Flow-Matching Action Generation Model

シェア:XThreadsFacebookLINEはてブBluesky

オープン環境でのテーブルトップ操作を対象に、意味的3D知覚とカルマンフィルタで6Dポーズを追跡し、人間のデモから抽出した空間キーポーズを記憶として利用、推論時に自然言語指示で検索・転移してフローマッチングモデルで高周波行動を生成する枠組みを提案した。

詳しい要約

1. どんなもの?

OpenSPMは、オープン環境のテーブルトップロボット操作のための、環境転移可能なロボット鍵空間姿勢メモリと閉ループ高周波フローマッチング行動生成モデル。 - 空間姿勢メモリとフローマッチング行動生成モデルからなる。 - 意味条件付き3D知覚とKalmanフィルタで連続6D姿勢を追跡。 - 人間デモから鍵空間姿勢を抽出し、物体中心の空間永続メモリとして保持。 - 推論時、自然言語指示でメモリを検索し、SE(3)変換で新シーンに転移。 - 軽量条件付きフローマッチングモデルで高周波行動チャンクを生成。 - 実時間固有受容状態フィードバックと終端残差補正を組み合わせ、軌道誤差蓄積を抑制。

2. 先行研究と比べてどこがすごい?

先行のend-to-end VLAモデルは意味的一般化に優れるが、細粒度タスクの明示的幾何制約に欠け、訓練コストが高い。 - OpenSPMは高レベル意味と低レベル物理実行のギャップを橋渡し。 - 空間永続メモリとフローマッチングにより、明示的幾何制約と高周波行動生成を両立。 - 最小限の推論AI計算力で、LIBERO-GOAL 10タスクで85.6%成功率、等価制御周波数1033.3 Hzを達成。

3. 技術・手法の肝は?

肝は、意味条件付き3D知覚とKalmanフィルタによる連続6D姿勢追跡、人間デモからの鍵空間姿勢抽出、物体中心の空間永続メモリ、自然言語指示によるメモリ検索、SE(3)変換による新シーン転移、軽量条件付きフローマッチングによる高周波行動チャンク生成、実時間固有受容状態フィードバックと終端残差補正による閉ループ誤差抑制。

4. どうやって有効だと検証した?

LIBERO-GOALの10タスクで評価。 - 成功率85.6%、等価制御周波数1033.3 Hzを達成。 - 最小限の推論AI計算力で動作。 - 広範なアブレーションにより、構造化空間永続メモリと閉ループ残差補正が信頼性の高い高周波ロボット操作に重要と示した。

5. 議論はある?

アブレーションから、構造化空間永続メモリと閉ループ残差補正が信頼性の高い高周波ロボット操作に極めて重要と議論。 - その他の議論や限界は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。 - 関連手法として、end-to-end vision-language-action (VLA) models、Kalman filtering、SE(3) transformations、conditional flow-matching model、LIBERO-GOAL benchmarkが挙げられる。 - 同分野の定番として、Robotic Manipulation、Vision-Language-Action Models、Flow Matching、Spatial Memory、Closed-Loop Controlが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Iok Tong Lei, Qingchen Xie, Yifan Wang, Yap Ying Jie, Zhidong Deng

分類: cs.RO

原文アブストラクト

Open-environment tabletop robotic manipulation requires systems to possess semantic understanding, precise geometric pose estimation, and high-frequency action generation. While end-to-end vision-language-action (VLA) models excel at semantic generalization, they often lack explicit geometric constraints for fine-grained tasks and require costly training. To bridge the gap between high-level semantics and low-level physical execution, we propose OpenSPM, an open environment spatial persistent memory framework consisting of spatial pose memory and flow-matching action generation model. OpenSPM first leverages semantically conditioned 3D perception and Kalman filtering to track continuous 6D poses. It then extracts key spatial poses from human demonstrations, keeping them as transferable, object-centric spatial persistent memory entries. During inference, OpenSPM retrieves relevant memory entries in terms of natural language instructions, transfers the spatial poses to new scenes using SE(3) transformations, and generates high-frequency action chunks via a lightweight conditional flow-matching model. Combined with real-time proprioceptive state feedback and terminal residual correction, the system effectively suppresses trajectory error accumulation. Evaluated on ten LIBERO-GOAL tasks, OpenSPM achieves an 85.6% success rate and an equivalent control frequency of 1033.3 Hz, while requiring minimal inference AI computing power. Extensive ablations illustrate that structured spatial persistent memory and closed-loop residual correction play a crucial role in reliable, high-frequency robotic manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI