日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2510.20261

Kinaema: 移動中の記憶と姿勢のための再帰シーケンスモデル

Kinaema: a recurrent sequence model for memory and pose in motion

シェア:XThreadsFacebookLINEはてブBluesky

移動しながら視覚観測を再帰的に圧縮して暗黙の記憶を保持し、クエリ画像の相対位置を推定するモデルを提案。事前観測を活用したナビゲーションタスクMem-Navで有効性を示す。

詳しい要約

1. どんなもの?

- 移動しながら視覚観測のストリームを統合し、クエリ画像が示す空間の現在位置に対する相対位置を予測するモデル Kinaema とエージェントの提案。 - 継続的なロボティクス運用を想定し、エピソード開始前に観測した情報を活用して効率を最適化する。 - 観測履歴を明示的に保存せず、暗黙の latent memory を transformer で再帰的に更新する。 - 新たな下流タスク Mem-Nav で評価する。

2. 先行研究と比べてどこがすごい?

- 観測履歴を明示的に保持しないため、context length に厳しい制約がない点が特徴。 - 履歴への attention を用いる古典的 transformer と比較して計算効率が良いと主張。 - 大容量の再帰モデルがシーンの有用な表現を維持し、エピソード開始前に観測したゴールへナビゲートできることを示す。 - 具体的な先行研究名との比較は要旨からは不明。

3. 技術・手法の肝は?

- transformer により latent memory を再帰的に更新し、センサ読み取りの履歴をコンパクトな表現に圧縮する。 - 観測履歴を明示的に保存しない暗黙の latent memory を維持する。 - 移動中の視覚観測ストリームを統合し、要求時にクエリ画像を処理して相対位置を予測する。 - 大容量の再帰モデルとして設計されている。

4. どうやって有効だと検証した?

- 新たに提案する下流タスク Mem-Nav で評価。 - 大容量の再帰モデルがシーンの有用な表現を維持することを示す。 - エピソード開始前に観測したゴールへナビゲートできることを示す。 - 履歴への attention を用いる古典的 transformer と比較して計算効率が良いことを示す。 - 具体的なデータセット名や定量指標は要旨からは不明。

5. 議論はある?

- 観測履歴を明示的に保存しないため context length の制約がない一方、暗黙の latent memory の圧縮が情報損失を招く可能性は要旨からは不明。 - 大規模シーンでの性能限界やメモリ更新の安定性に関する議論は要旨からは不明。 - 計算効率の比較対象や評価条件の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 履歴への attention を用いる古典的 transformer(attention over an observation history)との比較研究。 - 再帰的 latent memory を用いる sequence model 関連の研究。 - 視覚観測からの相対位置推定・place recognition 関連の研究。 - Mem-Nav タスクの詳細や関連する navigation ベンチマーク。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mert Bulent Sariyildiz, Philippe Weinzaepfel, Guillaume Bono, Gianluca Monaci, Christian Wolf

分類: cs.RO, cs.CV

原文アブストラクト

One key aspect of spatially aware robots is the ability to "find their bearings", ie. to correctly situate themselves in previously seen spaces. In this work, we focus on this particular scenario of continuous robotics operations, where information observed before an actual episode start is exploited to optimize efficiency. We introduce a new model, Kinaema, and agent, capable of integrating a stream of visual observations while moving in a potentially large scene, and upon request, processing a query image and predicting the relative position of the shown space with respect to its current position. Our model does not explicitly store an observation history, therefore does not have hard constraints on context length. It maintains an implicit latent memory, which is updated by a transformer in a recurrent way, compressing the history of sensor readings into a compact representation. We evaluate the impact of this model in a new downstream task we call "Mem-Nav". We show that our large-capacity recurrent model maintains a useful representation of the scene, navigates to goals observed before the actual episode start, and is computationally efficient, in particular compared to classical transformers with attention over an observation history.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI