日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3DシーングラフarXiv:2601.02905

LOST-3DSG: 動的環境における意味的追跡を備えた軽量オープン語彙3Dシーングラフ

LOST-3DSG: Lightweight Open-Vocabulary 3D Scene Graphs with Semantic Tracking in Dynamic Environments

シェア:XThreadsFacebookLINEはてブBluesky

word2vecと文埋め込みによる意味的追跡で、高次元視覚特徴を保存せずに動的物体を追跡する軽量なオープン語彙3Dシーングラフを提案し、TIAGoロボットでの実験で有効性を示した。

詳しい要約

1. どんなもの?

- 動的環境で物体を追跡するための軽量なopen-vocabulary 3D scene graph「LOST-3DSG」を提案。 - 重いfoundation modelに依存せず、word2vecとsentence embeddingsに基づくsemantic trackingを採用。 - 高次元のCLIP visual featuresを保存する必要がなく、効率的なopen-vocabulary表現を実現。 - TIAGo robotを用いた実3D環境での実験で有効性と効率性を実証。

2. 先行研究と比べてどこがすごい?

- 既存手法は重いfoundation modelに依存し非効率であることが多い。 - 高次元visual embeddingsに頼る手法と比較して、LOST-3DSGは優れた性能を達成。 - 密なCLIP visual featuresの保存を回避し、軽量かつ効率的な追跡を可能にした点が優位。

3. 技術・手法の肝は?

- word2vecとsentence embeddingsに基づくsemantic approachでentity trackingを実現。 - open-vocabulary表現を可能にしつつ、密なCLIP visual featuresの保存を不要にした。 - 軽量な3D scene graphとして設計され、動的環境での物体追跡を目的とする。

4. どうやって有効だと検証した?

- 実3D環境でTIAGo robotを用いた定性的・定量的実験を実施。 - 結果は動的物体追跡におけるLOST-3DSGの有効性と効率性を示した。 - コードと補足資料はプロジェクトウェブサイトで公開。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてCLIP、word2vec、sentence embeddings、3D scene graph、open-vocabulary trackingが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sara Micol Ferraina, Michele Brienza, Francesco Argenziano, Emanuele Musumeci, Vincenzo Suriani, Domenico D. Bloisi, Daniele Nardi

分類: cs.RO, cs.AI

原文アブストラクト

Tracking objects that move within dynamic environments is a core challenge in robotics. Recent research has advanced this topic significantly; however, many existing approaches remain inefficient due to their reliance on heavy foundation models. To address this limitation, we propose LOST-3DSG, a lightweight open-vocabulary 3D scene graph designed to track dynamic objects in real-world environments. Our method adopts a semantic approach to entity tracking based on word2vec and sentence embeddings, enabling an open-vocabulary representation while avoiding the necessity of storing dense CLIP visual features. As a result, LOST-3DSG achieves superior performance compared to approaches that rely on high-dimensional visual embeddings. We evaluate our method through qualitative and quantitative experiments conducted in a real 3D environment using a TIAGo robot. The results demonstrate the effectiveness and efficiency of LOST-3DSG in dynamic object tracking. Code and supplementary material are publicly available on the project website at https://lab-rococo-sapienza.github.io/lost-3dsg/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI