日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

物体ナビゲーションarXiv:2505.18881

SD-OVON: 動的シーンにおけるオープンボキャブラリ物体ナビゲーションのための意味論対応データセットとベンチマーク生成パイプライン

SD-OVON: A Semantics-aware Dataset and Benchmark Generation Pipeline for Open-Vocabulary Object Navigation in Dynamic Scenes

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダル基盤モデルを活用し、実世界の意味論と常識に沿ったフォトリアルな動的シーンと操作可能物体を含むオープンボキャブラリ物体ナビゲーション用データセット・ベンチマークを自動生成するパイプラインを提案。

詳しい要約

1. どんなもの?

- SD-OVON は、動的シーンにおける open-vocabulary object navigation 用の semantics-aware なデータセット・ベンチマーク生成パイプライン - pretraining 済み multimodal foundation models を用い、実世界の semantics と日常的 commonsense に沿った photo-realistic なシーン変種を無限に生成 - Habitat simulator 互換の object navigation タスク episode を生成する plugin を付属 - 事前生成データセットとして SD-OVON-3k(約3k episodes)と SD-OVON-10k(約10k episodes)を提供 - SD-OVON-Scenes(実環境の photo-realistic scans 2.5k)と SD-OVON-Objects(人手検査済みの scanned/artist-created な manipulatable object models 0.9k)に基づく

2. 先行研究と比べてどこがすごい?

- 先行データセットが静的環境に限定されるのに対し、SD-OVON は dynamic scenes と manipulatable objects を扱う - これにより real-to-sim および sim-to-real のロボティクス応用を促進 - 複雑な設定での open-vocabulary object navigation agent の学習・評価におけるタスクのリアリズムを向上 - 具体的な先行研究名や定量的比較は要旨からは不明

3. 技術・手法の肝は?

- pretraining 済み multimodal foundation models を活用し、実世界 semantics と日常 commonsense に適合する photo-realistic なシーン変種を生成 - Habitat simulator と互換な object navigation タスク episode 生成 plugin を提供 - SD-OVON-Scenes の 2.5k scans と SD-OVON-Objects の 0.9k object models を組み合わせてデータセットを構成 - 生成パイプラインにより無限のユニークなシーン変種を生成可能 - 詳細なアルゴリズムやモデル構成は要旨からは不明

4. どうやって有効だと検証した?

- 提案パイプラインとデータセットの有効性を示すため、2つの baselines を提案 - それらを state-of-the-art baselines とともに SD-OVON-3k 上で評価 - 具体的な評価指標・実験設定・結果数値は要旨からは不明

5. 議論はある?

- dynamic scenes と manipulatable objects の扱いにより real-to-sim / sim-to-real 応用への寄与を主張 - 複雑な設定での open-vocabulary object navigation の学習・評価のリアリズム向上を議論 - 限界や失敗事例、計算コスト、sim-to-real ギャップの定量的議論は要旨からは不明

6. 次に読むべき論文は?

- Habitat simulator 関連の object navigation ベンチマーク(例: HM3D, MP3D を用いた OVON 系研究) - open-vocabulary object navigation の state-of-the-art baselines(要旨で具体的名称は不明) - multimodal foundation models を用いたシーン生成・データ拡張に関する研究 - sim-to-real / real-to-sim ロボティクス応用の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dicong Qiu, Jiadi You, Zeying Gong, Ronghe Qiu, Hui Xiong, Junwei Liang

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

We present the Semantics-aware Dataset and Benchmark Generation Pipeline for Open-vocabulary Object Navigation in Dynamic Scenes (SD-OVON). It utilizes pretraining multimodal foundation models to generate infinite unique photo-realistic scene variants that adhere to real-world semantics and daily commonsense for the training and the evaluation of navigation agents, accompanied with a plugin for generating object navigation task episodes compatible to the Habitat simulator. In addition, we offer two pre-generated object navigation task datasets, SD-OVON-3k and SD-OVON-10k, comprising respectively about 3k and 10k episodes of the open-vocabulary object navigation task, derived from the SD-OVON-Scenes dataset with 2.5k photo-realistic scans of real-world environments and the SD-OVON-Objects dataset with 0.9k manually inspected scanned and artist-created manipulatable object models. Unlike prior datasets limited to static environments, SD-OVON covers dynamic scenes and manipulatable objects, facilitating both real-to-sim and sim-to-real robotic applications. This approach enhances the realism of navigation tasks, the training and the evaluation of open-vocabulary object navigation agents in complex settings. To demonstrate the effectiveness of our pipeline and datasets, we propose two baselines and evaluate them along with state-of-the-art baselines on SD-OVON-3k. The datasets, benchmark and source code are publicly available.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI