日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セグメンテーションarXiv:2507.08851

OTAS: 屋外セグメンテーションのためのオープンボキャブラリ・トークンアラインメント

OTAS: Open-vocabulary Token Alignment for Outdoor Segmentation

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済み視覚モデルの出力トークンから意味構造を直接抽出し、言語と結びつけることで、屋外環境のオープンボキャブラリ・セグメンテーションをゼロショットで実現する手法を提案。

詳しい要約

1. どんなもの?

- OTAS(Open-vocabulary Token Alignment for outdoor Segmentation)という手法の提案 - ロボティクスの planning/control のための、unstructured outdoor 環境での open-world semantics 理解を目的とする - 既存の vision-language mapping が使う object-centric segmentation priors は、屋外では semantic ambiguities や indistinct class boundaries のため失敗しやすいという問題意識 - pre-trained vision models の output tokens から直接 semantic structure を抽出し、open-vocabulary segmentation queries を支える geometrically consistent な feature field を再構成する - zero-shot で動作し、scene-specific…

2. 先行研究と比べてどこがすごい?

- 既存の vision-language mapping は object-centric segmentation priors に依存し、屋外の semantic ambiguities や indistinct class boundaries で失敗しがち - 既存の open-vocabulary segmentation models の限界に対し、pre-trained vision models の output tokens から semantic structure を直接抽出する点で異なる - zero-shot で scene-specific fine-tuning 不要という点が先行手法との差異 - Off-Road Freespace Detection dataset では fine-tuned および open-vocabulary な 2D segmentation baselines に対し modest な IoU 改善 - TartanAir の 3D segmentation では既存の open-vocabulary mapping 手法…

3. 技術・手法の肝は?

- pre-trained vision models の output tokens を利用し、semantic structure を直接抽出 - single view および multiple views にわたり意味的に類似した構造を clustering - それらを language に grounding することで、geometrically consistent な feature field を再構成 - 再構成された feature field が open-vocabulary segmentation queries を支える - zero-shot 動作で scene-specific fine-tuning を必要としない - 最大 ~17 fps の real-time 性能を実現

4. どうやって有効だと検証した?

- Off-Road Freespace Detection dataset での評価:fine-tuned および open-vocabulary な 2D segmentation baselines に対し modest な IoU 改善 - TartanAir での 3D segmentation 評価:既存の open-vocabulary mapping 手法比で最大 151% の相対 IoU 改善 - real-world reconstructions により、ロボティクス配備への適用可能性を提示 - code と ROS 2 node を公開(https://otas-segmentation.github.io/)

5. 議論はある?

- 屋外の semantic ambiguities や indistinct class boundaries への対処が動機として挙げられている - Off-Road Freespace Detection dataset での改善は modest と述べられており、2D での優位性の大きさには限界がある - 一方で 3D segmentation(TartanAir)では大きな相対改善(最大 151%)を報告 - real-world reconstructions での適用可能性は示されるが、詳細な限界や失敗事例は要旨からは不明 - 計算コストや real-time 性能(~17 fps)の詳細な条件は要旨からは不明

6. 次に読むべき論文は?

- Off-Road Freespace Detection dataset 関連の研究(比較対象の fine-tuned / open-vocabulary 2D segmentation baselines を含む) - TartanAir を用いた 3D segmentation / open-vocabulary mapping の既存手法 - open-vocabulary segmentation models(object-centric segmentation priors を用いるもの) - vision-language mapping に関する研究 - pre-trained vision models の token 表現を用いた手法(詳細名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Simon Schwaiger, Stefan Thalhammer, Wilfried Wöber, Gerald Steinbauer-Wagner

分類: cs.RO

原文アブストラクト

Understanding open-world semantics is critical for robotic planning and control, particularly in unstructured outdoor environments. Existing vision-language mapping approaches typically rely on object-centric segmentation priors, which often fail outdoors due to semantic ambiguities and indistinct class boundaries. We propose OTAS - an Open-vocabulary Token Alignment method for outdoor Segmentation. OTAS addresses the limitations of open-vocabulary segmentation models by extracting semantic structure directly from the output tokens of pre-trained vision models. By clustering semantically similar structures across single and multiple views and grounding them in language, OTAS reconstructs a geometrically consistent feature field that supports open-vocabulary segmentation queries. Our method operates in a zero-shot manner, without scene-specific fine-tuning, and achieves real-time performance of up to ~17 fps. On the Off-Road Freespace Detection dataset, OTAS yields a modest IoU improvement over fine-tuned and open-vocabulary 2D segmentation baselines. In 3D segmentation on TartanAir, it achieves up to a 151% relative IoU improvement compared to existing open-vocabulary mapping methods. Real-world reconstructions further demonstrate OTAS' applicability to robotic deployment. Code and a ROS 2 node are available at https://otas-segmentation.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI