日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セマンティックセグメンテーションarXiv:2604.15946

SENSE: ステレオオープン語彙セマンティックセグメンテーション

SENSE: Stereo OpEN Vocabulary SEmantic Segmentation

シェア:XThreadsFacebookLINEはてブBluesky

ステレオ画像ペアと視覚言語モデルを組み合わせ、幾何学的手がかりを導入してオープン語彙セマンティックセグメンテーションの精度を向上させる手法を提案した。

詳しい要約

1. どんなもの?

- ステレオ視とvision-language modelsを活用したopen-vocabulary semantic segmentationの初の試み - 単一視点画像ではなくステレオ画像ペアを入力とし、幾何学的手がかりを導入 - 動的環境での柔軟なセグメンテーションを可能にし、自律ロボットやITSに貢献

2. 先行研究と比べてどこがすごい?

- 既存手法は単一視点画像に依存し、遮蔽や物体境界付近での空間精度に課題 - ステレオ視により幾何学的情報を追加し、空間推論とセグメンテーション精度を向上 - PhraseStereoでAverage Precisionがベースライン比+2.9%、最良競合比+0.76%改善 - CityscapesでmIoUがベースライン比+3.5%、KITTIで+18%の相対改善

3. 技術・手法の肝は?

- ステレオ画像ペアとvision-language modelsを組み合わせ、意味論と幾何学を統合 - PhraseStereoデータセットで訓練し、フレーズに基づくタスクとゼロショット設定で評価 - 詳細なアーキテクチャや損失関数は要旨からは不明

4. どうやって有効だと検証した?

- PhraseStereoデータセットでのフレーズグラウンディングタスクで性能評価 - ゼロショット設定での汎化性能を実証 - CityscapesとKITTIデータセットでも評価し、ベースラインを上回るmIoUを達成

5. 議論はある?

- ステレオ視とvision-language modelsの統合により、自然言語からの正確なシーン理解を実現 - 自律ロボットやIntelligent Transportation Systemsへの応用可能性を示唆 - 限界や今後の課題については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照されているベースライン手法や競合手法は具体的に明記されていない - 関連手法としてopen-vocabulary semantic segmentationやvision-language models(例:CLIP)が挙げられる - 同分野の定番として、単一視点のopen-vocabulary semantic segmentation手法(例:MaskCLIP, GroupViT)が参考になる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Thomas Campagnolo, Ezio Malis, Philippe Martinet, Gaétan Bahl

分類: cs.CV, cs.RO

原文アブストラクト

Open-vocabulary semantic segmentation enables models to segment objects or image regions beyond fixed class sets, offering flexibility in dynamic environments. However, existing methods often rely on single-view images and struggle with spatial precision, especially under occlusions and near object boundaries. We propose SENSE, the first work on Stereo OpEN Vocabulary SEmantic Segmentation, which leverages stereo vision and vision-language models to enhance open-vocabulary semantic segmentation. By incorporating stereo image pairs, we introduce geometric cues that improve spatial reasoning and segmentation accuracy. Trained on the PhraseStereo dataset, our approach achieves strong performance in phrase-grounded tasks and demonstrates generalization in zero-shot settings. On PhraseStereo, we show a +2.9% improvement in Average Precision over the baseline method and +0.76% over the best competing method. SENSE also provides a relative improvement of +3.5% mIoU on Cityscapes and +18% on KITTI compared to the baseline work. By jointly reasoning over semantics and geometry, SENSE supports accurate scene understanding from natural language, essential for autonomous robots and Intelligent Transportation Systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI