日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セグメンテーションarXiv:2508.21102

GENNAV: 一般化された参照可能領域のためのポリゴンマスク生成

GENNAV: Polygon Mask Generation for Generalized Referring Navigable Regions

シェア:XThreadsFacebookLINEはてブBluesky

自然言語指示と車載カメラ画像から、境界が曖昧な領域も含めて対象領域の有無を予測し、複数領域のセグメンテーションマスクを生成する手法を提案。新ベンチマークGRiN-Driveと実車実験で有効性を検証した。

詳しい要約

1. どんなもの?

- 自然言語指示と移動体の前方カメラ画像から、目標領域の位置を特定するタスクに取り組む研究 - 目標領域の存在予測とsegmentationの両方を必要とする点が課題 - 特に境界が曖昧なstuff-type target regionsの扱いが難しい - 既存手法はstuff-typeに加え、absent targetやmultiple targetsの処理で性能不足 - これを克服するためGENNAVを提案し、目標存在予測と複数のstuff-type target regionsのsegmentation masks生成を行う - 新benchmark GRiN-Driveも構築

2. 先行研究と比べてどこがすごい?

- 既存手法はstuff-type target regionsの処理で性能が低く、absent targetやmultiple targetsにも弱い - GENNAVは目標存在予測と複数のstuff-type target regionsのmask生成を同時に行う点で異なる - 新benchmark GRiN-Driveにはno-target、single-target、multi-targetの3種類のサンプルを含む - 標準評価指標でbaseline methodsを上回った - 4台のautomobilesと5つの地理的に異なるurban areasでの実世界実験でもbaseline methodsを上回り、zero-shot transfer性能と多様な実環境でのrobustnessを示した

3. 技術・手法の肝は?

- 自然言語instructionとfront camera imageを入力とする - 目標の存在予測とsegmentation masks生成を統合的に行うGENNAVを提案 - 複数のstuff-type target regionsに対応するmask生成が肝 - 境界が曖昧なstuff-type target regionsを扱う設計 - 詳細なarchitectureやloss設計は要旨からは不明

4. どうやって有効だと検証した?

- 新benchmark GRiN-Driveを構築し評価 - GRiN-Driveはno-target、single-target、multi-targetの3種類のサンプルを含む - 標準評価指標でbaseline methodsより優れた性能を確認 - 4台のautomobilesを5つの地理的に異なるurban areasで運用する実世界実験を実施 - zero-shot transfer性能を検証し、baseline methodsを上回ることを確認 - 多様な実環境でのrobustnessを示した

5. 議論はある?

- 要旨からは不明 - ただしstuff-type target regionsの曖昧な境界、absent target、multiple targetsへの対応が中心的課題として示唆される - zero-shot transferや実環境でのrobustnessが議論の対象と考えられるが、具体的な限界や失敗事例は要旨からは不明

6. 次に読むべき論文は?

- GRiN-Drive benchmarkの詳細 - 比較対象となったbaseline methods(具体的名称は要旨からは不明) - stuff-type target regionsのsegmentationに関する関連研究 - referring segmentation / referring expression comprehensionの定番手法 - zero-shot transferやurban driving環境でのrobustnessを扱う関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kei Katsumata, Yui Iioka, Naoki Hosomi, Teruhisa Misu, Kentaro Yamada, Komei Sugiura

分類: cs.CV, cs.RO

原文アブストラクト

We focus on the task of identifying the location of target regions from a natural language instruction and a front camera image captured by a mobility. This task is challenging because it requires both existence prediction and segmentation, particularly for stuff-type target regions with ambiguous boundaries. Existing methods often underperform in handling stuff-type target regions, in addition to absent or multiple targets. To overcome these limitations, we propose GENNAV, which predicts target existence and generates segmentation masks for multiple stuff-type target regions. To evaluate GENNAV, we constructed a novel benchmark called GRiN-Drive, which includes three distinct types of samples: no-target, single-target, and multi-target. GENNAV achieved superior performance over baseline methods on standard evaluation metrics. Furthermore, we conducted real-world experiments with four automobiles operated in five geographically distinct urban areas to validate its zero-shot transfer performance. In these experiments, GENNAV outperformed baseline methods and demonstrated its robustness across diverse real-world environments. The project page is available at https://gennav.vercel.app/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI