日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLMarXiv:2510.16017

InfraGPT Smart Infrastructure: VLMを用いた都市インフラ欠陥の検出と管理のためのエンドツーエンドフレームワーク

InfraGPT Smart Infrastructure: An End-to-End VLM-Based Framework for Detecting and Managing Urban Defects

シェア:XThreadsFacebookLINEはてブBluesky

CCTV映像からYOLOで道路や橋のひび割れ・穴・漏水を検出し、視覚言語モデル(VLM)が修復計画を含む構造化された行動計画をJSONで生成するシステムを提案した論文。

詳しい要約

1. どんなもの?

- 都市インフラの欠陥検出・管理を行う end-to-end の VLM ベースフレームワーク - 対象は smart city の CCTV カメラ映像 - 検出対象は道路・橋・トンネルの crack、pothole、fluid leak などの複数欠陥 - 構成は2段階 - YOLO 系 object detector による multi defect detection と segmentation - 検出結果を vision language model (VLM) に渡し scene aware summarization - VLM は JSON 形式の構造化 action plan を生成 - incident descriptions、recommended tools、dimensions、repair plans、urgent alerts を含む - 本論文は文献レビューと初期プロトタイプ設計の記述が中心

2. 先行研究と比べてどこがすごい?

- 従来の自動システムは個別の欠陥種別のみを扱う、または保守作業者を直接導けない非構造化出力に留まる - 本研究は複数欠陥種別を一つのパイプラインで検出・segmentation する点で異なる - 検出結果を VLM で要約し、JSON の構造化 action plan として保守に直結する出力を生成する点が新しい - pothole、crack、leak 検出の文献を横断的にレビューし、QwenVL や LLaVA など recent VLM の進展を統合 - 個別タスクの精度だけでなく、検出から管理判断までの end-to-end 化を狙う点が先行研究との差分

3. 技術・手法の肝は?

- 入力は street CCTV streams - 第1段: YOLO family の object detector で multi defect detection と segmentation を実施 - 第2段: 検出結果を VLM へ渡し scene aware summarization を実行 - VLM 出力は JSON 形式の構造化 action plan - incident descriptions - recommended tools - dimensions - repair plans - urgent alerts - 設計は文献レビュー(pothole、crack、leak 検出、QwenVL、LLaVA など)に基づく初期プロトタイプ - 検出器と VLM を直列につなぐパイプライン構成が肝

4. どうやって有効だと検証した?

- public datasets と撮影した CCTV clips を用いて実験的評価を実施 - 評価結果として、多様な欠陥を正確に識別し、coherent な summaries を生成できると報告 - ただし要旨には具体的なデータセット名、指標、定量値は記載なし - 検出精度や JSON 出力の妥当性をどの指標で測ったかは要旨からは不明

5. 議論はある?

- 都市規模(city wide deployments)へのスケーリングに向けた課題と方向性を議論 - 想定される論点は CCTV ストリームの大規模処理、多欠陥への対応、VLM 出力の信頼性など - 具体的な課題の中身や限界分析の詳細は要旨からは不明 - 初期プロトタイプ段階であり、実運用での保守作業者による検証については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照されている VLM: QwenVL、LLaVA - 要旨で言及される検出器: YOLO family - 関連する欠陥検出文献: pothole detection、crack detection、leak detection の各サーベイ/研究 - 同分野の定番として、road damage detection の公開データセット(例: RDD 系)や crack segmentation の代表的ベンチマーク論文を次に読む候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ibrahim Sheikh Mohamed, Abdullah Yahya Abdullah Omaisan

分類: cs.CV, cs.AI, cs.CL, cs.RO

原文アブストラクト

Infrastructure in smart cities is increasingly monitored by networks of closed circuit television (CCTV) cameras. Roads, bridges and tunnels develop cracks, potholes, and fluid leaks that threaten public safety and require timely repair. Manual inspection is costly and hazardous, and existing automatic systems typically address individual defect types or provide unstructured outputs that cannot directly guide maintenance crews. This paper proposes a comprehensive pipeline that leverages street CCTV streams for multi defect detection and segmentation using the YOLO family of object detectors and passes the detections to a vision language model (VLM) for scene aware summarization. The VLM generates a structured action plan in JSON format that includes incident descriptions, recommended tools, dimensions, repair plans, and urgent alerts. We review literature on pothole, crack and leak detection, highlight recent advances in large vision language models such as QwenVL and LLaVA, and describe the design of our early prototype. Experimental evaluation on public datasets and captured CCTV clips demonstrates that the system accurately identifies diverse defects and produces coherent summaries. We conclude by discussing challenges and directions for scaling the system to city wide deployments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI