日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

群制御arXiv:2601.13096

LLMとVLMを融合した異種UAV-USVシステムによる自律港湾検査フレームワーク

LLM-VLM Fusion Framework for Autonomous Maritime Port Inspection using a Heterogeneous UAV-USV System

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルによる記号計画と視覚言語モデルによる意味的検査を組み合わせ、UAVとUSVの協調で港湾を自律検査する枠組みを提案し、シミュレータと実機で検証した。

詳しい要約

1. どんなもの?

- 自律的な海事港湾検査のためのLLM-VLM融合フレームワークを提案。 - 異種UAV-USVシステム(協調的な空中・水上ロボット)を用いる。 - 従来の手動操作や従来のコンピュータビジョンに代わり、LLMによる記号計画とVLMによる意味的検査を統合。 - 自然言語のミッション指示を実行可能な記号計画に変換し、依存グラフで運用制約を符号化。 - VLMモジュールがリアルタイムの意味的検査とコンプライアンス評価を行い、構造化レポートを生成。

2. 先行研究と比べてどこがすごい?

- 従来の手動操作や従来のコンピュータビジョン技術はスケーラビリティと文脈理解に欠ける。 - 従来のステートマシンミッションプランナーをLLM駆動の記号計画に置き換え、適応性と文脈認識を向上。 - VLMベースの意味的検査により、知覚パイプラインを改善し、コンプライアンス評価を自動化。 - 軽量オンボード設計により、リソース制約のある海事プラットフォームに適合。

3. 技術・手法の肝は?

- LLMモジュール:自然言語のミッション指示を実行可能な記号計画に変換し、依存グラフで運用制約を符号化。 - VLMモジュール:リアルタイムの意味的検査とコンプライアンス評価を実行し、文脈推論を含む構造化レポートを生成。 - UAV-USVの協調を安全に保証するための依存グラフ。 - 軽量オンボード設計。

4. どうやって有効だと検証した?

- 拡張MBZIRC Maritime Simulatorを用いて、現実的な港湾インフラで検証。 - さらに実世界のロボット検査トライアルで評価。 - プロジェクトリソース(コードとビデオ)はGitHubで公開。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:従来のステートマシンミッションプランナー、従来のコンピュータビジョン技術。 - 関連手法:LLM、VLM、MBZIRC Maritime Simulator。 - 同分野の定番:UAV-USV協調システム、自律検査。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Muhayy Ud Din, Waseem Akram, Ahsan B. Bakht, Irfan Hussain

分類: cs.RO, cs.CV

原文アブストラクト

Maritime port inspection plays a critical role in ensuring safety, regulatory compliance, and operational efficiency in complex maritime environments. However, existing inspection methods often rely on manual operations and conventional computer vision techniques that lack scalability and contextual understanding. This study introduces a novel integrated engineering framework that utilizes the synergy between Large Language Models (LLMs) and Vision Language Models (VLMs) to enable autonomous maritime port inspection using cooperative aerial and surface robotic platforms. The proposed framework replaces traditional state-machine mission planners with LLM-driven symbolic planning and improved perception pipelines through VLM-based semantic inspection, enabling context-aware and adaptive monitoring. The LLM module translates natural language mission instructions into executable symbolic plans with dependency graphs that encode operational constraints and ensure safe UAV-USV coordination. Meanwhile, the VLM module performs real-time semantic inspection and compliance assessment, generating structured reports with contextual reasoning. The framework was validated using the extended MBZIRC Maritime Simulator with realistic port infrastructure and further assessed through real-world robotic inspection trials. The lightweight on-board design ensures suitability for resource-constrained maritime platforms, advancing the development of intelligent, autonomous inspection systems. Project resources (code and videos) can be found here: https://github.com/Muhayyuddin/llm-vlm-fusion-port-inspection

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI