日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データセット/水中ロボットarXiv:2606.01398

水中ロボットのクロスモーダル知覚のためのソナー・視覚データセット

A Sonar-Visual Dataset for Cross-Modal Underwater Robot Perception

シェア:XThreadsFacebookLINEはてブBluesky

水中ロボットの視覚とソナーを対応付けるための大規模データセットSOVISを構築し、魚検出タスクで単眼カメラ比7倍の精度向上を実証した。

詳しい要約

1. どんなもの?

- 本論文は、水中ロボットの知覚におけるcross-modal predictionのためのsonar-visual dataset「SOVIS」を提示する。 - Trondheimfjordの6サイト、17回のdiveで収集された76,000以上のpaired framesを含む。 - cross-modal sensor dataをcleaning・synchronizingするend-to-end pipelineと、interactive annotation toolも提供。 - 小規模ラベル付きデータでcross-modal fish detectionのproof-of-conceptを実施。

2. 先行研究と比べてどこがすごい?

- 従来、sonar-visual paired datasetsの不足によりcross-modal predictionの学習は未開拓だった。 - SOVISは大規模なsonar-visual paired datasetを提供し、この制約に対処する最初の試み。 - 単眼カメラbaselineに対し、mAP@0.10で7倍の改善を達成。 - 詳細な先行研究比較は要旨からは不明。

3. 技術・手法の肝は?

- 6サイト・17diveで収集したsonarとcameraのpaired framesをcleaning・synchronizingするend-to-end pipelineを構築。 - ラベリングを加速するinteractive annotation toolを導入。 - 小規模ラベル付きデータでcross-modal fish detectionを実証。 - 単眼画像からのdense sonar predictionなどの研究方向を可能にする。

4. どうやって有効だと検証した?

- 小規模なラベル付きデータを用いたcross-modal fish detectionタスクで検証。 - 単眼カメラbaselineと比較し、mAP@0.10で7倍の改善を確認。 - その他の定量的評価や詳細な検証方法は要旨からは不明。

5. 議論はある?

- SOVISはcross-modal underwater perception研究の第一歩と位置づけられる。 - 単眼画像からのdense sonar predictionなど、今後の研究方向を可能にする。 - 限界や課題についての具体的な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてcross-modal prediction、sonar-visual dataset、underwater robot perception、monocular camera baselineが挙げられる。 - 同分野の定番としてunderwater SLAMやsonar-based object detectionの論文が考えられるが、要旨からは特定できない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Weitung Chen, Phil Tinn, Per Gunnar Auran, Martin Ludvigsen, Peter Halland Haro

分類: cs.RO

原文アブストラクト

Underwater robots typically use both cameras and sonar for perception to leverage the rich semantic details of vision and the robust range measurements of acoustics. However, learning to map between these modalities via cross-modal prediction remains underexplored due to limited sonar-visual paired datasets. We present SOVIS, a sonar-visual dataset for cross-modal underwater perception. SOVIS comprises over 76,000 paired frames collected across 17 dives at six sites in the Trondheimfjord, supported by an end-to-end pipeline that cleans and synchronizes the cross-modal sensor data. We also introduce an interactive annotation tool designed to accelerate the labeling process for this paired data. Finally, we demonstrate a proof-of-concept cross-modal fish detection task using a small subset of labeled data, achieving a 7x improvement in mAP@0.10 over a monocular camera baseline. SOVIS serves as the first step toward advancing cross-modal underwater perception research, enabling research directions such as dense sonar prediction from monocular images.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI