日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

水中知覚/弱教師あり学習arXiv:2512.05996

FishDetector-R1: 弱教師あり魚検出・セグメンテーション・計数のための強化学習ファインチューニングを備えた統合MLLMフレームワーク

FishDetector-R1: Unified MLLM-Based Framework with Reinforcement Fine-Tuning for Weakly Supervised Fish Detection, Segmentation, and Counting

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダル大規模言語モデルと検証可能報酬による強化学習を組み合わせ、弱い教師信号だけで水中の魚の検出・領域分割・計数を高精度に行う統合フレームワークを提案した。

詳しい要約

1. どんなもの?

- 水中魚画像の解析を目的とした統合MLLMベースのフレームワーク - 対象タスクはfish detection, segmentation, counting - weak supervision下で動作 - DeepFishデータセットで評価 - APを20%、mIoUを10%改善 - MAEを30%、GAMEを35%削減 - プロジェクトページを公開

2. 先行研究と比べてどこがすごい?

- 従来はvisual degradationと高コストなannotationが課題 - 単一のMLLMベース統合フレームワークで3タスクをweak supervisionで扱う点が特徴 - detection, segmentation, countingを統合 - DeepFishでbaselineに対しAP +20%、mIoU +10%、MAE -30%、GAME -35% - 他の水中データセットにも汎化しcross-domain robustnessを確認 - 具体的な比較対象の先行研究名は要旨からは不明

3. 技術・手法の肝は?

- MLLMベースの統合フレームワーク - 2つの主要コンポーネント - detect-to-count prompt: 空間的に一貫したdetectionとcountを強制 - Reinforcement Learning from Verifiable Reward (RLVR): 検証可能な報酬による強化学習 - sparse point labelsを活用するスケーラブルなパラダイムを補完的に利用 - weak supervisionでdetection, segmentation, countingを実行

4. どうやって有効だと検証した?

- DeepFishデータセットでの実験 - AP +20%、mIoU +10%、MAE -30%、GAME -35%の改善を報告 - ablation studiesでreward designの有効性を検証 - 他の水中データセットへの汎化を確認しcross-domain robustnessを示す - 具体的なデータセット名や実験設定の詳細は要旨からは不明

5. 議論はある?

- 水中画像のvisual degradationとannotationコストへの対処を主張 - weak supervisionとsparse point labelsによるスケーラブルな枠組みを提示 - reward designの有効性をablationで確認 - 限界や失敗事例、計算コスト、ラベル品質への依存などは要旨からは不明

6. 次に読むべき論文は?

- DeepFish datasetに関する論文 - Reinforcement Learning from Verifiable Reward (RLVR)関連研究 - MLLMベースのweakly supervised detection/segmentation/counting研究 - detect-to-count promptに関連するcounting手法 - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yi Liu, Jingyu Song, Vedanth Kallakuri, Katherine A. Skinner

分類: cs.CV, cs.CY, cs.RO, eess.IV

原文アブストラクト

Analyzing underwater fish imagery is critical for ecological monitoring but remains difficult due to visual degradation and costly annotations. We introduce FishDetector-R1, a unified MLLM-based framework for fish detection, segmentation, and counting under weak supervision. On the DeepFish dataset, our framework achieves substantial gains over baselines, improving AP by 20% and mIoU by 10%, while reducing MAE by 30% and GAME by 35%. These improvements stem from two key components: a novel detect-to-count prompt that enforces spatially consistent detections and counts, and Reinforcement Learning from Verifiable Reward (RLVR) with a complementary scalable paradigm leveraging sparse point labels. Ablation studies further validate the effectiveness of this reward design. Moreover, the improvement generalizes well to other underwater datasets, confirming strong cross-domain robustness. Overall, FishDetector-R1 provides a reliable and scalable solution for accurate marine visual understanding via weak supervision. The project page for FishDetector-R1 is https://umfieldrobotics.github.io/FishDetector-R1.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI