日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

農業ロボティクス/画像変換/ナビゲーションarXiv:2607.12065

24時間農業ロボティクスの実現:夜間視覚ナビゲーションのための教師なし昼夜クロスモーダル画像変換

Enabling 24-hour Agricultural Robotics: Unsupervised Day-to-Night Cross-Modal Image Translation for Nighttime Visual Navigation

シェア:XThreadsFacebookLINEはてブBluesky

昼間の植物列RGB画像を夜間の近赤外(NIR)画像に教師なしで変換し、昼間のセマンティックラベルを夜間の認識モデル訓練に再利用可能にする手法を提案。CLIPモデルと可視性マスクを導入し、夜間ナビゲーションのセマンティックセグメンテーション性能を向上させた。

詳しい要約

1. どんなもの?

- 農業ロボティクスの夜間視覚ナビゲーションを可能にする研究。 - 昼間のRGB画像を夜間のNIR画像へ変換するunsupervised image translationフレームワークを提案。 - 昼間のsemantic labelsを夜間知覚モデル訓練に再利用可能にする。 - AgriNightデータセット(昼間428枚、夜間549枚、pixel-wise semantic labels付き)を構築し、夜間農業視覚ナビゲーションの初のベンチマークとして提示。 - 実機ロボットによる夜間自律ナビゲーション実験も実施。

2. 先行研究と比べてどこがすごい?

- 既存の農業ロボティクス視覚ナビゲーションは昼間条件を前提としていた。 - 夜間運用には大規模でwell-annotatedな画像データセットが必要だが、夜間用のデータセットは不足していた。 - 提案手法はpixel-to-pixel supervisionなしで昼間RGBから夜間NIRへの変換を実現。 - 事前学習済みCLIPモデルを組み込み、day-to-night翻訳中のsemantic consistencyを保持する点が新しい。 - NIR照明の有効範囲を考慮したvisibility maskを導入。 - state-of-the-art image translationベースラインと比較し、画像品質と下流のsemantic segmentation性能で優位性を示す。

3. 技術・手法の肝は?

- unsupervised image translationフレームワークにより、昼間のplant-row RGB画像を夜間NIR画像に変換。 - pixel-to-pixel supervisionを必要としない。 - 事前学習済みCLIPモデルを組み込み、翻訳中のsemantic consistencyを保持。 - visibility maskを導入し、夜間シーンにおけるNIR照明の限られた有効範囲に対応。 - 昼間のsemantic labelsを夜間知覚モデル訓練に直接再利用可能。

4. どうやって有効だと検証した?

- state-of-the-art image translationベースラインとの比較評価を実施。 - 画像品質の向上と、夜間視覚ナビゲーションのための下流semantic segmentation性能の改善を示す。 - AgriNightデータセット(昼間428枚、夜間549枚、pixel-wise semantic labels付き)を用いて評価。 - 夜間農業視覚ナビゲーションの初のベンチマークとしてAgriNightを導入。 - 実機ロボットによる夜間リアルタイム自律ナビゲーション実験を実施。

5. 議論はある?

- 要旨からは不明。 - 提案手法の限界や失敗事例、計算コスト、汎化性能に関する議論は要旨に記載されていない。 - 夜間NIR照明の有効範囲やvisibility maskの影響についての詳細な議論も要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:state-of-the-art image translationベースライン(具体的名称は要旨に記載なし)。 - 関連手法:Contrastive Language-Image Pre-training (CLIP)。 - データセット:AgriNight。 - 同分野の定番:unsupervised image translation、semantic segmentation、agricultural robotics、visual navigation。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Robel Mamo, Rajitha de Silva, Grzegorz Cielniak, Taeyeong Choi

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

While visual navigation has been extensively studied in agricultural robotics, most existing systems assume daytime conditions. In fact, deploying autonomous robots at night offers significant advantages, including 24-hour crop and soil monitoring, fruit harvesting, and nocturnal pest detection. Modern vision-based systems, however, rely heavily on large-scale well-annotated image datasets, which remains challenging to obtain for nighttime operation scenarios. To address this, we propose an unsupervised image translation framework that converts daytime plant-row RGB images into near-infrared (NIR) nighttime counterparts without requiring pixel-to-pixel supervision. This enables the direct reuse of daytime semantic labels for training nighttime perception models. In particular, by incorporating a pre-trained Contrastive Language-Image Pre-training (CLIP) model, the proposed framework is designed to preserve semantic consistency during day-to-night translation. Additionally, a visibility mask is introduced to account for the limited effective range of NIR illumination in nighttime scenes. We conduct comparative evaluations with state-of-the-art image translation baselines and demonstrate higher image qualities, as supported by improved performance in downstream semantic segmentation for nighttime visual navigation. For evaluation, we utilize AgriNight--a novel dataset comprising 428 daytime and 549 nighttime images collected using night-vision-equipped mobile robots in agricultural fields and manually annotated with pixel-wise semantic labels--and introduce it as the first benchmark for nighttime agricultural visual navigation. We also perform real-time autonomous navigation experiments with a physical robot operating at night. The data and code are available at: https://github.com/mamorobel/AgriNight.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI