日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2603.14397

eNavi: 低照度屋内移動ロボットナビゲーションのためのイベントベース模倣ポリシー

eNavi: Event-based Imitation Policies for Low-Light Indoor Mobile Robot Navigation

シェア:XThreadsFacebookLINEはてブBluesky

イベントカメラとRGBを融合した模倣学習ポリシーを提案し、低照度環境での人物追従ナビゲーションの堅牢性を向上させた。

詳しい要約

1. どんなもの?

- イベントカメラを用いた低照度屋内移動ロボットナビゲーションのための模倣学習ポリシー - TurtleBot 2で収集した実世界の人物追従データセットを導入 - 同期された生イベントストリーム、RGBフレーム、専門家制御行動を含む - 通常光と低照度の両条件下で複数の屋内マップと軌道をカバー - マルチモーダルデータ前処理パイプラインを構築し、イベントとRGBの時間的整合とオドメトリからの行動再構成を実現 - データセットに基づき、後期融合RGB-Eventナビゲーションポリシーを提案 - 二重MobileNetエンコーダとTransformerベースの融合モジュールを行動クローニングで訓練

2. 先行研究と比べてどこがすごい?

- イベントベースの知覚(検出、SLAM、姿勢推定)の進歩にもかかわらず、イベントストリームの非同期性を活用したエンドツーエンド制御ポリシーの研究は限られている - 本研究はこのギャップに対処し、実世界の屋内人物追従データセットと模倣学習ポリシーを提供 - RGBのみ、イベントのみ、融合モデルを比較し、イベントデータを含むポリシーが特に未見の低照度条件下で堅牢性と行動予測誤差の低減を達成 - RGBのみのモデルが失敗する低照度条件で有効性を示す

3. 技術・手法の肝は?

- イベントカメラとRGBカメラを備えたTurtleBot 2ロボットを使用 - 同期された生イベントストリーム、RGBフレーム、専門家制御行動を収集 - マルチモーダルデータ前処理パイプライン:イベントとRGB観測の時間的整合、オドメトリからの真の行動再構成 - 後期融合RGB-Eventナビゲーションポリシー:二重MobileNetエンコーダとTransformerベースの融合モジュール - 行動クローニングによる訓練 - 単一パス模倣から一般的なマルチパス模倣までの12の訓練バリエーションを評価

4. どうやって有効だと検証した?

- 12の訓練バリエーション(単一パス模倣から一般的なマルチパス模倣まで)でRGBのみ、イベントのみ、RGB-Event融合モデルを体系的に評価 - イベントデータを含むポリシー、特に融合モデルが、未見の低照度条件下で改善された堅牢性と低い行動予測誤差を達成 - RGBのみのモデルが失敗する低照度条件での有効性を確認

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:イベントベースの検出、SLAM、姿勢推定に関する研究 - 関連手法:MobileNet、Transformer、行動クローニング - 同分野の定番:イベントカメラを用いたナビゲーション、模倣学習、マルチモーダル融合

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Prithvi Jai Ramesh, Kaustav Chanda, Krishna Vinod, Joseph Raj Vishal, Yezhou Yang, Bharatesh Chakravarthi

分類: cs.RO

原文アブストラクト

Event cameras provide high dynamic range and microsecond-level temporal resolution, making them well-suited for indoor robot navigation, where conventional RGB cameras degrade under fast motion or low-light conditions. Despite advances in event-based perception spanning detection, SLAM, and pose estimation, there remains limited research on end-to-end control policies that exploit the asynchronous nature of event streams. To address this gap, we introduce a real-world indoor person-following dataset collected using a TurtleBot 2 robot, featuring synchronized raw event streams, RGB frames, and expert control actions across multiple indoor maps, trajectories under both normal and low-light conditions. We further build a multimodal data preprocessing pipeline that temporally aligns event and RGB observations while reconstructing ground-truth actions from odometry to support high-quality imitation learning. Building on this dataset, we propose a late-fusion RGB-Event navigation policy that combines dual MobileNet encoders with a transformer-based fusion module trained via behavioral cloning. A systematic evaluation of RGB-only, Event-only, and RGB-Event fusion models across 12 training variations ranging from single-path imitation to general multi-path imitation shows that policies incorporating event data, particularly the fusion model, achieve improved robustness and lower action prediction error, especially in unseen low-light conditions where RGB-only models fail. We release the dataset, synchronization pipeline, and trained models at https://eventbasedvision.github.io/eNavi/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI