日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

MPC/視覚ナビゲーションarXiv:2001.02307

深層オプティカルフローとPixelMPCによる攻めの知覚考慮ナビゲーション

Aggressive Perception-Aware Navigation using Deep Optical Flow Dynamics and PixelMPC

シェア:XThreadsFacebookLINEはてブBluesky

オプティカルフローとロボットダイナミクスを組み合わせた深層オプティカルフローダイナミクスをMPCに統合し、高速ドローンレースで重要な特徴の視認性を保ちながら飛行するPixelMPCを提案した。

著者: Keuntaek Lee, Jason Gibson, Evangelos A. Theodorou

分類: cs.RO, cs.CV, cs.LG, cs.SY, eess.SY

原文アブストラクト

Recently, vision-based control has gained traction by leveraging the power of machine learning. In this work, we couple a model predictive control (MPC) framework to a visual pipeline. We introduce deep optical flow (DOF) dynamics, which is a combination of optical flow and robot dynamics. Using the DOF dynamics, MPC explicitly incorporates the predicted movement of relevant pixels into the planned trajectory of a robot. Our implementation of DOF is memory-efficient, data-efficient, and computationally cheap so that it can be computed in real-time for use in an MPC framework. The suggested Pixel Model Predictive Control (PixelMPC) algorithm controls the robot to accomplish a high-speed racing task while maintaining visibility of the important features (gates). This improves the reliability of vision-based estimators for localization and can eventually lead to safe autonomous flight. The proposed algorithm is tested in a photorealistic simulation with a high-speed drone racing task.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI