日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2301.11520

SNeRL: 強化学習のための意味論認識型ニューラル放射輝度場

SNeRL: Semantic-aware Neural Radiance Fields for Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

多視点画像から意味論と物体中心の3D暗黙表現をNeRFと畳み込みエンコーダで同時学習し、強化学習の性能を向上させる手法を提案。

著者: Dongseok Shim, Seungjae Lee, H. Jin Kim

分類: cs.LG, cs.AI, cs.CV, cs.RO

原文アブストラクト

As previous representations for reinforcement learning cannot effectively incorporate a human-intuitive understanding of the 3D environment, they usually suffer from sub-optimal performances. In this paper, we present Semantic-aware Neural Radiance Fields for Reinforcement Learning (SNeRL), which jointly optimizes semantic-aware neural radiance fields (NeRF) with a convolutional encoder to learn 3D-aware neural implicit representation from multi-view images. We introduce 3D semantic and distilled feature fields in parallel to the RGB radiance fields in NeRF to learn semantic and object-centric representation for reinforcement learning. SNeRL outperforms not only previous pixel-based representations but also recent 3D-aware representations both in model-free and model-based reinforcement learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI