日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画理解/ロボット操作arXiv:1903.10869

V2CNet:ロボット操作のための動画からコマンドへの変換ディープラーニングフレームワーク

V2CNet: A Deep Learning Framework to Translate Videos to Commands for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

デモ動画をロボットが直接使えるコマンドに変換するV2CNetを提案。エンコーダ・デコーダと時間畳み込みネットワークの2分岐で細粒度動作と系列情報を同時に学習し、大規模データセットで従来手法を大きく上回る性能を示した。

著者: Anh Nguyen, Thanh-Toan Do, Ian Reid, Darwin G. Caldwell, Nikos G. Tsagarakis

分類: cs.CV, cs.RO

原文アブストラクト

We propose V2CNet, a new deep learning framework to automatically translate the demonstration videos to commands that can be directly used in robotic applications. Our V2CNet has two branches and aims at understanding the demonstration video in a fine-grained manner. The first branch has the encoder-decoder architecture to encode the visual features and sequentially generate the output words as a command, while the second branch uses a Temporal Convolutional Network (TCN) to learn the fine-grained actions. By jointly training both branches, the network is able to model the sequential information of the command, while effectively encodes the fine-grained actions. The experimental results on our new large-scale dataset show that V2CNet outperforms recent state-of-the-art methods by a substantial margin, while its output can be applied in real robotic applications. The source code and trained models will be made available.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI