日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2403.13801

自然言語をポリシーとして:LLMによる座標レベル身体制御のための推論

Natural Language as Policies: Reasoning for Coordinate-Level Embodied Control with LLMs

シェア:XThreadsFacebookLINEはてブBluesky

タスクとシーンのテキスト記述からLLMが自然言語推論で座標レベルの制御コマンドを直接出力し、中間コードなしでロボットタスク計画を行う手法を提案・評価した。

著者: Yusuke Mikami, Andrew Melnik, Jun Miura, Ville Hautamäki

分類: cs.RO, cs.AI, cs.CL

原文アブストラクト

We demonstrate experimental results with LLMs that address robotics task planning problems. Recently, LLMs have been applied in robotics task planning, particularly using a code generation approach that converts complex high-level instructions into mid-level policy codes. In contrast, our approach acquires text descriptions of the task and scene objects, then formulates task planning through natural language reasoning, and outputs coordinate level control commands, thus reducing the necessity for intermediate representation code as policies with pre-defined APIs. Our approach is evaluated on a multi-modal prompt simulation benchmark, demonstrating that our prompt engineering experiments with natural language reasoning significantly enhance success rates compared to its absence. Furthermore, our approach illustrates the potential for natural language descriptions to transfer robotics skills from known tasks to previously unseen tasks. The project website: https://natural-language-as-policies.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI