日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.02839

言語運動プリミティブ:ロボット動作における言語モデルの接地

Language Movement Primitives: Grounding Language Models in Robot Motion

シェア:XThreadsFacebookLINEはてブBluesky

VLMの推論を動的運動プリミティブ(DMP)のパラメータに接地させることで、自然言語指示からゼロショットでロボット操作を実現するフレームワークを提案。

詳しい要約

1. どんなもの?

- 自然言語指示からロボットの新規マニピュレーションを可能にする枠組み - Language Movement Primitives (LMPs) を提案 - VLMの推論をDynamic Movement Primitive (DMP) パラメータ化に接地 - ゼロショットでテーブルトップ操作をDMP動作列生成で遂行

2. 先行研究と比べてどこがすごい?

- VLMは高次元入力の理解とタスク分解が可能だが embodied motion への接地が困難 - ロボティクス基盤モデルは行動指令を出すが新規タスクには in-domain fine-tuning や経験が必要 - LMPは抽象タスク推論と低レベル運動制御の断絶を埋める - 実世界31タスクで65%成功、最良ベースライン35%を上回る

3. 技術・手法の肝は?

- DMPが少数の解釈可能なパラメータを持ち、VLMがそれを設定 - VLMが自由形式の自然言語タスク記述を推論し、所望動作をDMPに意味的に接地 - 高レベルタスク推論と低レベル位置・速度制御を橋渡し - LMPパイプラインでDMP動作列を生成しゼロショット操作を実現

4. どうやって有効だと検証した?

- 実世界31のマニピュレーションタスクで評価 - LMPは65%のタスク成功率を達成 - 最良ベースラインは35%成功 - 動画はウェブサイト https://collab.me.vt.edu/lmp で公開

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- Large vision and language models (VLMs) - Robotics foundation models - Dynamic Movement Primitive (DMP)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yinlong Dai, Benjamin A. Christie, Daniel J. Evans, Dylan P. Losey, Simon Stepputtis

分類: cs.RO

原文アブストラクト

Enabling robots to perform novel manipulation tasks from natural language instructions remains a fundamental challenge in robotics, despite significant progress in generalized problem solving with foundational models. Large vision and language models (VLMs) are capable of processing high-dimensional input data for visual scene and language understanding, as well as decomposing tasks into a sequence of logical steps; however, they struggle to ground those steps in embodied robot motion. On the other hand, robotics foundation models output action commands, but require in-domain fine-tuning or experience before they are able to perform novel tasks successfully. At its core, there still remains the fundamental challenge of connecting abstract task reasoning with low-level motion control. To address this disconnect, we propose Language Movement Primitives (LMPs), a framework that grounds VLM reasoning in Dynamic Movement Primitive (DMP) parameterization. Our key insight is that DMPs provide a small number of interpretable parameters, and VLMs can set these parameters to specify diverse, continuous, and stable trajectories. Put another way: VLMs can reason over free-form natural language task descriptions, and semantically ground their desired motions into DMPs -- bridging the gap between high-level task reasoning and low-level position and velocity control. Building on this combination of VLMs and DMPs, we formulate our LMP pipeline for zero-shot robot manipulation that effectively completes tabletop manipulation problems by generating a sequence of DMP motions. Across 31 real-world manipulation tasks, we show that LMP achieves 65% task success as compared to 35% for the best performing baseline. See videos at our website: https://collab.me.vt.edu/lmp

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI