日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習/言語指示arXiv:2606.08169

CLASP: 言語駆動型ロボットスキル選択とタスクパラメータ学習による合成

CLASP: Language-Driven Robot Skill Selection and Composition using Task-Parameterized Learning

シェア:XThreadsFacebookLINEはてブBluesky

自然言語コマンドからロボットのスキルを選択・合成するモジュール型アーキテクチャを提案。少数のデモから学習したスキルをVLMで解釈し、データ効率と直感的な指示を両立する。

詳しい要約

1. どんなもの?

- 自然言語コマンドからロボットがタスクを理解・実行するためのフレームワーク CLASP を提案。 - モジュール型アーキテクチャで、task-parameterized kernelized movement primitives (TP-KMPs) と pretrained VLMs を組み合わせる。 - 学習時は 2〜5 回の kinesthetic demonstrations からスキルを獲得し、VLM がスキルスキーマ(パラメータと事前条件)を生成。 - 実行時は VLM がコマンドを解釈してスキル選択、パラメータバインディングの推論、covariance-weighted composition による新規行動の生成を行う。 - スキルや合成で不足する場合は能力ギャップを特定し、追加のデモンストレーションを要求する active learning も可能。 - 7-DoF マニピュレータで検証し、スキル選択・合成・active learning を要するシナリオで成功率 73.3%〜100% を達成。

2. 先行研究と比べてどこがすごい?

- 従来の vision-language-action (VLA) や vision-language models (VLMs) は直感的なインタラクションを提供するが、大量のデータを必要とする。 - 一方、task-parameterized imitation learning はデータ効率が良いが、自然言語によるグラウンディングが欠如している。 - 本研究はこれらを統合し、データ効率を保ちつつ自然言語理解を実現する点が新しい。 - ファインチューニング不要で、VLM をそのまま活用してスキル選択・合成・active learning を実現する点が先行研究と異なる。

3. 技術・手法の肝は?

- 中核は task-parameterized kernelized movement primitives (TP-KMPs) と pretrained VLMs の組み合わせ。 - 学習フェーズ: 2〜5 回の kinesthetic demonstrations からスキルを獲得し、VLM が各スキルのパラメータと事前条件を記述したスキルスキーマを生成。 - 実行フェーズ: VLM が自然言語コマンドを解釈し、スキル選択、パラメータバインディングの推論、covariance-weighted composition による新規行動の生成を行う。 - 能力ギャップがある場合はシステムがそれを特定し、対象を絞ったデモンストレーションを要求する。 - 全体としてファインチューニングを必要としないモジュール型アーキテクチャ。

4. どうやって有効だと検証した?

- 7-DoF マニピュレータを用いた実験で検証。 - スキル選択、スキル合成、active learning を必要とするシナリオで評価。 - 成功率は 73.3% から 100% の範囲であった。 - 具体的なタスク内容や評価指標の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは、限界や議論の詳細は不明。 - ただし、VLM の解釈に依存するため、VLM の性能やバイアスがシステム全体に影響する可能性が考えられるが、要旨では言及されていない。 - データ効率と自然言語グラウンディングの両立を主張しているが、他のタスクやロボットへの汎化性については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている研究: vision-language-action (VLA) モデル、vision-language models (VLMs)、task-parameterized imitation learning、kernelized movement primitives (KMPs)。 - 関連手法として、task-parameterized movement primitives や imitation learning の論文、VLM をロボットに応用した研究が次に読むべき候補。 - 具体的な論文名は要旨に記載されていないため、これらのキーワードで検索することを推奨。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Markus Knauer, Valentin Gieraths, Tai Mai, Samuel Bustamante, Alin Albu-Schäffer, Freek Stulp, João Silvério

分類: cs.RO, cs.AI, cs.CL, cs.HC, cs.LG

原文アブストラクト

Enabling robots to understand and execute tasks from natural language commands while maintaining data efficiency remains challenging. Foundation models such as vision-language-action (VLA) and vision-language models (VLMs) provide intuitive interaction channels but require extensive data; task-parameterized imitation learning achieves data efficiency but lacks natural language grounding. This work bridges this gap through a modular architecture combining task-parameterized kernelized movement primitives (TP-KMPs) with pretrained VLMs. During learning, skills are acquired from 2 to 5 kinesthetic demonstrations, and the VLM generates skill schemas describing each skill's parameters and preconditions. During execution, the VLM interprets commands to select skills, reason about parameter bindings, and create novel behaviors through covariance-weighted composition. When no skill or composition suffices, the system identifies capability gaps and requests targeted demonstrations, all without fine-tuning. Validation on a 7-DoF manipulator shows success rates of 73.3%-100% in scenarios requiring skill selection, composition, and active learning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI