日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

スキル学習/適応arXiv:2604.20468

MOMO: 物理・言語・グラフィカル操作を統合したロボットスキル学習と適応のためのフレームワーク

MOMO: A framework for seamless physical, verbal, and graphical robot skill learning and adaptation

シェア:XThreadsFacebookLINEはてブBluesky

非専門家でも直感的にロボットの動作を調整できるよう、触覚・自然言語・GUIの3つの操作手段を統合した対話型フレームワークを提案し、実機での検証を行った。

詳しい要約

1. どんなもの?

- 産業用ロボットの技能適応を3つのモダリティで可能にする対話型フレームワーク - kinesthetic touch: 精密な空間修正 - natural language: 高レベルな意味的修正 - graphical web interface: 幾何関係や軌道の可視化、パラメータ調整、via-pointのドラッグ&ドロップ編集 - 5つの構成要素を統合 - energy-based human-intention detection - tool-based LLM architecture (LLMがコード生成ではなく定義済み関数を選択・パラメータ化) - Kernelized Movement Primitives (KMPs) による動作符号化 - probabilistic Virtual Fixtures によるガイド付きデモ記録 - ergodic control による表面仕上げ

2. 先行研究と比べてどこがすごい?

- 従来の単一モダリティの適応手法と異なり、触覚・言語・グラフィカルUIを相補的に組み合わせる点が新しい - tool-based LLM architecture により、LLMがコードを生成せず安全に関数を選択・パラメータ化する点が先行研究と比べて特徴的 - このアーキテクチャがKMPsからergodic controlへ技能適応を一般化し、音声指令による表面仕上げを可能にした点がすごい - 具体的な先行研究との比較は要旨からは不明

3. 技術・手法の肝は?

- 5つの要素を統合 - energy-based human-intention detection - tool-based LLM architecture: LLMが定義済み関数を選択・パラメータ化 - Kernelized Movement Primitives (KMPs) で動作を符号化 - probabilistic Virtual Fixtures でガイド付きデモを記録 - ergodic control で表面仕上げ - 3モダリティの適応 - kinesthetic touch: 空間修正 - natural language: 意味的修正 - graphical web interface: 可視化・パラメータ調整・via-point編集

4. どうやって有効だと検証した?

- 7-DoF torque-controlled robot を用いて検証 - Automatica 2025 trade fair での実演により、産業設定での実用性を実証 - tool-based LLM architecture がKMPsからergodic controlへの技能適応を一般化し、音声指令による表面仕上げを可能にすることを示した - 定量的な評価指標や被験者実験の詳細は要旨からは不明

5. 議論はある?

- 産業用ロボットアプリケーションにおいて、非専門家ユーザーが多様なタスクや環境に適応できる柔軟なシステムの必要性を指摘 - 異なる適応には異なるインタラクションモダリティが有効であるという立場 - 具体的な限界や議論、今後の課題については要旨からは不明

6. 次に読むべき論文は?

- Kernelized Movement Primitives (KMPs) - ergodic control - probabilistic Virtual Fixtures - tool-based LLM architecture - energy-based human-intention detection - 関連する技能学習・適応の研究(要旨で明示的な参照論文はないため、上記の手法名を挙げる)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Markus Knauer, Edoardo Fiorini, Maximilian Mühlbauer, Stefan Schneyer, Promwat Angsuratanawech, Florian Samuel Lay, Timo Bachmann, Samuel Bustamante, Korbinian Nottensteiner, Freek Stulp, Alin Albu-Schäffer, João Silvério, Thomas Eiband

分類: cs.RO, cs.AI, cs.CL, cs.HC, cs.LG

原文アブストラクト

Industrial robot applications require increasingly flexible systems that non-expert users can easily adapt for varying tasks and environments. However, different adaptations benefit from different interaction modalities. We present an interactive framework that enables robot skill adaptation through three complementary modalities: kinesthetic touch for precise spatial corrections, natural language for high-level semantic modifications, and a graphical web interface for visualizing geometric relations and trajectories, inspecting and adjusting parameters, and editing via-points by drag-and-drop. The framework integrates five components: energy-based human-intention detection, a tool-based LLM architecture (where the LLM selects and parameterizes predefined functions rather than generating code) for safe natural language adaptation, Kernelized Movement Primitives (KMPs) for motion encoding, probabilistic Virtual Fixtures for guided demonstration recording, and ergodic control for surface finishing. We demonstrate that this tool-based LLM architecture generalizes skill adaptation from KMPs to ergodic control, enabling voice-commanded surface finishing. Validation on a 7-DoF torque-controlled robot at the Automatica 2025 trade fair demonstrates the practical applicability of our approach in industrial settings.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI