日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

人間ロボット協調/LLMarXiv:2603.11461

CoViLLM: 大規模言語モデルを用いた適応型人間ロボット協調組立フレームワーク

CoViLLM: An Adaptive Human-Robot Collaborative Assembly Framework Using Large Language Models

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルと深度カメラを組み合わせ、カスタマイズ製品や未見製品の組立を可能にする適応型の人間ロボット協調フレームワークを提案した。

詳しい要約

1. どんなもの?

- カスタマイズ製品や未見製品の組立を支援する適応的なHuman-Robot Collaboration (HRC) フレームワーク「CoViLLM」を提案。 - 深度カメラによる物体位置推定、人間オペレータによる新規部品の分類、Large Language Model (LLM) による自然言語指示に基づく組立タスク計画を統合。 - 既知・カスタマイズ・新規製品のケースに対応可能。

2. 先行研究と比べてどこがすごい?

- 従来のHRCフレームワークは事前定義されたperception-manipulationパイプラインに依存し、新製品の組立タスク計画を自律生成できなかった。 - CoViLLMはLLMを活用し、自然言語指示からタスク計画を生成することで、事前定義された製品・タスク設定を超えて柔軟な協調組立を実現。

3. 技術・手法の肝は?

- 深度カメラベースのlocalizationで物体位置を推定。 - 人間オペレータが新規部品を分類。 - Large Language Model (LLM) が自然言語指示に基づき組立タスクを計画。 - これらを統合した適応的HRC組立フレームワーク。

4. どうやって有効だと検証した?

- NIST Assembly Task Boardを用いて、既知製品、カスタマイズ製品、新規製品のケースで検証。 - 実験結果から、事前定義された製品・タスク設定を超えた柔軟な協調組立が可能であることを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法としてHuman-Robot Collaboration (HRC)、Large Language Model (LLM) を用いたタスク計画、NIST Assembly Task Board が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiabao Zhao, Jonghan Lim, Hongliang Li, Ilya Kovalenko

分類: cs.RO

原文アブストラクト

With increasing demand for mass customization, traditional manufacturing robots that rely on rule-based operations lack the flexibility to accommodate customized or new product variants. Human-Robot Collaboration has demonstrated potential to improve system adaptability by leveraging human versatility and decision-making capabilities. However, existing Human-Robot Collaborative frameworks typically depend on predefined perception-manipulation pipelines, limiting their ability to autonomously generate task plans for new product assembly. In this work, we propose CoViLLM, an adaptive human-robot collaborative assembly framework that supports the assembly of customized and previously unseen products. CoViLLM combines depth-camera-based localization for object position estimation, human operator classification for identifying new components, and a Large Language Model for assembly task planning based on natural language instructions. The framework is validated on the NIST Assembly Task Board for known, customized, and new product cases. Experimental results show that the proposed framework enables flexible collaborative assembly by extending Human-Robot Collaboration beyond predefined product and task settings.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI