日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.11617

AssemMate: グラフベースLLMによるロボット組立支援

AssemMate: Graph-Based LLM for Robotic Assembly Assistance

シェア:XThreadsFacebookLINEはてブBluesky

知識グラフを入力とするLLMで組立作業の対話支援と把持を実現し、従来比で高精度・高速・短コンテキストを達成した。

詳しい要約

1. どんなもの?

- AssemMateは、LLMベースのロボット組立支援のためのグラフベースのLLMである。 - 知識グラフ質問応答(KGQA)を可能にし、人間とロボットのインタラクションと組立タスク計画を支援する。 - 対話型QAに加え、積み重なったシーンのセンシングと把持実行もサポートする。

2. 先行研究と比べてどこがすごい?

- 既存手法は知識を自然言語テキストで表現するため、長いコンテキストと冗長な内容によりリアルタイムで正確な推論が困難であった。 - AssemMateはグラフという簡潔で正確な知識表現を入力として用いることで、精度6.4%向上、推論速度3倍、コンテキスト長28分の1を実現した。 - ランダムグラフに対する強い汎化性能も示した。

3. 技術・手法の肝は?

- 自己教師ありGraph Convolutional Network (GCN)が知識グラフのエンティティと関係を潜在空間にエンコードし、LLMの表現と整合させることで、LLMがグラフ情報を理解できるようにする。 - 把持における積み重なったシーンに対処するため、視覚強化戦略を採用している。

4. どうやって有効だと検証した?

- 訓練と評価を通じて、既存手法と比較して精度6.4%向上、推論速度3倍、コンテキスト長28分の1を達成した。 - ランダムグラフに対する汎化性能を実証した。 - シミュレーションと実世界の両方の設定でのロボット把持実験により優位性を示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 既存手法として自然言語テキストベースのLLM組立支援(具体的名称は要旨に無し)。 - 関連手法として知識グラフ質問応答(KGQA)、Graph Convolutional Network (GCN)、視覚強化戦略。 - 同分野の定番としてLLMベースのロボットタスク計画や知識グラフ埋め込みに関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qi Zheng, Chaoran Zhang, Zijian Liang, EnTe Lin, Shubo Cui, Qinghongbing Xie, Zhaobo Xu, Long Zeng

分類: cs.RO

原文アブストラクト

Large Language Model (LLM)-based robotic assembly assistance has gained significant research attention. It requires the injection of domain-specific knowledge to guide the assembly process through natural language interaction with humans. Despite some progress, existing methods represent knowledge in the form of natural language text. Due to the long context and redundant content, they struggle to meet the robots' requirements for real-time and precise reasoning. In order to bridge this gap, we present AssemMate, which utilizes the graph\textemdash a concise and accurate form of knowledge representation\textemdash as input. This graph-based LLM enables knowledge graph question answering (KGQA), supporting human-robot interaction and assembly task planning for specific products. Beyond interactive QA, AssemMate also supports sensing stacked scenes and executing grasping to assist with assembly. Specifically, a self-supervised Graph Convolutional Network (GCN) encodes knowledge graph entities and relations into a latent space and aligns them with LLM's representation, enabling the LLM to understand graph information. In addition, a vision-enhanced strategy is employed to address stacked scenes in grasping. Through training and evaluation, AssemMate outperforms existing methods, achieving 6.4\% higher accuracy, 3 times faster inference, and 28 times shorter context length, while demonstrating strong generalization ability on random graphs. And our approach further demonstrates superiority through robotic grasping experiments in both simulated and real-world settings. More details can be found on the project page: https://github.com/cristina304/AssemMate.git

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI