マニピュレーション2026/4/1arXiv:2604.08983

AssemLM: ロボット組立のための空間推論マルチモーダル大規模言語モデル

AssemLM: A Spatial Reasoning Multimodal Large Language Model for Robotic Assembly

組立マニュアル、点群、テキスト指示を統合し、6D組立姿勢を予測する空間推論マルチモーダル大規模言語モデルを提案。専用の点群エンコーダと大規模ベンチマークAssemBenchを導入し、実ロボット評価で最先端性能を達成した。

詳しい要約

1. どんなもの？

- ロボット組立のための空間推論マルチモーダル大規模言語モデルAssemLMを提案。 - 組立マニュアル、点群、テキスト指示を統合し、6D組立ポーズを予測。 - 3D幾何理解を明示的に行う。 - 大規模ベンチマークAssemBenchも導入。900K以上のマルチモーダルサンプルと正確な6Dポーズアノテーションを含む。

2. 先行研究と比べてどこがすごい？

- 従来のVLMベース手法は粗い2D知覚に依存し、複雑な3D幾何推論が苦手。 - AssemLMは点群エンコーダで細かい幾何・回転特徴を抽出し、3D空間推論を実現。 - 評価を2Dグラウンディングから完全な3D幾何推論に拡張。 - 6Dポーズ推論で最先端性能を達成。

3. 技術・手法の肝は？

- 組立マニュアル、点群、テキスト指示を統合するマルチモーダルLLM。 - 専用の点群エンコーダで細粒度の幾何・回転特徴を抽出。 - 生の3D知覚と高レベル言語推論を橋渡し。 - 6D組立ポーズを予測。

4. どうやって有効だと検証した？

- 広範な実験と実ロボット評価を実施。 - AssemLMが最先端の6Dポーズ推論性能を達成。 - 実世界で細粒度・多段階組立タスクを効果的に支援することを示した。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてVLMベースの空間推論、点群エンコーダ、6Dポーズ推定、組立タスクの研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhi Jing, Jinbin Qiao, Ouyang Lu, Jicong Ao, Shuang Qiu, Huazhe Xu, Yu-Gang Jiang, Chenjia Bai

分類: cs.RO

原文アブストラクト

Spatial reasoning is a fundamental capability for embodied intelligence, especially for fine-grained manipulation tasks such as robotic assembly. Recent methods based on vision-language models (VLMs) largely rely on coarse 2D perception and struggle to perform accurate reasoning over complex 3D geometry. To address this limitation, we propose AssemLM, a spatial multimodal large language model for robotic assembly that integrates assembly manuals, point clouds, and textual instructions to predict task-critical 6D assembly poses with explicit geometric understanding. To bridge raw 3D perception and high-level linguistic reasoning, AssemLM employs a specialized point cloud encoder to extract fine-grained geometric and rotational features for accurate 3D spatial reasoning in assembly tasks. In addition, we introduce AssemBench, a large-scale benchmark for assembly-oriented spatial reasoning with over 900K multimodal samples and precise 6D pose annotations, extending evaluation from 2D grounding to full 3D geometric inference. Extensive experiments and real-robot evaluations demonstrate that AssemLM achieves state-of-the-art 6D pose reasoning performance and effectively supports fine-grained, multi-step assembly tasks in real-world settings. Code, models, and the AssemBench dataset will be made publicly available.

arXivで原文を読む →arXiv概要ページ

AssemLM: ロボット組立のための空間推論マルチモーダル大規模言語モデル

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell