組立/マニピュレーション2025/10/1arXiv:2510.16344

Manual2Skill++: コネクタを考慮した指示書からの汎用ロボット組立

Manual2Skill++: Connector-Aware General Robotic Assembly from Instruction Manuals via Vision-Language Models

組立指示書から視覚言語モデルで接続情報を抽出し、部品と接続関係を階層グラフで表現してロボット組立を実行するフレームワークを提案。

詳しい要約

1. どんなもの？

- 指示マニュアルから組立作業を学習・実行するロボティクス研究 - 組立を『接続(connection)』中心に表現する枠組み Manual2Skill++ を提案 - Vision-Language Model を用いてマニュアルの図・注記から接続情報を抽出 - 部品・サブアセンブリをノード、接続関係をエッジとする階層グラフで組立タスクを符号化 - 接続の種類・仕様・位置を各組立ステップで明示的に表現 - 家具・玩具・製造部品を含む4つの複雑な組立シナリオでパイプラインを評価

2. 先行研究と比べてどこがすごい？

- 従来のロボティクス組立手法は組立順序や部品姿勢の計画を主眼とし、connector を後回しに扱う傾向 - 本研究は connection を組立実行の基礎的な物理制約と位置づけ、明示的・主要な実体として扱う点が新しい - 接続の確立が組立成功を最終的に決めるという立場を取る - 人間がマニュアルで学ぶ過程に着想を得て、マニュアル中の接続知識を VLM で活用 - 接続タイプ・仕様・位置を各ステップで直接符号化する表現を導入

3. 技術・手法の肝は？

- Vision-Language フレームワーク Manual2Skill++ を構築 - 組立タスクを階層グラフとして表現 - ノード: 部品およびサブアセンブリ - エッジ: コンポーネント間の接続関係を明示的にモデル化 - 大規模 Vision-Language Model がマニュアル中の記号図や注記を解析し、グラフをインスタンス化 - 人間設計の指示に埋め込まれた接続知識を利用 - 接続タイプ・仕様・位置を各組立ステップに対応付けて符号化

4. どうやって有効だと検証した？

- 多様な connector タイプを含む20以上の組立タスクからなるデータセットを構築し、表現抽出アプローチを検証 - シミュレーション上で4つの複雑な組立シナリオを対象に、タスク理解から実行までの完全なパイプラインを評価 - 対象は家具・玩具・製造部品にわたり、実世界に対応するものを含む - 詳細はプロジェクトページ https://nus-lins-lab.github.io/Manual2SkillPP/ で公開

5. 議論はある？

- 接続を後回しにする従来手法に対し、connection を主要実体として扱う設計の意義を主張 - マニュアル由来の接続知識を VLM で構造化抽出する有効性を示唆 - 評価はシミュレーション中心で、実機での組立成功率や connector 装着の頑健性に関する議論は要旨からは不明 - データセット規模や connector タイプの網羅性、マニュアル多様性への一般化は要旨からは不明 - 実世界対応シナリオの具体的な検証条件は要旨からは不明

6. 次に読むべき論文は？

- 要旨で直接参照・比較されている個別研究は明示されていない - 関連手法として Vision-Language Model を用いたマニュアル理解・組立計画研究(例: 元の Manual2Skill 系の研究)を参照 - 組立順序計画・部品姿勢計画の従来研究(assembly sequence planning / pose estimation) - connector-aware な組立表現や階層グラフを用いる組立研究 - 指示マニュアルからのタスク理解に関する Vision-Language 研究 - 実機組立への展開を扱うロボティクス組立研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenrui Tie, Shengxiang Sun, Yudi Lin, Yanbo Wang, Zhongrui Li, Zhouhan Zhong, Jinxuan Zhu, Yiman Pang, Haonan Chen, Junting Chen, Ruihai Wu, Lin Shao

分類: cs.RO, cs.AI

原文アブストラクト

Assembly hinges on reliably forming connections between parts; yet most robotic approaches plan assembly sequences and part poses while treating connectors as an afterthought. Connections represent the foundational physical constraints of assembly execution; while task planning sequences operations, the precise establishment of these constraints ultimately determines assembly success. In this paper, we treat connections as explicit, primary entities in assembly representation, directly encoding connector types, specifications, and locations for every assembly step. Drawing inspiration from how humans learn assembly tasks through step-by-step instruction manuals, we present Manual2Skill++, a vision-language framework that automatically extracts structured connection information from assembly manuals. We encode assembly tasks as hierarchical graphs where nodes represent parts and sub-assemblies, and edges explicitly model connection relationships between components. A large-scale vision-language model parses symbolic diagrams and annotations in manuals to instantiate these graphs, leveraging the rich connection knowledge embedded in human-designed instructions. We curate a dataset containing over 20 assembly tasks with diverse connector types to validate our representation extraction approach, and evaluate the complete task understanding-to-execution pipeline across four complex assembly scenarios in simulation, spanning furniture, toys, and manufacturing components with real-world correspondence. More detailed information can be found at https://nus-lins-lab.github.io/Manual2SkillPP/

arXivで原文を読む →arXiv概要ページ

Manual2Skill++: コネクタを考慮した指示書からの汎用ロボット組立

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

OZ GAMING（GPU搭載BTOゲーミングPC）

双腕モバイルマニピュレーター OpenShell