日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2506.10359

大規模マルチ吸盤ピッキングにおけるマルチモーダル学習によるピック成功予測

Demonstrating Multi-Suction Item Picking at Scale via Multi-Modal Learning of Pick Success

シェア:XThreadsFacebookLINEはてブBluesky

倉庫などでの多様な物品の山からのマルチ吸盤ロボットピッキングにおいて、RGB・深度・セマンティックセグメンテーションを組み合わせたマルチモーダル学習でピック成功を予測し、実データで性能を評価した。

詳しい要約

1. どんなもの?

- 産業スケールで運用中のロボットによる multi-suction item picking を対象に、候補 pick の成功を予測する手法を実データから学習する研究 - RGB・depth・semantic segmentation などの複数モダリティを入力とする multi-modal visual encoder を比較検討 - 非構造な山積みから多様な item を拾う warehouse 等の実環境タスクを想定 - 遅延制約を満たしつつ open set の item に対応することを目指す - 実運用データを用いた multimodal pretrain と finetune の組み合わせで学習

2. 先行研究と比べてどこがすごい?

- 実運用中の engineered solution から得た sparsely-labeled な実世界データを活用し、ロボット操作の側面を自律学習する点を実証 - multi-suction picking に特化し、multi-modal visual encoder による pick 成功予測を大規模に検討 - 単一モダリティではなく複数モダリティの併用が重要であることを ablation で示す - pretraining 中にモダリティ間の関係を学習し、finetune/推論時には一部モダリティのみでも入力可能であることを示唆 - 具体的な先行研究との比較は要旨からは不明

3. 技術・手法の肝は?

- 候補となる multi-suction pick の品質(成功)を推定するモデルを構築 - 入力モダリティとして RGB、depth、semantic segmentation を利用 - 実世界の item picking データで multimodal pretrain と finetune を組み合わせて学習 - pretraining でモダリティ間の関係を獲得し、finetune/推論時にモダリティのサブセット利用を可能にする設計 - 遅延制約を意識した高スループット向けの推論を想定

4. どうやって有効だと検証した?

- 大規模 item-picking dataset での実験評価 - 部分遮蔽(partial occlusions)を意図的に含む item-picking dataset での評価 - 箱や封筒などの容器を対象とする package-picking dataset での評価 - 異なる item 配置、pick scene、object type ごとの性能を測定 - in-domain pretraining の効果、各モダリティの影響、finetuning の重要性に関する ablation を実施

5. 議論はある?

- 複数モダリティでの学習の重要性が ablation で示される一方、pretraining によりモダリティ間関係を学習でき、finetune/推論時に一部モダリティのみで運用可能である点を議論 - 実運用の sparsely-labeled データから学習する有効性と限界について言及(詳細は要旨からは不明) - 遅延制約と高スループットの両立に関する議論が想定されるが、具体的数値は要旨からは不明 - open set の item や clutter への一般化に関する詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていないため特定不可 - 関連手法として multi-modal visual encoder、multimodal pretraining、pick success prediction、multi-suction grasping、clutter picking に関する論文を次に読む候補として挙げる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Che Wang, Jeroen van Baar, Chaitanya Mitash, Shuai Li, Dylan Randle, Weiyao Wang, Sumedh Sontakke, Kostas E. Bekris, Kapil Katyal

分類: cs.RO, cs.LG

原文アブストラクト

This work demonstrates how autonomously learning aspects of robotic operation from sparsely-labeled, real-world data of deployed, engineered solutions at industrial scale can provide with solutions that achieve improved performance. Specifically, it focuses on multi-suction robot picking and performs a comprehensive study on the application of multi-modal visual encoders for predicting the success of candidate robotic picks. Picking diverse items from unstructured piles is an important and challenging task for robot manipulation in real-world settings, such as warehouses. Methods for picking from clutter must work for an open set of items while simultaneously meeting latency constraints to achieve high throughput. The demonstrated approach utilizes multiple input modalities, such as RGB, depth and semantic segmentation, to estimate the quality of candidate multi-suction picks. The strategy is trained from real-world item picking data, with a combination of multimodal pretrain and finetune. The manuscript provides comprehensive experimental evaluation performed over a large item-picking dataset, an item-picking dataset targeted to include partial occlusions, and a package-picking dataset, which focuses on containers, such as boxes and envelopes, instead of unpackaged items. The evaluation measures performance for different item configurations, pick scenes, and object types. Ablations help to understand the effects of in-domain pretraining, the impact of different modalities and the importance of finetuning. These ablations reveal both the importance of training over multiple modalities but also the ability of models to learn during pretraining the relationship between modalities so that during finetuning and inference, only a subset of them can be used as input.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI