日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2603.05230

デジタルツイン駆動の繊維分類と異物認識による自動選別システム

Digital Twin Driven Textile Classification and Foreign Object Recognition in Automated Sorting Systems

シェア:XThreadsFacebookLINEはてブBluesky

デジタルツインとVLMを組み合わせ、双腕ロボットが衣類を把持・検査・分類し異物も検出する自動選別システムを構築し、9種のVLMを223シーンで評価した。

詳しい要約

1. どんなもの?

- 持続可能なtextile recycling向けの自動選別システム - digital twin駆動のdual arm robotic cell - RGBD sensing、capacitive tactile feedback、collision-aware motion planningを統合 - 未選別バスケットから衣類を分離し、inspection zoneでVLMにより分類 - 223のinspection scenariosで9つのVLMをベンチマーク

2. 先行研究と比べてどこがすごい?

- 従来のtextile sortingは変形可能な衣類やforeign object検出が困難 - 本手法はdigital twinとVLMを組み合わせ、実世界のtextile classificationを実現 - 5つのmodel familyから9つのVLMを比較し、精度・hallucination・計算性能を評価 - Qwenが最大87.9%の精度を達成し、foreign object detectionに強い - Gemma3はedge deployment向けに速度と精度のトレードオフを提供

3. 技術・手法の肝は?

- dual arm robotic cellによるgrasp predictionとmulti modal perception - RGBD sensingとcapacitive tactile feedbackを統合 - collision-aware motion planningで安全な操作を実現 - digital twinとMoveItによるcollision aware path planning - セグメント化された3D point cloudを仮想環境に統合し操作信頼性を向上 - VLMによるsemantic reasoningで衣類分類とforeign object認識

4. どうやって有効だと検証した?

- 223のinspection scenariosからなるデータセットで評価 - 対象はshirts, socks, trousers, underwear, foreign objects, empty scenes - 9つのVLMを5つのmodel familyからベンチマーク - per class accuracy, hallucination behavior, computational performanceを評価 - Qwenが最大87.9%の精度、Gemma3が速度精度トレードオフで競争力

5. 議論はある?

- 実用的なハードウェア制約下でのVLMの性能を評価 - hallucination behaviorが課題として挙げられる - 軽量モデルと高精度モデルのトレードオフが議論 - digital twinとVLMの統合がスケーラブルな自動textile sortingに有効と示唆 - 実産業環境への適用可能性を実証

6. 次に読むべき論文は?

- Qwen model family (VLM) - Gemma3 (VLM) - MoveIt (motion planning) - Visual Language Models (VLMs) 全般 - digital twin 技術 - 関連するtextile sortingやrobotic graspingの研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Serkan Ergun, Tobias Mitterer, Hubert Zangl

分類: cs.CV, cs.RO

原文アブストラクト

The increasing demand for sustainable textile recycling requires robust automation solutions capable of handling deformable garments and detecting foreign objects in cluttered environments. This work presents a digital twin driven robotic sorting system that integrates grasp prediction, multi modal perception, and semantic reasoning for real world textile classification. A dual arm robotic cell equipped with RGBD sensing, capacitive tactile feedback, and collision-aware motion planning autonomously separates garments from an unsorted basket, transfers them to an inspection zone, and classifies them using state of the art Visual Language Models (VLMs). We benchmark nine VLM s from five model families on a dataset of 223 inspection scenarios comprising shirts, socks, trousers, underwear, foreign objects (including garments outside of the aforementioned classes), and empty scenes. The evaluation assesses per class accuracy, hallucination behavior, and computational performance under practical hardware constraints. Results show that the Qwen model family achieves the highest overall accuracy (up to 87.9 %), with strong foreign object detection performance, while lighter models such as Gemma3 offer competitive speed accuracy trade offs for edge deployment. A digital twin combined with MoveIt enables collision aware path planning and integrates segmented 3D point clouds of inspected garments into the virtual environment for improved manipulation reliability. The presented system demonstrates the feasibility of combining semantic VLM reasoning with conventional grasp detection and digital twin technology for scalable, autonomous textile sorting in realistic industrial settings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI