日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2603.04158

GarmentPile++: 視覚言語推論によるアフォーダンス駆動の乱雑な衣類取り出し

GarmentPile++: Affordance-Driven Cluttered Garments Retrieval with Vision-Language Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

衣類の山から言語指示に従って安全かつ正確に1枚だけを取り出すパイプラインを提案。視覚言語モデルと視覚アフォーダンスを統合し、SAM2によるセグメンテーションとマスク微調整、さらに大型衣類向けの双腕協調を導入した。

詳しい要約

1. どんなもの？

- 家庭用アシスタントロボットにおける衣類操作を対象に、山積みの衣類から言語指示に従って1枚だけを安全かつクリーンに取り出すパイプラインを提案。 - 既存研究の多くが単一衣類の初期状態を仮定するのに対し、実世界で一般的な『衣類の山』を扱う点が新しい。 - 下流タスク（folding, hanging, wearing）の基盤となることを目指す。

2. 先行研究と比べてどこがすごい？

- 従来の衣類操作研究は初期状態が1枚の衣類であることを前提としていた。 - 本研究は山積み衣類からの検索を対象とし、言語指示に従い、かつ1回の試行で正確に1枚だけを取り出すことを保証する点で先行研究と異なる。 - VLMの高レベル推論・計画能力とvisual affordanceの汎化性を組み合わせ、下流タスクへの堅牢な基盤を提供する。

3. 技術・手法の肝は？

- vision-language reasoningとvisual affordance perceptionを統合。 - VLMが各衣類の状態を包括的に把握できるよう、visual segmentation model（SAM2）で衣類の山をセグメンテーションし、視覚的手がかりを提供。 - 初期セグメンテーションが不十分な場合に備え、mask fine-tuning機構を統合。 - 大きな衣類や長い衣類、不適切な把持点による過度な垂れ下がりに対処するため、dual-arm cooperation frameworkを導入。

4. どうやって有効だと検証した？

- 実世界とシミュレーション環境の両方で、多様なタスクとシナリオにわたりパイプラインの有効性を一貫して実証。 - 具体的な評価指標やベースラインとの比較数値は要旨からは不明。

5. 議論はある？

- 要旨からは不明。 - 想定される議論点としては、実世界とシミュレーションのギャップ、dual-arm cooperationの汎用性、mask fine-tuningの計算コストなどが考えられるが、要旨には明記されていない。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、SAM2（visual segmentation model）、VLM（vision-language model）、visual affordance、dual-arm cooperation frameworkが挙げられる。 - 同分野の定番として、garment manipulation、cluttered object retrieval、vision-language reasoningに関する研究が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingleyang Li, Yuran Wang, Yue Chen, Tianxing Chen, Jiaqi Liang, Zishun Shen, Haoran Lu, Ruihai Wu, Hao Dong

分類: cs.RO, cs.AI

原文アブストラクト

Garment manipulation has attracted increasing attention due to its critical role in home-assistant robotics. However, the majority of existing garment manipulation works assume an initial state consisting of only one garment, while piled garments are far more common in real-world settings. To bridge this gap, we propose a novel garment retrieval pipeline that can not only follow language instruction to execute safe and clean retrieval but also guarantee exactly one garment is retrieved per attempt, establishing a robust foundation for the execution of downstream tasks (e.g., folding, hanging, wearing). Our pipeline seamlessly integrates vision-language reasoning with visual affordance perception, fully leveraging the high-level reasoning and planning capabilities of VLMs alongside the generalization power of visual affordance for low-level actions. To enhance the VLM's comprehensive awareness of each garment's state within a garment pile, we employ visual segmentation model (SAM2) to execute object segmentation on the garment pile for aiding VLM-based reasoning with sufficient visual cues. A mask fine-tuning mechanism is further integrated to address scenarios where the initial segmentation results are suboptimal. In addition, a dual-arm cooperation framework is deployed to address cases involving large or long garments, as well as excessive garment sagging caused by incorrect grasping point determination, both of which are strenuous for a single arm to handle. The effectiveness of our pipeline are consistently demonstrated across diverse tasks and varying scenarios in both real-world and simulation environments. Project page: https://garmentpile2.github.io/.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →