日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.03889

不確かさを考慮した密対応と視触覚アフォーダンスによる空中での衣服操作

Reactive In-Air Clothing Manipulation with Confidence-Aware Dense Correspondence and Visuotactile Affordance

シェア:XThreadsFacebookLINEはてブBluesky

しわくちゃで吊るされた衣服を対象に、信頼度付きの密な視覚対応と触覚教師あり把持アフォーダンスを組み合わせた双腕視触覚フレームワークを提案し、折り畳みと吊り下げタスクで有効性を示した。

詳しい要約

1. どんなもの?

- もつれた・吊り下げ状態の衣類を直接操作する dual-arm visuotactile framework - confidence-aware dense visual correspondence と tactile-supervised grasp affordance を組み合わせる - 折り畳み(folding)と吊り下げ(hanging)タスクで実演 - タスク非依存の grasp selection module を提案 - dense descriptor を人間動画デモからの grasp target 抽出にも再利用可能な中間表現として提示

2. 先行研究と比べてどこがすごい?

- 先行システムは衣類を平坦化したり主要特徴の可視性を仮定することが多い - 本研究は crumpled かつ suspended な衣類に直接操作可能 - 知覚的不確実性を correspondence confidence として推定し、反応的に戦略を適応 - 低信頼状態では行動を保留(deferring action)することで高度に遮蔽された配置に対応 - 高解像度 tactile feedback による自己教師あり grasp affordance を実行時の grasp validation にも再利用

3. 技術・手法の肝は?

- confidence-aware dense visual correspondence model - 衣類の対称性を捉える distributional loss で学習 - correspondence confidence estimate を出力 - confidence estimate が reactive state machine を駆動し folding 戦略を適応 - visuotactile grasp affordance network - 高解像度 tactile feedback で自己教師あり学習 - 物理的に把持可能な領域を判定 - 同一 tactile classifier を実行時の real-time grasp validation に使用 - 低信頼状態では行動を保留する仕組み

4. どうやって有効だと検証した?

- 独自の高忠実度 simulated dataset で correspondence model を学習 - folding と hanging タスクでタスク非依存 grasp selection module を実演 - 高度に遮蔽された table-top および in-air 配置への対応を実演 - 人間動画デモからの grasp target 抽出への dense descriptor の再利用性を提示 - 定量的評価指標や比較実験の詳細は要旨からは不明

5. 議論はある?

- 低信頼状態で行動を保留することで遮蔽環境に対応する設計の妥当性 - correspondence confidence と tactile による grasp validation の統合効果 - dense descriptor が他の planning modality へ再利用可能である点の汎用性 - 限界や失敗事例、定量比較に関する議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている先行の clothing manipulation システム(平坦化前提の手法) - distributional loss や correspondence confidence に関連する dense correspondence 研究 - tactile-supervised grasp affordance や visuotactile grasping の関連研究 - 人間動画デモからの grasp target 抽出(learning from demonstration)関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Neha Sunil, Megha Tippur, Arnau Saumell, Edward Adelson, Alberto Rodriguez

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Manipulating clothing is challenging due to complex configurations, variable material dynamics, and frequent self-occlusion. Prior systems often flatten garments or assume visibility of key features. We present a dual-arm visuotactile framework that combines confidence-aware dense visual correspondence and tactile-supervised grasp affordance to operate directly on crumpled and suspended garments. The correspondence model is trained on a custom, high-fidelity simulated dataset using a distributional loss that captures cloth symmetries and generates correspondence confidence estimates. These estimates guide a reactive state machine that adapts folding strategies based on perceptual uncertainty. In parallel, a visuotactile grasp affordance network, self-supervised using high-resolution tactile feedback, determines which regions are physically graspable. The same tactile classifier is used during execution for real-time grasp validation. By deferring action in low-confidence states, the system handles highly occluded table-top and in-air configurations. We demonstrate our task-agnostic grasp selection module in folding and hanging tasks. Moreover, our dense descriptors provide a reusable intermediate representation for other planning modalities, such as extracting grasp targets from human video demonstrations, paving the way for more generalizable and scalable garment manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI