日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

布操作/触覚arXiv:2603.10609

単一ロボットアームによる視覚ベース触覚センシングを用いた両手布操作の学習

Learning Bimanual Cloth Manipulation with Vision-based Tactile Sensing via Single Robotic Arm

シェア:XThreadsFacebookLINEはてブBluesky

布操作の課題に対し、単一アームで両手操作を実現する触覚グリッパと認識・制御フレームワークを提案し、布の分類とエッジ位置推定を高精度で行う。

詳しい要約

1. どんなもの?

- 単一アームで両手作業を実現する布操作フレームワーク「Touch G.O.G.」を提案。 - 視覚ベースの触覚グリッパと知覚・制御を統合。 - 布のスライディング、部位分類、エッジ姿勢推定、合成データ生成を含む。 - 布の展開を単一アームで実現。

2. 先行研究と比べてどこがすごい?

- 従来の双腕システムはハードウェアと制御が複雑。 - 単一アームで両手作業を可能にし、コンパクトかつ低コスト。 - 視覚の遮蔽問題を触覚センシングで補完。 - 手動アノテーションを削減する合成データ生成を導入。

3. 技術・手法の肝は?

- グリッパ内で布をスライドさせる新設計と制御戦略。 - Vision Foundation ModelをバックボーンとするVision Transformerで部位分類(PC-Net)とエッジ姿勢推定(PE-Net)。 - 実画像と合成触覚画像を使用。 - エンコーダ・デコーダ型合成データ生成器(SD-Net)で高忠実度触覚画像を生成。

4. どうやって有効だと検証した?

- エッジ、コーナー、内部領域、把持失敗の分類で96%の精度。 - サブミリメートルのエッジ位置推定と4.5度の姿勢誤差。 - 実世界で crumpled fabrics の展開に成功。 - 単一アームのみで信頼性を実証。

5. 議論はある?

- 単一アームで両手作業を実現するコンパクトで低コストな解決策。 - 布の高次元状態空間と変形性、遮蔽問題に対処。 - 双腕システムの複雑さを回避。 - 限界や今後の課題は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、双腕布操作、視覚ベース触覚センシング、Vision Transformer、合成データ生成に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dongmyoung Lee, Wei Chen, Xiaoshuai Chen, Rui Zong, Petar Kormushev

分類: cs.RO

原文アブストラクト

Robotic cloth manipulation remains challenging due to the high-dimensional state space of fabrics, their deformable nature, and frequent occlusions that limit vision-based sensing. Although dual-arm systems can mitigate some of these issues, they increase hardware and control complexity. This paper presents Touch G.O.G., a compact vision-based tactile gripper and perception/control framework for single-arm bimanual cloth manipulation. The proposed framework combines three key components: (1) a novel gripper design and control strategy for in-gripper cloth sliding with a single robot arm, (2) a Vision Foundation Model-backboned Vision Transformer pipeline for cloth part classification (PC-Net) and edge pose estimation (PE-Net) using real and synthetic tactile images, and (3) an encoder-decoder synthetic data generator (SD-Net) that reduces manual annotation by producing high-fidelity tactile images. Experiments show 96% accuracy in distinguishing edges, corners, interior regions, and grasp failures, together with sub-millimeter edge localization and 4.5{\deg} orientation error. Real-world results demonstrate reliable cloth unfolding, even for crumpled fabrics, using only a single robotic arm. These results highlight Touch G.O.G. as a compact and cost-effective solution for deformable object manipulation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI