日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2511.21203

Transformer駆動ビジュアルサーボによる双腕マニピュレータでの布地テクスチャマッチング

Transformer Driven Visual Servoing for Fabric Texture Matching Using Dual-Arm Manipulator

シェア:XThreadsFacebookLINEはてブBluesky

双腕マニピュレータとグレースケールカメラを用い、Transformerベースのビジュアルサーボとインピーダンス制御を組み合わせて、布片の姿勢を制御しながら張力をかけつつ重ね合わせ、表面テクスチャを高精度に一致させる手法を提案。合成画像のみで学習し実世界へゼロショット展開を実現。

詳しい要約

1. どんなもの?

- 二本腕マニピュレータとグレースケールカメラを用い、布片を別の布片の上に位置合わせ・配置し、表面テクスチャを正確に一致させる手法を提案する研究。 - Transformer駆動のvisual servoingとdual-arm impedance controlを組み合わせた新規制御則を提案。 - 布片のpose制御と配置を同時に行い、テンションをかけて布を平坦に保つ。

2. 先行研究と比べてどこがすごい?

- 従来のvisual servoingやdual-arm制御との具体的比較は要旨からは不明。 - 提案するTransformerネットワークはpretrained backbonesと新規のDifference Extraction Attention Module (DEAM)を組み込み、pose difference prediction精度を大幅に向上。 - rendering softwareで生成した合成画像のみで学習し、特定の布テクスチャでの事前学習なしに実世界へzero-shot展開可能な点が特徴。

3. 技術・手法の肝は?

- Transformer駆動のvisual servoingとdual-arm impedance controlの統合制御。 - 布片のpose制御と配置を同時実行し、テンション印加で布を平坦化。 - ネットワークはpretrained backbonesとDifference Extraction Attention Module (DEAM)を採用し、pose differenceを予測。 - 学習はrendering softwareによる合成画像のみで実施。

4. どうやって有効だと検証した?

- 実世界実験により、異なるテクスチャの布片を正確に位置合わせできることを示した。 - 合成画像のみで学習したネットワークのzero-shot実世界展開を実験で確認。 - 定量的評価指標や比較実験の詳細は要旨からは不明。

5. 議論はある?

- 異なるテクスチャの布片へのzero-shot適用可能性を示唆。 - 限界や失敗事例、計算コスト、汎化性に関する議論は要旨からは不明。 - グレースケールカメラ使用の制約やテクスチャ依存性の議論も要旨からは不明。

6. 次に読むべき論文は?

- Transformerベースのvisual servoingに関する関連研究。 - dual-arm impedance controlを用いた布操作研究。 - Difference Extraction Attention Module (DEAM)に関連するattention機構研究。 - rendering softwareによる合成画像を用いたzero-shot sim-to-real転移研究。 - 布テクスチャマッチングや布位置合わせの従来手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fuyuki Tokuda, Akira Seino, Akinari Kobayashi, Kai Tang, Kazuhiro Kosuge

分類: cs.RO

原文アブストラクト

In this paper, we propose a method to align and place a fabric piece on top of another using a dual-arm manipulator and a grayscale camera, so that their surface textures are accurately matched. We propose a novel control scheme that combines Transformer-driven visual servoing with dualarm impedance control. This approach enables the system to simultaneously control the pose of the fabric piece and place it onto the underlying one while applying tension to keep the fabric piece flat. Our transformer-based network incorporates pretrained backbones and a newly introduced Difference Extraction Attention Module (DEAM), which significantly enhances pose difference prediction accuracy. Trained entirely on synthetic images generated using rendering software, the network enables zero-shot deployment in real-world scenarios without requiring prior training on specific fabric textures. Real-world experiments demonstrate that the proposed system accurately aligns fabric pieces with different textures.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI