日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2603.09565

ReTac-ACT: 精密組立のための状態ゲート型視覚-触覚融合トランスフォーマー

ReTac-ACT: A State-Gated Vision-Tactile Fusion Transformer for Precision Assembly

シェア:XThreadsFacebookLINEはてブBluesky

視覚が遮蔽される精密組立の最終段階で、触覚情報を動的に重視するゲート機構と双方向クロスアテンションを備えた視覚-触覚模倣学習ポリシーを提案し、NISTベンチマークで高い成功率を達成した。

詳しい要約

1. どんなもの?

- 精密組立における接触リッチな「最後のミリメートル」領域での視覚フィードバックの限界を克服するための、視覚-触覚模倣学習ポリシー。 - 名前はReTac-ACT(Reconstruction-enhanced Tactile ACT)。 - 双方向クロスアテンション、固有感覚条件付きゲーティング、触覚再構成目的の3つのメカニズムを統合。 - NIST Assembly Task Board M1ベンチマークで評価。

2. 先行研究と比べてどこがすごい?

- 視覚のみの手法や汎用ベースライン手法と比較して、peg-in-hole成功率90%を達成し大幅に上回る。 - 産業グレードの0.1mmクリアランスでも80%の成功率を維持。 - アブレーション研究により各アーキテクチャコンポーネントが不可欠であることを検証。

3. 技術・手法の肝は?

- 双方向クロスアテンションにより、融合前に視覚-触覚特徴の相互強化を実現。 - 固有感覚条件付きゲーティングネットワークが、視覚的オクルージョン発生時に触覚依存を動的に高める。 - 触覚再構成目的により、一般的な視覚テクスチャではなく操作に関連する接触情報の学習を強制。

4. どうやって有効だと検証した?

- 標準化されたNIST Assembly Task Board M1ベンチマークで評価。 - 視覚のみおよび汎用ベースライン手法との比較。 - アブレーション研究を実施し、各コンポーネントの必要性を検証。 - 0.1mmクリアランスでの産業グレードテストも実施。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、ACT (Action Chunking with Transformers) や視覚-触覚融合に関する一般的な模倣学習手法が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Minchi Ruan, LiangQing Zhou, Hongtong Li, Zongtao Wang, ZhaoMing Lu, Jianwei Zhang, Bin Fang

分類: cs.RO

原文アブストラクト

Precision assembly requires sub-millimeter corrections in contact-rich "last-millimeter" regions where visual feedback fails due to occlusion from the end-effector and workpiece. We present ReTac-ACT (Reconstruction-enhanced Tactile ACT), a vision-tactile imitation learning policy that addresses this challenge through three synergistic mechanisms: (i) bidirectional cross-attention enabling reciprocal visuo-tactile feature enhancement before fusion, (ii) a proprioception-conditioned gating network that dynamically elevates tactile reliance when visual occlusion occurs, and (iii) a tactile reconstruction objective enforcing learning of manipulation-relevant contact information rather than generic visual textures. Evaluated on the standardized NIST Assembly Task Board M1 benchmark, ReTac-ACT achieves 90% peg-in-hole success, substantially outperforming vision-only and generalist baseline methods, and maintains 80% success at industrial-grade 0.1mm clearance. Ablation studies validate that each architectural component is indispensable. The ReTac-ACT codebase and a vision-tactile demonstration dataset covering various clearance levels with both visual and tactile features will be released to support reproducible research.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI