日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2605.20433

時空間最適輸送注意機構による接触リッチ操作の視覚-触覚模倣学習

Spacetime Optimal-Transport Attention for Visuo-Haptic Imitation Learning of Contact-Rich Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

接触を伴う操作タスクにおいて、視覚・力覚・位置情報の3モーダルを融合する際に、最適輸送に基づく注意機構を導入し、接触前後の文脈に応じた安定した特徴選択を実現する模倣学習手法を提案した。

詳しい要約

1. どんなもの?

- 接触を伴う操作タスク(tight peg-in-hole assembly、BCM wiring-connector insertion、curved-surface mark erasing)のための視覚・触覚・固有感覚の三モーダル模倣学習フレームワーク。 - Spacetime Optimal-Transport Attention (SO-TA) という三モーダル融合バックボーンを提案。 - 拡散ベースのシーケンスポリシーと組み合わせ、観測ウィンドウからポーズアクションチャンクを生成。

2. 先行研究と比べてどこがすごい?

- 従来の模倣学習ポリシーは単一または二モーダルが主流で、三モーダル融合でも既製のattentionモジュールを用い、タスク関連領域へのattention配分に明示的な事前分布がなかった。 - SO-TAはsoftmax正規化パッチattentionをエントロピー正則化Optimal Transport (OT) アラインメントに置き換え、マージナル制約を構造的帰納バイアスとして導入。 - これにより照明変化、妨害物、部分遮蔽に対して安定な条件付け認識の空間選択を実現。

3. 技術・手法の肝は?

- force-pose由来のsub-queriesと視覚パッチ間のエントロピー正則化OTアラインメントを計算。 - 明示的なマージナル制約が接触リッチタスクのための構造的帰納バイアスとして機能。 - 拡散ベースのシーケンスポリシーが観測ウィンドウをポーズアクションチャンクにマッピング。 - OTから得られるパッチヒートマップとleave-one-outモダリティ影響比が解釈可能な位相依存診断を提供。

4. どうやって有効だと検証した?

- 実ロボット3タスク(tight peg-in-hole assembly、BCM wiring-connector insertion、curved-surface mark erasing)で評価。 - 条件あたり約200ロールアウト。 - tight peg-in-holeでSO-TAは100%成功、cross-attentionは93%(同一容量)。 - 照明、妨害物、部分遮蔽の摂動下でSO-TAは82.5%成功を維持、concatenationベースラインは43.5%に低下。

5. 議論はある?

- OT由来のパッチヒートマップとleave-one-outモダリティ影響比が解釈可能な位相依存診断を提供。 - 明示的なマージナル制約が接触リッチタスクにおけるattention配分の構造的帰納バイアスとして有効であることを示唆。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- cross-attention(比較対象として言及) - concatenation baseline(比較対象として言及) - diffusion-based sequence policy(関連手法) - Optimal Transport (OT) を用いたattention(関連手法)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yue Feng, Weicheng Huang, I-Ming Chen

分類: cs.RO

原文アブストラクト

Contact-rich manipulation tasks such as tight-clearance insertion, connector mating, polishing, and surface-conforming wiping remain difficult for data-driven controllers because they couple discontinuous contact dynamics, partial observability, and strict safety constraints. No single sensing modality suffices: vision supplies global context before contact, force/torque (F/T) feedback governs interaction after contact, and proprioceptive pose provides a consistent kinematic backbone. Most prior imitation-learning policies for contact-rich tasks operate on uni- or bi-modal signals, and the few that fuse three modalities typically adopt off-the-shelf attention modules with no explicit prior on how attention mass should be distributed across task-relevant regions. We present Spacetime Optimal-Transport Attention (SO-TA), a tri-modal fusion backbone that replaces softmax-normalized patch attention by an entropy-regularized Optimal Transport (OT) alignment between force-pose-derived sub-queries and visual patches. Explicit marginal constraints act as a structured inductive bias for contact-rich tasks, encouraging conditioning-aware spatial selection that is stable across illumination, distractors, and partial occlusion. SO-TA is paired with a diffusion-based sequence policy mapping observation windows to pose-action chunks. We evaluate SO-TA on three real-robot tasks: tight peg-in-hole assembly, BCM wiring-connector insertion, and curved-surface mark erasing. With ~200 rollouts per condition, SO-TA reaches 100% success on tight peg-in-hole versus 93% for cross-attention at matched capacity, and retains 82.5% success under illumination, distractor, and partial-occlusion perturbations where a concatenation baseline drops to 43.5%. OT-derived patch heatmaps and leave-one-out modality-influence ratios provide interpretable, phase-dependent diagnostics.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI