日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2505.07455

GelFusion: 視覚制約下でのロボットマニピュレーションを視触覚融合で強化

GelFusion: Enhancing Robotic Manipulation under Visual Constraints via Visuotactile Fusion

シェア:XThreadsFacebookLINEはてブBluesky

高解像度GelSightセンサの視触覚フィードバックを視覚主導のクロスアテンションで融合し、接触の多いタスクの模倣学習成功率を向上させるフレームワーク。

詳しい要約

1. どんなもの?

- 視覚制約下でのロボットマニピュレーションを改善する枠組み GelFusion の提案 - 高解像度 GelSight センサからの visuotactile フィードバックを模倣学習ポリシーに統合 - 視覚的手がかりの曖昧さや occlusions といった vision-limited 条件の性能ボトルネック緩和を狙う - 接触の多い3タスク(surface wiping、peg insertion、fragile object pick-and-place)で評価

2. 先行研究と比べてどこがすごい?

- visuotactile 融合は依然として課題が多いと位置づけ - 視覚主導の cross-attention fusion 機構を採用し、visuotactile 情報をポリシー学習へ組み込む点が特徴 - 単一特徴でなく dual-channel visuotactile 特徴表現で texture-geometric と dynamic interaction の両方を同時に活用 - 3タスクで baselines を上回り、構造の有効性を示した - 具体的な先行研究名や数値比較は要旨からは不明

3. 技術・手法の肝は?

- GelSight センサ由来の高解像度 visuotactile 情報を利用 - vision-dominated cross-attention fusion により視覚と触覚を融合 - 中核は dual-channel visuotactile 特徴表現 - texture-geometric 特徴 - dynamic interaction 特徴 - これらを同時に用いて豊富な接触情報をポリシーへ提供 - 模倣学習ベースのポリシー改善を目的とする

4. どうやって有効だと検証した?

- 接触の多い3タスクで評価 - surface wiping - peg insertion - fragile object pick-and-place - baselines と比較し、GelFusion が成功率を改善 - 構造がポリシー学習の成功率向上に寄与することを示した - 具体的な被験者数・試行回数・統計手法は要旨からは不明

5. 議論はある?

- 視覚制約下での visuotactile 融合の有効性を主張 - dual-channel 特徴表現の寄与を示唆 - ただし要旨からは不明な点が多い - 各特徴チャネルのアブレーション - 視覚制約の程度に対する頑健性 - 実機環境やセンサ依存性 - 失敗事例や限界

6. 次に読むべき論文は?

- GelSight センサを用いた visuotactile 模倣学習の関連研究 - cross-attention を用いたマルチモーダル融合の研究 - vision-limited 条件下のロボットマニピュレーション研究 - 接触の多いタスク(surface wiping、peg insertion、fragile object pick-and-place)の模倣学習研究 - 要旨で参照/比較されている個別論文は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shulong Jiang, Shiqi Zhao, Yuxuan Fan, Peng Yin

分類: cs.RO

原文アブストラクト

Visuotactile sensing offers rich contact information that can help mitigate performance bottlenecks in imitation learning, particularly under vision-limited conditions, such as ambiguous visual cues or occlusions. Effectively fusing visual and visuotactile modalities, however, presents ongoing challenges. We introduce GelFusion, a framework designed to enhance policies by integrating visuotactile feedback, specifically from high-resolution GelSight sensors. GelFusion using a vision-dominated cross-attention fusion mechanism incorporates visuotactile information into policy learning. To better provide rich contact information, the framework's core component is our dual-channel visuotactile feature representation, simultaneously leveraging both texture-geometric and dynamic interaction features. We evaluated GelFusion on three contact-rich tasks: surface wiping, peg insertion, and fragile object pick-and-place. Outperforming baselines, GelFusion shows the value of its structure in improving the success rate of policy learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI