日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2512.09851

触覚と視覚の同時知覚によるマルチモーダルロボットマニピュレーション学習

Simultaneous Tactile-Visual Perception for Learning Multimodal Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

透明な弾性体と新規マーカーを備えた触覚・視覚同時センサTacThruと、Transformerベースの拡散方策を用いた模倣学習フレームワークTacThru-UMIを提案し、実世界の5タスクで平均85.5%の成功率を達成した。

詳しい要約

1. どんなもの?

- ロボットマニピュレーション向けの新しい知覚・学習システムの提案 - See-through-skin (STS) センサ「TacThru」: 視覚知覚と触覚信号抽出を同時に行う - 模倣学習フレームワーク「TacThru-UMI」: 上記マルチモーダル信号を操作に活用 - 目的: 複雑な実世界タスクに対応する精密で適応的なロボット操作の実現 - 触覚と視覚の同時知覚を学習パイプラインに統合する試み

2. 先行研究と比べてどこがすごい?

- 既存の STS 設計の課題を指摘 - 同時マルチモーダル知覚ができない - 触覚トラッキングが信頼できない - TacThru は同時視覚知覚と堅牢な触覚信号抽出を両立 - マルチモーダル信号を学習ベース操作パイプラインへ統合する未解決課題に取り組む - 実験で tactile policy (66.3%) や vision-only policy (55.4%) を大きく上回る 85.5% の成功率

3. 技術・手法の肝は?

- センサ側 (TacThru) - 完全透明な elastomer - persistent illumination - 新規 keyline markers - 効率的なトラッキング - 学習側 (TacThru-UMI) - 触覚・視覚信号を Transformer-based Diffusion Policy で統合 - 同時マルチモーダル知覚と現代の模倣学習を組み合わせる設計が肝

4. どうやって有効だと検証した?

- 5つの難易度の高い実世界タスクで実験 - 平均成功率 85.5% を達成 - ベースライン比較 - tactile policy: 66.3% - vision-only policy: 55.4% - 重要シナリオで優位 - 薄く柔らかい物体の接触検出 - マルチモーダル協調を要する精密操作

5. 議論はある?

- 同時マルチモーダル知覚と現代の学習フレームワークの組み合わせが、より精密で適応的な操作を可能にすることを示唆 - 薄く柔らかい物体の接触検出や精密操作など、重要シナリオでの有効性を主張 - 限界や失敗事例、一般化性に関する詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 比較対象として言及された tactile policy および vision-only policy の関連研究 - Transformer-based Diffusion Policy に関する研究 - See-through-skin (STS) センサの先行設計に関する研究 - 模倣学習 (imitation learning) の基盤研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuyang Li, Yinghan Chen, Zihang Zhao, Puhao Li, Tengyu Liu, Siyuan Huang, Yixin Zhu

分類: cs.RO, cs.CV

原文アブストラクト

Robotic manipulation requires both rich multimodal perception and effective learning frameworks to handle complex real-world tasks. See-through-skin (STS) sensors, which combine tactile and visual perception, offer promising sensing capabilities, while modern imitation learning provides powerful tools for policy acquisition. However, existing STS designs lack simultaneous multimodal perception and suffer from unreliable tactile tracking. Furthermore, integrating these rich multimodal signals into learning-based manipulation pipelines remains an open challenge. We introduce TacThru, an STS sensor enabling simultaneous visual perception and robust tactile signal extraction, and TacThru-UMI, an imitation learning framework that leverages these multimodal signals for manipulation. Our sensor features a fully transparent elastomer, persistent illumination, novel keyline markers, and efficient tracking, while our learning system integrates these signals through a Transformer-based Diffusion Policy. Experiments on five challenging real-world tasks show that TacThru-UMI achieves an average success rate of 85.5%, significantly outperforming the baselines of tactile policy(66.3%) and vision-only policy (55.4%). The system excels in critical scenarios, including contact detection with thin and soft objects and precision manipulation requiring multimodal coordination. This work demonstrates that combining simultaneous multimodal perception with modern learning frameworks enables more precise, adaptable robotic manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI