日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚/基盤モデルarXiv:2606.13102

FTP-1: 触覚センサを横断する接触リッチ操作のための汎用基盤触覚ポリシー

FTP-1: A Generalist Foundation Tactile Policy Across Tactile Sensors for Contact-Rich Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

多様な触覚センサとロボット構成に対応する初の汎用基盤触覚ポリシーFTP-1を提案し、約3000時間のデータで事前学習して未見センサへの転移を実証した。

詳しい要約

1. どんなもの?

- 視覚ベースの汎用ロボットポリシーに対し、触覚ベースのポリシーは特定の embodiment や sensor に固定されがち。 - 本研究は、多様な sensor と embodiment をまたいで転移可能な触覚操作能力を獲得する、初の generalist foundation tactile policy「FTP-1」を提案。 - image-, array-, state-based の触覚入力をサポートし、異種 encoder で unified morphology-aware latent tokens に射影、共有 tactile Transformer expert で統合モデリング。 - 26 data sources、21 sensors、人間とロボットのデモを含む約3,000時間の触覚操作データで事前学習。 - 5つのハードウェア構成での finetuning 実験で、既知 sensor 設定の contact-rich manipulation を +17.2% 改善、未知の2つの触覚 sensor 設定にも転移し +31% の成功率向上を達成。

2. 先行研究と比べてどこがすごい?

- 従来の触覚ポリシーは固定された embodiment と sensor 設定に縛られ、ハードウェア間で触覚信号が不均一なため cross-sensor 汎化が困難だった。 - FTP-1 は初の generalist foundation tactile policy であり、多様な sensor と embodiment をまたぐ転移可能な触覚操作能力を事前学習で獲得。 - 異なる触覚入力(image-, array-, state-based)を unified morphology-aware latent tokens に射影し、共有 Transformer expert で扱う点が新しい。 - 事前学習で見ていない sensor 設定にも転移し、未知の2設定で +31% の成功率向上を示した点が特筆される。 - 触覚操作のための初の統一 foundation baseline を提供し、将来の触覚ポリシーに共有モデル出発点を与える。

3. 技術・手法の肝は?

- 異種触覚入力(image-, array-, state-based)を heterogeneous encoders で unified morphology-aware latent tokens に射影。 - 射影された tokens を shared tactile Transformer expert で jointly にモデリング。 - 約3,000時間の触覚操作データを 26 data sources、21 sensors、人間とロボットのデモから集約して事前学習。 - 多様な sensor と embodiment に対応するため、morphology-aware な表現を学習。 - 下流タスクでは finetuning により contact-rich manipulation を改善し、未知 sensor 設定への転移も実現。

4. どうやって有効だと検証した?

- 5つのハードウェア構成での downstream finetuning 実験を実施。 - 既知の sensor 設定において contact-rich manipulation が +17.2% 改善。 - 事前学習で見ていない2つの触覚 sensor 設定にも転移し、成功率が +31% 向上。 - これらの結果により、cross-sensor 汎化と contact-rich 操作の有効性を検証。 - 詳細な実験設定やベースラインは要旨からは不明。

5. 議論はある?

- 触覚信号のハードウェア間不均一性が cross-sensor 汎化を難しくする根本課題であると議論。 - FTP-1 が unified foundation baseline として、将来の触覚ポリシーに共有モデル出発点を提供する意義を主張。 - 未知 sensor 設定への転移が +31% と、事前学習で見ていない sensor にも意外なほど転移した点を強調。 - 限界や失敗事例、計算コスト、データ収集バイアスなどは要旨からは不明。 - 実世界展開や安全性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない。 - 関連手法として、vision-based generalist robotic policies(例: RT-1, RT-2, Octo, OpenVLA など)が挙げられる。 - 触覚操作の基盤として、tactile representation learning や cross-modal transfer に関する研究も参考になる。 - 具体的な次読論文は要旨からは不明だが、同分野の定番として vision-language-action models や tactile transformer 関連の論文を検討する価値がある。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chengbo Yuan, Zicheng Zhang, Mingjie Zhou, Wendi Chen, Yi Wang, Zhuoyang Liu, Dantong Niu, Shuo Wang, Hui Zhang, Wenkang Zhang, Yingdong Hu, Yuanqing Gong, Wanli Xing, Chuan Wen, Cewu Lu, Kaifeng Zhang, Yang Gao

分類: cs.RO

原文アブストラクト

Despite the success of vision-based generalist robotic policies, existing tactile-based policies remain tied to fixed embodiments and sensor setups. This is because tactile signals are highly heterogeneous across hardware, making cross-sensor generalization difficult. We present FTP-1,the first generalist foundation tactile policy pretrained to acquire transferable tactile manipulation abilities across diverse sensors and embodiments. FTP-1 supports varied tactile inputs, including image-, array-, and state-based signals, by using heterogeneous encoders to project them into unified morphology-aware latent tokens that are jointly modeled by a shared tactile Transformer expert. Pretrained on around 3,000 hours of tactile manipulation data aggregated from 26 data sources, spanning human and robot demonstrations across 21 sensors, FTP-1 learns tactile skills that transfer beyond the sensors seen during pretraining. Across downstream finetuning experiments spanning 5 hardware configurations, FTP-1 improves contact-rich manipulation on seen sensor setups by +17.2% and, surprisingly, transfers to two previously unseen tactile-sensor setups, achieving a +31% gain in success rate. FTP-1 establishes the first unified foundation baseline for tactile manipulation, providing future tactile policies with a shared model-level starting point. Pretrained models, datasets, training code and more visualization at https://ftp1-policy.github.io.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI