日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2603.10871

FG-CLTP: ロボット操作のための細粒度対比言語触覚事前学習

FG-CLTP: Fine-Grained Contrastive Language Tactile Pretraining for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

触覚センサデータを言語と対比学習で結びつけ、力の大きさや接触形状などの定量的な接触状態を捉える細粒度表現を獲得し、操作タスクの性能を向上させるフレームワークを提案した。

詳しい要約

1. どんなもの?

- 触覚センシングを vision-language-action (VLA) モデルに統合する研究。 - 既存の触覚表現は質的記述 (texture など) に依存し、力の大きさ・接触形状・主軸方向などの定量的接触状態を無視している。 - これを埋めるため、FG-CLTP という fine-grained contrastive language tactile pretraining フレームワークを提案。 - 100k 以上の触覚 3D point cloud と言語のペアからなる新データセットを導入。 - センサ視点で多次元接触状態を明示的に捉える。 - 離散化数値トークン化機構で定量的意味論的整合を実現。 - 3D point cloud 表現により sensor-agnostic な基盤を構築。 - 3D tactile-language-action (3D-TLA) アーキテクチャを flow matching policy で駆動。 - 接触豊富なマニピュレーションタスクで強力なベースラインを大幅に上回る。

2. 先行研究と比べてどこがすごい?

- 既存の触覚表現は質的記述 (texture など) に依存し、力の大きさ・接触形状・主軸方向などの定量的接触状態を無視。 - FG-CLTP はこれら多次元接触状態を明示的に捉える。 - 分類精度 95.9% を達成。 - 回帰誤差 (MAE) を state-of-the-art 手法と比較して 52.6% 削減。 - 3D point cloud 表現により sensor-agnostic な基盤を確立し、sim-to-real gap を 3.5% に抑える。 - 接触豊富なマニピュレーションタスクで強力なベースラインを大幅に上回る。

3. 技術・手法の肝は?

- 100k 以上の触覚 3D point cloud と言語のペアからなる新データセットを導入。 - センサ視点で多次元接触状態 (力の大きさ・接触形状・主軸方向など) を明示的に捉える。 - 離散化数値トークン化機構を実装し、定量的意味論的整合を実現。 - 明示的な物理指標をマルチモーダル特徴空間に注入。 - 3D point cloud 表現を採用し、sensor-agnostic な基盤を構築。 - この fine-grained 表現に基づき、flow matching policy で駆動される 3D tactile-language-action (3D-TLA) アーキテクチャを開発。 - マルチモーダル推論と制御を可能にする。

4. どうやって有効だと検証した?

- 分類精度 95.9% を達成。 - 回帰誤差 (MAE) を state-of-the-art 手法と比較して 52.6% 削減。 - 3D point cloud 表現により sensor-agnostic な基盤を確立し、sim-to-real gap を 3.5% に抑える。 - 接触豊富なマニピュレーションタスクで広範な実験を実施。 - 強力なベースラインを大幅に上回ることを示す。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法: state-of-the-art methods (具体的名称は要旨からは不明)。 - 同分野の定番: vision-language-action (VLA) モデル、tactile sensing、contrastive language tactile pretraining、flow matching policy。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenxuan Ma, Chaofan Zhang, Yinghao Cai, Guocai Yao, Shaowei Cui, Shuo Wang

分類: cs.RO

原文アブストラクト

Recent advancements in integrating tactile sensing into vision-language-action (VLA) models have demonstrated transformative potential for robotic perception. However, existing tactile representations predominantly rely on qualitative descriptors (e.g., texture), neglecting quantitative contact states such as force magnitude, contact geometry, and principal axis orientation, which are indispensable for fine-grained manipulation. To bridge this gap, we propose FG-CLTP, a fine-grained contrastive language tactile pretraining framework. We first introduce a novel dataset comprising over 100k tactile 3D point cloud-language pairs that explicitly capture multidimensional contact states from the sensor's perspective. We then implement a discretized numerical tokenization mechanism to achieve quantitative-semantic alignment, effectively injecting explicit physical metrics into the multimodal feature space. The proposed FG-CLTP model yields a 95.9% classification accuracy and reduces the regression error (MAE) by 52.6% compared to state-of-the-art methods. Furthermore, the integration of 3D point cloud representations establishes a sensor-agnostic foundation with a minimal sim-to-real gap of 3.5%. Building upon this fine-grained representation, we develop a 3D tactile-language-action (3D-TLA) architecture driven by a flow matching policy to enable multimodal reasoning and control. Extensive experiments demonstrate that our framework significantly outperforms strong baselines in contact-rich manipulation tasks, providing a robust and generalizable foundation for tactile-language-action models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI