日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.08706

OmniVTLA: 触覚知覚を統合した視覚・触覚・言語・行動モデル

OmniVTLA: Vision-Tactile-Language-Action Models with Semantic-Aligned Tactile Sensing

シェア:XThreadsFacebookLINEはてブBluesky

触覚センサの異種性に対応する二経路エンコーダと大規模触覚データセットObjTacを構築し、接触を伴う操作タスクで高い成功率を達成したVLAモデルを提案。

詳しい要約

1. どんなもの?

- OmniVTLA は視覚・触覚・言語・行動を統合する VLA モデル - 触覚知覚を組み込んだ新アーキテクチャ - contact-rich タスクでの失敗を克服する狙い - 3つの貢献 - dual-path tactile encoder フレームワーク - ObjTac データセットの構築 - 意味的に整合した触覚表現の学習と初期化への利用

2. 先行研究と比べてどこがすごい?

- 従来の VLA は vision-language 基盤に依存 - 触覚センサの異質性とデータ取得困難から触覚を軽視 - contact-rich タスクで失敗 - OmniVTLA は触覚を取り込み - vision-based と force-based の多様な触覚センサに対応 - 実世界で SOTA VLA ベースラインを上回る - gripper で 96.9%(+21.9%) - dexterous hand で 100%(+6.2%)

3. 技術・手法の肝は?

- dual-path tactile encoder - pretrained ViT で vision-based 触覚を処理 - SA-ViT(semantically-aligned tactile ViT)で force-based 触覚を処理 - ObjTac データセット - 56 物体・10 カテゴリ - 135K の tri-modal サンプル(textual/visual/tactile) - SA-ViT を ObjTac で学習 - 統一的な触覚表現を獲得 - OmniVTLA の初期化に利用

4. どうやって有効だと検証した?

- 実世界実験で検証 - pick-and-place タスク - SOTA VLA ベースラインと比較 - 成功率の向上 - gripper: 96.9%(+21.9%) - dexterous hand: 100%(+6.2%) - タスク完了時間の短縮 - 触覚により軌道がより滑らかになることを確認

5. 議論はある?

- 触覚知覚の重要性を強調 - contact-rich タスクでの有効性 - 異質な触覚センサへの対応を dual-path で実現 - データセット不足を ObjTac で補完 - 限界や失敗事例の詳細は要旨からは不明 - 他タスクへの汎化性の議論は要旨からは不明

6. 次に読むべき論文は?

- 比較対象の SOTA VLA ベースライン(具体的名称は要旨からは不明) - vision-language-action モデル全般(RT-2 など同分野の定番) - visuo-tactile データセット関連研究(ObjTac が補完対象とする既存データセット) - vision transformer (ViT) および tactile ViT 関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhengxue Cheng, Yiqian Zhang, Anni Tang, Keyu Wang, Wenkang Zhang, Haoyu Li, Hengdi Zhang, Li Song

分類: cs.RO

原文アブストラクト

Recent vision-language-action (VLA) models build upon vision-language foundations, and have achieved promising results and exhibit the possibility of task generalization in robot manipulation. However, due to the heterogeneity of tactile sensors and the difficulty of acquiring tactile data, current VLA models significantly overlook the importance of tactile perception and fail in contact-rich tasks. To address this issue, this paper proposes OmniVTLA, a novel architecture involving tactile sensing. Specifically, our contributions are threefold. First, our OmniVTLA features a dual-path tactile encoder framework. This framework enhances tactile perception across diverse vision-based and force-based tactile sensors by using a pretrained vision transformer (ViT) and a semantically-aligned tactile ViT (SA-ViT). Second, we introduce ObjTac, a comprehensive force-based tactile dataset capturing textual, visual, and tactile information for 56 objects across 10 categories. With 135K tri-modal samples, ObjTac supplements existing visuo-tactile datasets. Third, leveraging this dataset, we train a semantically-aligned tactile encoder to learn a unified tactile representation, serving as a better initialization for OmniVTLA. Real-world experiments demonstrate substantial improvements over state-of-the-art VLA baselines, achieving 96.9% success rates with grippers, (21.9% higher over baseline) and 100% success rates with dexterous hands (6.2% higher over baseline) in pick-and-place tasks. Besides, OmniVTLA significantly reduces task completion time and generates smoother trajectories through tactile sensing compared to existing VLA. Our ObjTac dataset can be found at https://readerek.github.io/Objtac.github.io

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI