日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/触覚arXiv:2606.29089

TAP-VLA: 視覚言語行動モデルのための触覚アノテーションプロンプティング

TAP-VLA: Tactile Annotation Prompting for Vision Language Action Models

シェア:XThreadsFacebookLINEはてブBluesky

触覚情報を視覚的なオーバーレイとしてVLAモデルに統合し、接触を伴う操作タスクの成功率を大幅に向上させるフレームワークを提案した。

詳しい要約

1. どんなもの?

Vision-Language-Action (VLA) モデルに触覚フィードバックを統合する手法 TAP-VLA の提案。 - VLA は視覚・言語・空間推論に強いが接触力に盲目。 - 触覚は接触力の直接計測に有効だが、VLA の事前学習コーパスに触覚データが無く、新モダリティ追加は分布シフトを起こす。 - TAP-VLA はアーキテクチャ変更なしに、触覚を視覚拡張として与える。 - visuo-tactile センサから shear field を抽出し、多視点 RGB 画像に空間的根拠のあるベクトルとして重畳。 - これにより VLA のネイティブ観測空間で解釈可能な触覚キューを提供。

2. 先行研究と比べてどこがすごい?

触覚を新入力モダリティとして追加する従来の tactile-fusion ベースラインと比較して優位。 - 従来手法は触覚事前学習が必要で分布シフトを招き、事前学習の利点を損なう。 - TAP-VLA はアーキテクチャ不変で触覚事前学習不要、計算負荷ほぼ増加なし、事前学習分布に近い。 - 4つの接触リッチタスクで成功率 78% に対し、vision-only fine-tuning と代替 tactile-fusion ベースラインは 50% 未満。 - ベースラインがチャンスレベル以下のタスクでも成功。

3. 技術・手法の肝は?

触覚フィードバックを視覚拡張で供給する枠組み。 - visuo-tactile センサから shear field を抽出。 - 抽出した shear field を空間的に根拠づけたベクトルとして多視点 RGB 画像にオーバーレイ。 - ポリシーが既に消費する観測空間に触覚キューを統合。 - アーキテクチャは変更せず、触覚事前学習も不要。 - 計算コストはごく僅かで、事前学習分布から大きく逸脱しない。

4. どうやって有効だと検証した?

4つの接触リッチタスクで評価。 - TAP-VLA は試行の 78% で成功。 - vision-only fine-tuning と代替 tactile-fusion ベースラインは 50% 未満。 - ベースラインがチャンスレベルと同等のタスクでも TAP-VLA は成功。 - 具体的なタスク名や評価指標の詳細は要旨からは不明。

5. 議論はある?

要旨からは不明。 - 限界や失敗事例、一般化可能性、触覚センサ依存性などについての議論は記述されていない。 - 計算負荷が negligible と主張されるが、定量的な比較は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究や関連手法を挙げる。 - Vision-Language-Action (VLA) モデル - vision-only fine-tuning - tactile-fusion ベースライン - visuo-tactile センサ - shear field 抽出 - 同分野の定番として contact-rich manipulation に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mark Van der Merwe, Mohamad Louai Shehab, Jayjun Lee, Youngsun Wi, Yinpei Dai, Dmitry Berenson, Nima Fazeli

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models demonstrate impressive reasoning over visual, semantic, and spatial task variations by leveraging large-scale vision and language pre-training. They remain, however, largely blind to contact forces, which seldom manifest clearly in visual feedback but are central to contact-rich manipulation. Tactile sensing measures these forces directly, but integrating it into VLAs is difficult: tactile data is absent from the large-scale corpora used to pre-train VLAs, so adding it as a new input modality induces a distribution shift that erodes the very pre-training that makes VLAs effective. We propose Tactile Annotation Prompting for Vision-Language-Action models (TAP-VLA), a simple framework that supplies tactile feedback through visual augmentation rather than architectural change. TAP-VLA extracts shear fields from visuo-tactile sensors and overlays them as spatially-grounded vectors onto the multi-view RGB images the policy already consumes, yielding a clear, interpretable tactile cue in the VLA's native observation space. Because the architecture is untouched, the approach requires no tactile pre-training, adds negligible compute, and stays close to the pre-training distribution. Across four contact-rich tasks, TAP-VLA succeeds on 78% of trials, compared to under 50% for vision-only fine-tuning and alternative tactile-fusion baselines -- including tasks where the baselines perform no better than chance.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI