日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.22606

VT-Bridge: 軽量残差適応で事前学習済み基盤VLAをVTLAへ橋渡し

VT-Bridge: Bridging Pretrained Foundation VLAs to VTLAs via Lightweight Residual Adaptation

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みVLAモデルに軽量な残差アダプタを追加するだけで、触覚情報を活用した接触の多いマニピュレーションを少ないデータで実現する手法を提案。

詳しい要約

1. どんなもの?

- どんなもの? - Vision-Tactile-Language-Action (VTLA) モデルを、事前学習済みの Vision-Language-Action (VLA) 基盤モデルから軽量に構築する手法 VT-Bridge の提案。 - ゼロから VTLA を学習したり、VLA の元のアーキテクチャを変更したりせず、軽量な residual adapter を追加する。 - 接触を伴う manipulation タスクにおけるデータ・計算資源のボトルネックを緩和することを目的とする。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - VTLA は VLA より contact-rich manipulation で優位だが、大量の vision-tactile データと計算資源が必要という制約があった。 - VT-Bridge は、タスクごとに最大 50 件の vision-tactile デモンストレーションと 0.98M パラメータの residual adapter の学習のみで VLA を VTLA 化できる。 - 複数の VLA バックボーン ($\pi_0$, $\pi_{0.5}$, SmolVLA) に一貫して適用可能。 - タスクレベル VLA fine-tuning のみの平均タスク完了率 11.7% を、62.9% まで向上させた。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - 事前学習済み VLA バックボーンを fine-tune し、軽量な residual adapter を学習する residual adaptation 戦略。 - VLA バックボーン間で同一の軽量 residual-adapter アーキテクチャを用い、バックボーン固有の重みでロボット実行周波数において action を refine する。 - 元の VLA アーキテクチャを変更しない。 - residual adapter は 0.98M パラメータ。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - 3 つの代表的な VLA バックボーン ($\pi_0$, $\pi_{0.5}$, SmolVLA) と 4 つの contact-rich manipulation タスクで実験。 - タスクごとに最大 50 件の vision-tactile デモンストレーションを使用。 - 平均タスク完了率が、タスクレベル VLA fine-tuning のみの 11.7% から 62.9% へ向上。 - VLA アーキテクチャ間での一貫した有効性を確認。

5. 議論はある?

- 議論はある? - 要旨からは不明。 - 限界や失敗ケース、adapter の汎化性、タスク以外への適用可能性についての議論は要旨では触れられていない。

6. 次に読むべき論文は?

- 次に読むべき論文は? - 要旨で参照・比較されている研究: $\pi_0$, $\pi_{0.5}$, SmolVLA。 - 関連手法: Vision-Language-Action (VLA) モデル、Vision-Tactile-Language-Action (VTLA) モデル、residual adapter。 - 同分野の定番: contact-rich manipulation における vision-tactile 融合や VLA ベースのロボット学習に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yansong Wu, Tuo Yang, Rongping Zhao, Lingyun Chen, Xiao Chen, Junnan Li, Fan Wu, Alois Knoll

分類: cs.RO

原文アブストラクト

Vision-Tactile-Language-Action (VTLA) models have demonstrated clear advantages over Vision-Language-Action (VLA) models in contact-rich manipulation. However, developing VTLA models is severely constrained by the massive amounts of vision-tactile data and computational resources required. To address this bottleneck, we propose VT-Bridge, a lightweight residual adaptation strategy that bridges pretrained foundation VLAs to VTLAs. Rather than training a VTLA model from scratch or modifying the original architecture of a pretrained VLA, VT-Bridge employs an identical lightweight residual-adapter architecture across VLA backbones and uses backbone-specific weights to refine actions at the robot execution frequency. This design substantially lowers the data and training barriers. Specifically, it requires up to 50 vision-tactile demonstrations per task to fine-tune a VLA backbone and train a 0.98M-parameter residual adapter. Experiments with three representative VLA backbones ($π_0$, $π_{0.5}$, and SmolVLA) across four contact-rich manipulation tasks further demonstrate its consistent effectiveness across VLA architectures. On average, VT-Bridge raises the task completion rate from 11.7% with task-level VLA fine-tuning alone to 62.9%. Together, these findings demonstrate the broad applicability, effectiveness, and accessibility of VT-Bridge for contact-rich manipulation. The project page is available at https://hoxnocha.github.io/vt-bridge-web/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI