日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.17294

VLA-Touch:二段階の触覚フィードバックで視覚-言語-行動モデルを強化

VLA-Touch: Enhancing Vision-Language-Action Models with Dual-Level Tactile Feedback

シェア:XThreadsFacebookLINEはてブBluesky

ベースのVLAモデルを微調整せずに、触覚言語モデルによる高レベル計画と拡散ベース制御器による行動修正の二段階で触覚フィードバックを統合し、接触を伴うタスクの計画効率と実行精度を向上させた。

詳しい要約

1. どんなもの?

- VLA-Touchは、Vision-Language-Action (VLA) モデルに触覚フィードバックを組み込む手法。 - ベースのVLAをfine-tuningせずに、触覚センシングを活用可能にする。 - 高レベルタスク計画と低レベル動作生成の二段階で触覚を利用する。

2. 先行研究と比べてどこがすごい?

- 従来のVLAモデルは触覚信号を解釈・利用できず、接触の多いタスクでの性能が限定的だった。 - 大規模マルチモーダルデータセットの欠如が触覚導入の障壁だった。 - VLA-Touchはfine-tuning不要で触覚を統合し、タスク計画効率と実行精度を向上させる点が新しい。

3. 技術・手法の肝は?

- 事前学習済みのtactile-language modelを用いて意味的な触覚フィードバックを生成し、高レベルタスク計画に利用。 - diffusion-based controllerがVLA生成の行動を触覚信号で洗練し、接触の多いマニピュレーションを実現。 - 二段階の触覚統合により、計画と実行の両方を強化する。

4. どうやって有効だと検証した?

- 実世界実験を通じて、触覚フィードバックの二段階統合がタスク計画効率と実行精度を改善することを示した。 - 具体的なタスクや評価指標は要旨からは不明。

5. 議論はある?

- 触覚フィードバックの重要性と、VLAへの統合の難しさ(データセット不足)を指摘。 - fine-tuning不要のアプローチの有効性を主張するが、限界や議論点は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている研究は明示されていない。 - 関連手法として、Vision-Language-Action (VLA) モデル、tactile-language model、diffusion-based controller、および触覚を活用したロボットマニピュレーションの研究が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianxin Bi, Kevin Yuchen Ma, Ce Hao, Mike Zheng Shou, Harold Soh

分類: cs.RO, cs.LG

原文アブストラクト

Tactile feedback is generally recognized to be crucial for effective interaction with the physical world. However, state-of-the-art Vision-Language-Action (VLA) models lack the ability to interpret and use tactile signals, limiting their effectiveness in contact-rich tasks. Incorporating tactile feedback into these systems is challenging due to the absence of large multi-modal datasets. We present VLA-Touch, an approach that enhances generalist robot policies with tactile sensing \emph{without fine-tuning} the base VLA. Our method introduces two key innovations: (1) a pipeline that leverages a pretrained tactile-language model that provides semantic tactile feedback for high-level task planning, and (2) a diffusion-based controller that refines VLA-generated actions with tactile signals for contact-rich manipulation. Through real-world experiments, we demonstrate that our dual-level integration of tactile feedback improves task planning efficiency while enhancing execution precision. Code is open-sourced at \href{https://github.com/jxbi1010/VLA-Touch}{this URL}.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI