日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.09577

VTLA:視覚・触覚・言語・行動モデルと選好学習による挿入操作

VTLA: Vision-Tactile-Language-Action Model with Preference Learning for Insertion Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚と言語に触覚を統合したVTLAモデルを提案し、選好最適化(DPO)で連続的なロボット操作を学習。ピン挿入タスクで90%以上の成功率と実機転移を実現した。

詳しい要約

1. どんなもの?

- 視覚・触覚・言語・行動を統合する **Vision-Tactile-Language-Action (VTLA)** モデルを提案する研究。 - 言語条件付きロボットマニピュレーション、特に接触の多い **fingertip insertion task** を対象とする。 - 視覚と言語に加え触覚入力を **cross-modal language grounding** で統合し、頑健な policy 生成を目指す。 - シミュレーション環境で低コストなマルチモーダルデータセット(vision-tactile-action-instruction ペア)を構築。 - **Direct Preference Optimization (DPO)** を導入し、連続的なロボットタスクへの回帰的 supervision を実現。

2. 先行研究と比べてどこがすごい?

- 従来の vision-language model は視覚優位の pick-and-place が中心で、接触の多いタスクは未開拓だった点を指摘。 - 従来の模倣学習手法(例: **diffusion policies**)や既存マルチモーダルベースライン(**TLA/VLA**)と比較。 - 未見の peg 形状で **90%超の成功率** を達成し、これらベースラインを上回ると報告。 - 触覚を言語接地で統合する点が既存 VLA/TLA との差分。 - 実機 peg-in-hole 実験で **Sim2Real** 性能も示す。

3. 技術・手法の肝は?

- **Vision-Tactile-Language-Action** フレームワークで視覚・触覚・言語を統合。 - **cross-modal language grounding** によりマルチモーダル入力を言語空間で接地。 - シミュレーションで fingertip insertion 用の vision-tactile-action-instruction ペアデータセットを構築。 - **Direct Preference Optimization (DPO)** を導入し、次トークン予測の分類的損失と連続ロボットタスクのギャップを回帰的 supervision で橋渡し。 - 詳細なアーキテクチャや触覚表現の具体は要旨からは不明。

4. どうやって有効だと検証した?

- シミュレーション環境で構築したデータセットを用いて学習・評価。 - 未見の peg 形状に対し **90%超の成功率** を達成。 - **diffusion policies** や **TLA/VLA** などのベースラインと比較し優位性を確認。 - 実機の **peg-in-hole** 実験を実施し **Sim2Real** 性能を検証。 - 評価指標や試行回数などの詳細は要旨からは不明。

5. 議論はある?

- 視覚優位タスクから接触集約型タスクへの拡張の重要性を議論。 - 低コストなシミュレーションデータセット構築の有効性に言及。 - **DPO** が分類的損失と連続制御のギャップを埋める点を主張。 - 限界・失敗事例・触覚センサ依存性などの詳細な議論は要旨からは不明。 - 実機実験の被験条件や汎化範囲の議論も要旨からは不明。

6. 次に読むべき論文は?

- **diffusion policies**(比較対象の模倣学習手法) - **TLA**(Touch-Language-Action 系のマルチモーダルベースライン) - **VLA**(Vision-Language-Action モデル) - **Direct Preference Optimization (DPO)** の原論文 - **Sim2Real** 転移に関する peg-in-hole 研究 - 触覚を用いた contact-rich manipulation の関連研究(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chaofan Zhang, Peng Hao, Xiaoge Cao, Xiaoshuai Hao, Shaowei Cui, Shuo Wang

分類: cs.RO

原文アブストラクト

While vision-language models have advanced significantly, their application in language-conditioned robotic manipulation is still underexplored, especially for contact-rich tasks that extend beyond visually dominant pick-and-place scenarios. To bridge this gap, we introduce Vision-Tactile-Language-Action model, a novel framework that enables robust policy generation in contact-intensive scenarios by effectively integrating visual and tactile inputs through cross-modal language grounding. A low-cost, multi-modal dataset has been constructed in a simulation environment, containing vision-tactile-action-instruction pairs specifically designed for the fingertip insertion task. Furthermore, we introduce Direct Preference Optimization (DPO) to offer regression-like supervision for the VTLA model, effectively bridging the gap between classification-based next token prediction loss and continuous robotic tasks. Experimental results show that the VTLA model outperforms traditional imitation learning methods (e.g., diffusion policies) and existing multi-modal baselines (TLA/VLA), achieving over 90% success rates on unseen peg shapes. Finally, we conduct real-world peg-in-hole experiments to demonstrate the exceptional Sim2Real performance of the proposed VTLA model. For supplementary videos and results, please visit our project website: https://sites.google.com/view/vtla

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI