VTAM：視覚と言語を超え、触覚を統合したビデオ・触覚・行動モデル

- Video-Tactile-Action Models (VTAM) を提案する論文。 - Video-Action Models (VAMs) に tactile perception を統合した multimodal world modeling framework。 - 接触の多い manipulation タスクにおける視覚のみの限界を補う。 - 事前学習済み video transformer に tactile stream を軽量 finetuning で追加。 - 平均成功率 90 percent、potato chip pick-and-place で pi 0.5 baseline を 80 percent 上回る。

- 従来の VAMs は raw video から implicit world dynamics を学習し long-horizon タスクで強いが、contact-rich 場面では視覚のみで interaction state が部分的にしか観測できない。 - 特に fine-grained force modulation や contact transitions が visual tokens に確実に符号化されず不安定・不正確。 - VTAM は tactile perception を complementary grounding signal として導入し、この限界を補う。 - tactile-language paired data や独立した tactile pretraining を必要とせず効率的。

- 事前学習済み video transformer に tactile stream を lightweight modality transfer finetuning で追加。 - これにより効率的な cross-modal representation learning を実現。 - multimodal fusion を安定化するため tactile regularization loss を導入。 - この loss は balanced cross-modal attention を強制し、action model における visual latent dominance を防ぐ。

- contact-rich manipulation で評価。 - 平均成功率 90 percent を維持。 - potato chip pick-and-place など高忠実度の力覚が求められる難タスクで、pi 0.5 baseline を 80 percent 上回る。 - 詳細な実験設定やデータセットは要旨からは不明。

- tactile feedback の統合が world action models における視覚推定誤差の修正に不可欠であると主張。 - physically grounded embodied foundation models への scalable approach を提供。 - 限界や今後の課題、他のタスクへの一般化については要旨からは不明。

- pi 0.5 baseline（要旨で比較）。 - Video-Action Models (VAMs) の代表的研究（要旨で参照）。 - 関連手法として tactile perception を用いた manipulation 研究、multimodal world models、embodied foundation models などが考えられるが、具体的な論文名は要旨からは不明。