VT-WAM: 接触を伴う操作のための視覚-触覚ワールドアクションモデル

VT-WAMは、接触を伴う操作タスクのためのVisual-Tactile World Action Modelであり、将来の視覚予測、触覚変形予測、行動予測を統一的なflow matchingフレームワークで学習する。視覚観測だけでは捉えにくい局所的な変形や圧力、滑り、摩擦などの触覚情報を活用し、接触リッチな操作を実現する。

既存の視覚触覚ポリシーは触覚観測を直接行動予測に用いるが、行動生成中の触覚変形ダイナミクスをモデル化していない。VT-WAMは触覚変形予測を明示的に学習し、接触フェーズでの触覚注意を導く点で先行研究より優れる。

手法の肝は、(1) Asymmetric Mixture-of-Transformers (MoT) attentionにより、最初のフレームの視覚アンカーと時間的な触覚ダイナミクスを橋渡しすること、(2) contact-gated Action-Visual-Tactile Attention Guidance (AVTAG)により、接触フェーズで行動クエリが触覚証拠に依存するように促すこと。これらを統一的なflow matchingフレームワークで統合する。

6つの実世界の接触リッチ操作タスクで評価し、平均成功率71.67%を達成。Fast-WAMより26.67%、OmniVTLAより35.84%上回った。アブレーションにより、触覚変形ダイナミクスのモデル化と接触フェーズの触覚注意の誘導が重要であることを示した。

要旨からは、提案手法の限界や一般化に関する議論は不明。ただし、接触リッチ操作における触覚情報の重要性を強調し、今後の研究では触覚変形予測の精度向上や、より多様なタスクへの適用が考えられる。

要旨で比較されているFast-WAMとOmniVTLAが関連研究として挙げられる。また、視覚触覚ポリシーやworld modelの分野の定番論文（例：World Models, Video Prediction）も参考になる。