触覚対応ワールドアクションモデル：非対称注意による触覚統合

- 視覚的未来と行動を同時予測する World Action Models (WAMs) に tactile を統合した Tactile-WAM を提案。 - 接触リッチな manipulation では視覚だけでは slip, jamming, contact-direction changes, subtle misalignment を見逃す。 - tactile 信号は隠れた物理状態を明らかにするが、tactile データ規模が小さいため naive な tactile-token injection は視覚 dynamics を乱す (tactile pollution)。 - asymmetric attention で video queries から tactile keys を遮断しつつ、action queries には tactile アクセスを保持。 - contact-change-aware bias で action attention を touch に強化。 - 実ロボット5タスクで 49.2% 成功。

- 従来 WAMs は視覚 futures のみで接触リッチ操作の隠れ物理状態を捉えられない。 - tactile を単純に token 注入すると tactile pollution で視覚 dynamics が乱れる問題を指摘。 - asymmetric attention により視覚経路を tactile から隔離し、RGB-only trajectory からの MSE 偏差を step-matched 20K checkpoint で 21.8% 削減。 - ground-truth video quality に統計的に検出可能な変化なし。 - 平均成功率を 15.6% から 32.7% に改善、VideoClean が最大 gain。

- asymmetric attention: video queries は tactile keys を参照不可、action queries は tactile 参照可。 - contact-change-aware bias で action attention を touch に強化。 - tactile pixel changes は contact changes を信頼性高く反映しないため、observed proxy changes が attention bias を駆動。 - future-proxy supervision で予測 tactile 表現に action-relevant contact dynamics を保持。 - 視覚経路隔離 (visual-path isolation) で tactile pollution を抑制。

- ManiFeel で評価。 - visual-path isolation が RGB-only trajectory からの MSE 偏差を step-matched 20K checkpoint で 21.8% 削減。 - ground-truth video quality に統計的に検出可能な変化なし。 - full model で平均成功率 15.6% → 32.7%、VideoClean が最大 gain。 - 実ロボット5タスクで 49.2% 成功。

- tactile pollution という現象を提起し、naive tactile-token injection の危険性を議論。 - tactile pixel changes が contact changes を信頼性高く反映しない点を指摘。 - observed proxy changes と future-proxy supervision の役割を議論。 - 視覚経路隔離が video quality を損なわずに偏差を削減することを示す。 - 詳細な限界や失敗事例は要旨からは不明。

- World Action Models (WAMs) の関連研究。 - tactile を統合した manipulation 研究。 - ManiFeel データセット。 - VideoClean。 - asymmetric attention や contact-change-aware bias に関連する attention 機構研究。