ViTacFormer：視触覚クロスモーダル表現による巧みなマニピュレーション

- 視覚と触覚を融合する cross-modal representation learning 手法 ViTacFormer の提案 - 高解像度 vision と touch を cross-attention encoder で統合 - autoregressive tactile prediction head で将来の接触信号を予測 - 学習した表現で multi-fingered hand の imitation learning を駆動 - 精密かつ適応的な dexterous manipulation を目指す

- 従来の vision-based 手法に対し tactile sensing を積極的に活用 - 既存 state-of-the-art と比べ実世界ベンチマークで成功率約50%向上 - anthropomorphic hand での long-horizon タスクを自律遂行した初の事例と主張 - 最大11段階の連続タスクを実行し2.5分間の連続動作を維持 - 詳細な比較対象名は要旨からは不明

- cross-attention encoder による vision と touch の融合が中核 - autoregressive tactile prediction head で将来の contact signal を先読み - easy-to-challenging curriculum で visual-tactile latent space を段階的に精錬 - 精錬された cross-modal representation を imitation learning に供給 - これにより multi-fingered hand の精密制御を実現

- 複数の challenging な real-world benchmarks で評価 - 先行 state-of-the-art 比で成功率約50%向上を報告 - long-horizon dexterous manipulation を anthropomorphic hand で自律実行 - 最大11 sequential stages の遂行と2.5分間の連続運転を実証 - 具体的なタスク名・被験者数・試行回数は要旨からは不明

- 触覚が unstructured や視覚遮蔽下の fine-grained control に重要と位置づけ - curriculum が精度と robustness の両方を改善すると主張 - 限界・失敗事例・汎化性の詳細な議論は要旨からは不明 - 実世界ベンチマークの規模や統計的有意性は要旨からは不明

- 要旨で参照/比較されている個別研究名は明示されていない - 関連手法として vision-based manipulation、imitation learning、cross-attention fusion、tactile prediction の代表的文献を辿るのが妥当 - dexterous multi-fingered hand の long-horizon タスク研究も併読候補 - 具体的な論文名は要旨からは不明