BAT-WAM：巧みな手のための世界行動モデルにおける行動と触覚の橋渡し

- 本論文は dexterous manipulation 向けの world action model (WAM) である BAT-WAM を提案する。 - visual (RGB)、joint-state、tactile の3モダリティを橋渡しする枠組み。 - joint-state や whole-hand tactile が部分的/完全に欠損する状況を扱う。 - tactile と action の各ストリームに別々の codebook と decoder を学習。 - RGB 条件付きの連続潜在 bridge で両ストリームを双方向に接続。 - HTBench 評価と実機実験で有効性を示す。

- 先行の image-conditioned HandTouch checkpoint と比較。 - fully masked 条件で tactile reconstruction の RMSE を 34.73% 削減。 - partially masked 条件で 38.84% 削減。 - OpenWAM with HandTouch と比較。 - target-time RGB と historical actions に条件付けた future tactile prediction で mean RMSE を 85.56% 削減。 - 実機の dexterous manipulation で関連 WAM baseline を一貫して上回る。 - 未見物体・未見シーンへの generalization でも baseline を大きく改善。

- visual・joint-state・tactile 表現を橋渡しする BAT-WAM を構築。 - tactile ストリームと action ストリームにそれぞれ独立した codebook と decoder を用意。 - RGB-conditioned continuous latent bridge が2ストリームを双方向に接続。 - visual 情報は連続的な context として利用。 - hand state と tactile 情報の相関の観察が設計の動機。 - 欠損モダリティ下でも RGB と相関を手がかりに再構成・予測を行う。

- HTBench evaluation protocol 上で評価。 - fully masked / partially masked 条件の tactile reconstruction RMSE を比較。 - future tactile prediction の mean RMSE を OpenWAM with HandTouch と比較。 - 実ロボット実験で dexterous manipulation の性能を WAM baseline と比較。 - 未見物体・未見シーンでの generalization 実験を実施。 - 具体的なタスク設定や被験者数など詳細は要旨からは不明。

- visual context・hand state・touch の joint modeling が multimodal WAM の表現手法として有効と結論。 - 欠損モダリティ下での再構成・予測改善と実機性能向上を根拠にしている。 - 限界や失敗事例、計算コスト、codebook 設計の感度などは要旨からは不明。 - 実機実験の詳細な条件や統計的有意性も要旨からは不明。

- 比較対象の HandTouch (image-conditioned checkpoint) および OpenWAM with HandTouch。 - 評価プロトコルである HTBench。 - 関連する world action model (WAM) のベースライン研究。 - tactile と action の codebook 分離や latent bridge を用いる multimodal representation learning の関連手法。