WM-Craftnet: 汎用かつ堅牢な器用な手内操作のための世界共感覚モデル

WM-Craftnetは、器用な手内操作（in-hand manipulation）のための世界モデル条件付きフレームワークを提案する。部分的なノイズを含む観測から物体の姿勢、形状、接触、滑りを推定するポリシーを学習する。 proprioception、depth、tactile sensing、actionからコンパクトなaction-conditioned latent dynamicsを学習し、multimodal reconstructionとreward predictionで教師あり学習する。学習したWorld Synesthesia Model (WSM)を、非対称なactor-criticポリシーのrecurrent task contextとして使用する。WSMはノイズのあるdepth入力からクリーンなdepth targetを再構成するように訓練され、実ロボット展開のためのdenoised geometric stateを提供する。

従来のtactileやvisuotactile RL手法は、制御された環境でのin-hand rotationでは強い性能を示すが、姿勢のずれ、力の外乱、物体の変化に対してロバスト性が低下する。WM-Craftnetは、世界モデルを潜在想像やポリシー最適化に使うのではなく、ポリシーのrecurrent contextとして利用することで、ロバスト性を向上させる。また、クリーンなdepth supervisionを導入し、実ロボット展開でのノイズに対する頑健性を高めている点が新しい。

手法の肝は、WSMを学習し、それを非対称なactor-criticポリシーのrecurrent task contextとして用いる点。WSMはaction-conditioned latent dynamicsを学習し、multimodal reconstruction（depth、tactileなど）とreward predictionで訓練される。特に、ノイズのあるdepth入力からクリーンなdepth targetを再構成することで、denoised geometric stateを獲得する。また、tactile maskingやWSM modality headsなどの設計が、学習される状態表現に影響を与える。

9つのz軸物体で事前学習したWSMを、49物体の下流ポリシー学習に転用し、multi-object rotationの性能を評価。再帰ベースライン、補助ヘッド、tactile masking、WSM modality headsに対するアブレーションを行い、予測的世界モデリング、クリーンdepth supervision、tactile contact cuesが学習状態に寄与することを示した。さらに、未見物体、外乱回復、sim-to-real転送に関する定量的・定性的証拠を提供。

要旨からは、議論の詳細は不明。ただし、提案手法が世界モデルをポリシーのコンテキストとして使うことで、従来の世界モデル利用法（想像やポリシー最適化）と異なる点が議論される可能性がある。また、クリーンdepth supervisionの効果や、tactile情報の重要性、事前学習の転用可能性についての考察が含まれると考えられる。

要旨で参照されている研究は明示されていないが、関連手法として、tactileやvisuotactile RL手法（例：tactile-based in-hand manipulation）、世界モデルを用いたRL（例：Dreamer）、非対称actor-critic、sim-to-real転送などが挙げられる。具体的には、tactile sensingを用いた器用操作の研究や、世界モデルベースのRL手法を読むと良い。