触覚ドリーミングによる多用途ヒューマノイド操作の学習

- ヒューマノイドによる器用で接触の多い loco-manipulation を扱う研究 - 全身安定性、end-effector の器用さ、頻繁な接触変化への対応が課題 - RL ベースの lower-body controller を安定性の基盤として開発 - VR ベースの全身データ収集システムを構築し、dexterous hands と tactile sensing を統合 - Humanoid Transformer with Touch Dreaming (HTD) を提案 - 多視点 vision、proprioception と並ぶ核心 modality として touch を扱う multimodal encoder-decoder Transformer

- 実世界の humanoid loco-manipulation は依然困難で、接触を考慮した器用な操作が求められる - 従来の強い baseline に対し、5つの実世界接触リッチタスクで平均成功率が相対 90.9% 改善 - latent-space tactile prediction は raw tactile prediction より有効で、成功率が相対 30% 向上 - touch dreaming により、別途の tactile pretraining stage を必要とせず接触認識表現を学習 - 要旨からは、比較対象の具体的な先行研究名は不明

- RL ベースの lower-body controller を全身実行の安定性バックボーンとして構築 - VR ベースの全身ヒューマノイドデータ収集システムを開発 - dexterous hands と tactile sensing を統合し、接触リッチ操作データを収集 - HTD は touch を核心 modality として扱う multimodal encoder-decoder Transformer - 単一 stage の behavioral cloning に touch dreaming を追加して学習 - action chunks の予測に加え、future hand-joint forces と future tactile latents を予測 - tactile-latent targets は exponential moving average target encoder から提供 - 別途の tactile pretraining stage を不要とする設計

- 5つの実世界接触リッチタスクで評価 - 強い baseline に対し平均成功率が相対 90.9% 改善 - ablation により latent-space tactile prediction が raw tactile prediction より有効と確認 - latent-space tactile prediction で成功率が相対 30% 向上 - 実世界での汎用性と高い器用さを示す結果を報告

- touch dreaming が接触認識表現の学習を促すことを示唆 - latent-space tactile prediction の有効性を ablation で議論 - 実世界 humanoid manipulation における接触対応の重要性を強調 - 限界や失敗事例、計算コスト、汎化範囲などの詳細は要旨からは不明

- 要旨で参照・比較されている具体的な先行研究は不明 - 関連手法として RL-based lower-body controller、behavioral cloning、multimodal Transformer、tactile sensing、exponential moving average target encoder が挙げられる - 同分野の定番として humanoid loco-manipulation、dexterous manipulation、vision-language-action models、tactile representation learning に関する研究を読むとよい