人間の物理的インタラクションから視触覚ワールドモデルを学習するACTS

- ヒトの物理的インタラクションのみから学習する visuo-tactile world model「ACTS」の提案。 - 手持ちの GelSight sensor を操作し、third-person と wrist の video、tactile images、6-DoF sensor motion、tactile-derived normal force を記録。 - これにより bimanual データセット「React」(4.9時間、3物体)を構築。 - ACTS は future scene、wrist、tactile observations を同時に予測する。

- 従来の contact-rich manipulation 向け action-conditioned world model は robot teleoperation によるデータ収集が遅く、force feedback に乏しく、gripper geometry に制約される。 - 本研究はヒトの物理的インタラクションから学習し robot へ転移できるかを問う点が新しい。 - held-out human data で、React から scratch 学習した2つの visuo-tactile world model のうち強い方より scene-view prediction を 0.7-2.0 dB PSNR 改善。

- 行動を tactile sensor における motion と force change の組み合わせで表現し、ヒト収集と robot 実行で共有できる action space を構成。 - ACTS は scene、wrist、tactile の future observations を joint に予測する visuo-tactile world model。 - 学習データはヒトの handheld GelSight 操作から得た React のみ。

- held-out human data で scene-view prediction の PSNR を比較(scratch 学習の2モデルより 0.7-2.0 dB 改善)。 - fine-tuning なしの robot teleoperation rollouts で、予測 tactile imprints が記録された contact に伴い出現・消失するかを確認。 - 視覚転移は不安定: camera predictions は PushT で frame copying を上回り、Rope で混在、Motherboard で下回る。wrist views は blur や構造の hallucination が生じ得る。

- contact dynamics はヒトから robot へ比較的安定して転移する一方、visual appearance の転移はより脆弱という示唆。 - 視覚予測の不安定さ(wrist view の blur/hallucination、物体による成否の差)が課題として議論される。 - 要旨からは不明な点として、より広い物体・タスクへの一般化や実ロボットでの制御性能は述べられていない。

- 比較対象として言及された、React から scratch 学習した2つの visuo-tactile world model(具体名は要旨からは不明)。 - 関連手法として action-conditioned world model、visuo-tactile representation learning、GelSight を用いた tactile sensing 研究。 - 評価タスクとして PushT、Rope、Motherboard に関連する manipulation 研究。