継続学習/力覚/ロボット操作2026/6/1arXiv:2606.30988

多感覚継続学習：事前学習済み視覚運動ポリシーの力覚への適応

Multisensory Continual Learning: Adapting Pretrained Visuomotor Policies to Force

事前学習済みの視覚のみのロボットポリシーに、力覚などの新しいモダリティを追加し、元のタスク性能を保ちながら接触を伴う新タスクへ適応させる手法を提案した。

詳しい要約

1. どんなもの？

- 視覚のみで事前学習されたロボット政策を、新たに導入されたモダリティ（例：force-torque sensing）に適応させる問題設定「multisensory continual learning」を研究。 - 接触の多いタスクでは力・触覚・音声などが画像から観測できない相互作用状態を明らかにするが、これらのモダリティはハードウェアやタスクに依存し、大規模マルチセンサデータが不足している。 - 提案手法 MuSe (MultiSensory World Model) は、限られたマルチセンサデータを事前学習済み視覚政策に組み込み、元のセンサスイートでの性能を維持しながら新しいタスクに適応する。

2. 先行研究と比べてどこがすごい？

- 従来は視覚のみの事前学習が主流で、マルチセンサデータが少ないため全てのセンサを事前学習に含めるのは非現実的。 - MuSe は、限られたマルチセンサデータを用いて事前学習済み視覚政策を拡張し、元の事前学習タスクでの性能を維持（場合によっては向上）しつつ、接触の多い微調整タスクで強い性能を示す。 - これにより、 modest なマルチセンサデータセットが微調整分布を超えて一般的なロボット能力を改善し得ることを示唆。

3. 技術・手法の肝は？

- 多段階 fusion、マルチセンサ未来予測、事前学習データに対する experience replay を組み合わせる。 - 事前学習済み視覚のみの政策に force-torque sensing を追加して MuSe を実装。 - 限られたマルチセンサデータを効果的に統合し、元のセンサスイートでの性能を保持する。

4. どうやって有効だと検証した？

- 実世界のマニピュレーションタスクで評価。 - 接触の多い微調整タスクで強い性能を示し、元の事前学習タスクでの性能を維持、場合によっては向上させることを確認。 - 詳細な実験設定やベースラインは要旨からは不明。

5. 議論はある？

- 限られたマルチセンサデータで一般的なロボット能力を改善できる可能性を示唆。 - しかし、ハードウェアやタスク依存性、大規模データ不足などの課題は残る。 - 具体的な限界や議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、vision-only pretrained policies、multisensory learning、continual learning、experience replay などが挙げられる。 - 同分野の定番として、RT-1、RT-2、Octo、OpenVLA などの vision-language-action モデルや、force/tactile sensing を用いたロボット学習の研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jaden Clark, Changhao Wang, Yihuai Gao, Seongheon Hong, Hojung Choi, Mark Cutkosky, Yifan Hou, Shuran Song

分類: cs.RO

原文アブストラクト

Robot manipulation often relies on sensory feedback beyond vision, particularly in contact-rich settings where force, tactile, or audio signals reveal interaction states that are not directly observable from images. However, these modalities are often hardware- and task-specific, and large-scale multisensory robot datasets remain scarce. As a result, it is impractical to pretrain policies with every sensor they may encounter. We study multisensory continual learning: adapting a pretrained robot policy to new tasks with newly introduced modalities while preserving performance under the original sensor suite. We propose MultiSensory World Model (MuSe), which incorporates limited multisensory data into pretrained vision-only policies through multi-stage fusion, multisensory future prediction, and experience replay over pretraining data. We instantiate MuSe by augmenting a pretrained vision-only policy with force-torque sensing and evaluate it on real-world manipulation tasks. Our experiments show that MuSe performs strongly on contact-rich finetuning tasks while preserving, and in some cases improving, performance on the original pretraining tasks. These results suggest that a modest multisensory dataset can improve general robot capabilities beyond the finetuning distribution. Project website: https://jadenvc.github.io/multisensory-continual-learning/

arXivで原文を読む →arXiv概要ページ

← 論文一覧