移動操作/触覚/強化学習2026/4/1arXiv:2604.27224

触覚を活用した四脚ロボットの移動操作ポリシー学習

Learning Tactile-Aware Quadrupedal Loco-Manipulation Policies

四脚ロボットの移動操作において、視覚と自己受容感覚に加えて触覚情報を活用する階層的ポリシー学習手法を提案。実世界の人間デモから触覚条件付き高レベルポリシーを学習し、シミュレーションでの大規模強化学習により全身制御ポリシーを獲得し、実世界へゼロショット転送する。接触を伴うタスクで平均28.54%の性能向上を達成。

詳しい要約

1. どんなもの？

- 四足歩行ロボットの loco-manipulation において、tactile sensing を活用した階層型ポリシー学習パイプラインを提案。 - 高レベルポリシーは tactile-conditioned visuotactile で、実世界の人間デモから学習し、end-effector 軌道と tactile interaction cues を予測。 - 低レベルポリシーは simulation での大規模強化学習により、多様な指令軌道と tactile cues を追従する tactile-aware whole-body control を学習し、zero-shot で実世界に転移。 - 接触が豊富なタスク（in-hand reorientation with insertion, valve tightening, delicate object manipulation）で評価。

2. 先行研究と比べてどこがすごい？

- 従来の四足 loco-manipulation は視覚と固有感覚に依存し、接触が不確実で変化する環境との相互作用を解決できなかった。 - 触覚センシングは直接的な接触観測を提供するが、四足 loco-manipulation のためのスケーラブルな触覚対応学習フレームワークは未探索だった。 - 提案手法は視覚のみおよび visuotactile ベースラインと比較して、平均 28.54% の性能向上を達成。

3. 技術・手法の肝は？

- 階層構造：高レベルポリシーと低レベルポリシー。 - 高レベル：実世界の人間デモを用いて tactile-conditioned visuotactile ポリシーを訓練。end-effector 軌道と時間経過に伴う接触の発展を特徴づける tactile interaction cues を予測。 - 低レベル：シミュレーションで大規模強化学習を行い、多様な指令軌道と tactile interaction cues を追従する tactile-aware whole-body control ポリシーを学習。zero-shot で実世界に転移。 - これらを組み合わせ、接触が豊富なシナリオでの移動と操作の協調を実現。

4. どうやって有効だと検証した？

- 実世界の接触が豊富なタスクで評価：in-hand reorientation with insertion, valve tightening, delicate object manipulation。 - 視覚のみおよび visuotactile ベースラインと比較し、平均 28.54% の性能向上を確認。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：vision-only baseline, visuotactile baseline。 - 関連手法：tactile-aware learning, hierarchical policy learning, reinforcement learning for whole-body control, zero-shot sim-to-real transfer。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pokuang Zhou, Yuhao Zhou, Quan Khanh Luu, Seungho Han, Heng Zhang, Binghao Huang, Yunzhu Li, Arash Ajoudani, Zhengtong Xu, Yu She

分類: cs.RO

原文アブストラクト

Quadrupedal loco-manipulation is commonly built on visual perception and proprioception. Yet reliable contact-rich manipulation remains difficult: vision and proprioception alone cannot resolve uncertain, evolving interactions with the environment. Tactile sensing offers direct contact observability, but scalable tactile-aware learning framework for quadrupedal loco-manipulation is still underexplored. In this paper, we present a tactile-aware loco-manipulation policy learning pipeline with a hierarchical structure. Our approach has two key components. First, we leverage real-world human demonstrations to train a tactile-conditioned visuotactile high-level policy. This policy predicts not only end-effector trajectories for manipulation, but also the evolving tactile interaction cues that characterize how contact should develop over time. Second, we perform large-scale reinforcement learning in simulation to learn a tactile-aware whole-body control policy that tracks diverse commanded trajectories and tactile interaction cues, and transfers zero-shot to the real world. Together, these components enable coordinated locomotion and manipulation under contact-rich scenarios. We evaluate the system on real-world contact-rich tasks, including in-hand reorientation with insertion, valve tightening, and delicate object manipulation. Compared to vision-only and visuotactile baselines, our method improves performance by 28.54% on average across these tasks.

arXivで原文を読む →arXiv概要ページ

← 論文一覧