VLA/巧緻操作/触覚2026/3/1arXiv:2603.08122

RL強化テレオペレーションと巧みな専門家混合VLAによる人間らしい操作の実現

Towards Human-Like Manipulation through RL-Augmented Teleoperation and Mixture-of-Dexterous-Experts VLA

高自由度の両手巧緻操作を可能にするため、RLで訓練した原子スキルによるデータ収集支援と、触覚・力覚を統合したVLAアーキテクチャを提案し、接触を伴う複雑タスクで成功率を2倍に向上させた。

詳しい要約

1. どんなもの？

- 本論文は、Vision-Language-Action (VLA) モデルを人間のような両手デクスタラスマニピュレーション、特に接触の多いインハンド操作に拡張するための統合フレームワークを提案する。 - フレームワークは2つのコンポーネントから成る。 - IMCopilot (In-hand Manipulation Copilot): 強化学習で訓練された原子スキル群。共有自律アシスタントとして遠隔操作データ収集を簡素化し、VLAの呼び出し可能な低レベル実行プリミティブとしても機能する。 - MoDE-VLA (Mixture-of-Dexterous-Experts VLA): 異種の力・触覚モダリティを事前学習済みVLAバックボーンに統合するアーキテクチャ。残差注入メカニズムにより、事前学習知識を劣化させずに接触認識の精緻化を可能にする。 - 4つの難易度が段階的に増加するタスクで検証し、接触の多いデクスタラスタスクにおいてベースライン比で成功率が2倍に向上した。

2. 先行研究と比べてどこがすごい？

- 従来のVLAモデルは主に低自由度エンドエフェクタによる単純な視覚誘導のピックアンドプレースに限定されていた。 - 本研究は、人間のような両手デクスタラスマニピュレーション、特に接触の多いインハンド操作に拡張した点が新しい。 - 高忠実度データ取得、マルチスキル学習、マルチモーダル感覚融合の課題に対処する統合フレームワークを提案。 - 具体的な先行研究との比較は要旨からは不明。

3. 技術・手法の肝は？

- IMCopilot: 強化学習で訓練された原子スキル群。共有自律アシスタントとして遠隔操作データ収集を簡素化し、VLAの低レベル実行プリミティブとしても機能。 - MoDE-VLA: 異種の力・触覚モダリティを事前学習済みVLAバックボーンに統合。残差注入メカニズムにより、事前学習知識を損なわずに接触認識の精緻化を実現。 - これら2つを組み合わせた統合フレームワーク。

4. どうやって有効だと検証した？

- 4つの難易度が段階的に増加するタスクで検証。 - 接触の多いデクスタラスタスクにおいて、ベースライン比で成功率が2倍に向上したことを示した。 - 具体的なタスク内容や評価指標の詳細は要旨からは不明。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Vision-Language-Action (VLA) モデル、強化学習、Mixture-of-Experts (MoE)、残差注入メカニズム、触覚・力覚融合に関する研究が挙げられる。 - 同分野の定番として、RT-1、RT-2、Octo、OpenVLAなどのVLAモデルや、Dexterous Manipulationのための強化学習手法が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tutian Tang, Xingyu Ji, Wanli Xing, Ce Hao, Wenqiang Xu, Lin Shao, Cewu Lu, Qiaojun Yu, Jiangmiao Pang, Kaifeng Zhang

分類: cs.RO

原文アブストラクト

While Vision-Language-Action (VLA) models have demonstrated remarkable success in robotic manipulation, their application has largely been confined to low-degree-of-freedom end-effectors performing simple, vision-guided pick-and-place tasks. Extending these models to human-like, bimanual dexterous manipulation-specifically contact-rich in-hand operations-introduces critical challenges in high-fidelity data acquisition, multi-skill learning, and multimodal sensory fusion. In this paper, we propose an integrated framework to address these bottlenecks, built upon two components. First, we introduce IMCopilot (In-hand Manipulation Copilot), a suite of reinforcement learning-trained atomic skills that plays a dual role: it acts as a shared-autonomy assistant to simplify teleoperation data collection, and it serves as a callable low-level execution primitive for the VLA. Second, we present MoDE-VLA (Mixture-of-Dexterous-Experts VLA), an architecture that seamlessly integrates heterogeneous force and tactile modalities into a pretrained VLA backbone. By utilizing a residual injection mechanism, MoDE-VLA enables contact-aware refinement without degrading the model's pretrained knowledge. We validate our approach on four tasks of escalating complexity, demonstrating doubled success rate improvement over the baseline in dexterous contact-rich tasks.

arXivで原文を読む →arXiv概要ページ

← 論文一覧