日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.00139

共有自律によるエンドツーエンドの器用な腕・手VLAポリシー:自律ハンドVLAポリシーで拡張したVRテレオペレーションによる効率的なデータ収集

End-to-End Dexterous Arm-Hand VLA Policies via Shared Autonomy: VR Teleoperation Augmented by Autonomous Hand VLA Policy for Efficient Data Collection

シェア:XThreadsFacebookLINEはてブBluesky

VRテレオペレーションで腕を人間が操作し、手は自律VLAポリシーが触覚・視覚フィードバックで制御する共有自律フレームワークを提案し、効率的に高品質な腕・手協調のデモを収集してエンドツーエンドVLAポリシーを学習、多様な物体で90%の成功率を達成した。

詳しい要約

1. どんなもの?

- 汎用ロボットの器用な manipulation を目指す研究 - Vision-Language-Action (VLA) モデルを end-to-end で学習する枠組み - Shared Autonomy により macro (arm) と micro (hand) の制御を分担 - VR teleoperation で人間が arm pose を誘導し、DexGrasp-VLA policy が hand を自律制御 - 収集データで Arm-Hand Feature Enhancement module 付き VLA policy を学習 - Corrective Teleoperation による継続的改善も含む

2. 先行研究と比べてどこがすごい?

- 従来の manual teleoperation は操作者の負担が大きく、automated planning は不自然な動きを生むという制約があった - 提案手法は制御を macro/micro に分割し、人間の認知負荷を大幅に削減 - tactile と visual の real-time feedback を用いる autonomous hand policy により高品質な arm-hand 協調 demonstration を効率的に収集 - 人手を最小限に抑えつつ、未見物体を含む多様な対象で 90% の成功率を達成

3. 技術・手法の肝は?

- Shared Autonomy framework で制御を分担 - 人間が VR teleoperation で robot arm pose を誘導 (macro) - DexGrasp-VLA policy が tactile/visual feedback で fine-grained hand control (micro) - 収集データから end-to-end VLA policy を学習 - Arm-Hand Feature Enhancement module が macro/micro の異なる表現と共有表現を捉え、自然な協調を実現 - Corrective Teleoperation により human-in-the-loop の failure recovery を通じて継続的に policy を改善

4. どうやって有効だと検証した?

- 提案 framework が最小限の人手で高品質データを生成できることを実験で示す - 多様な物体 (unseen instances を含む) で 90% の成功率を達成 - 器用な manipulation 能力の獲得における有効性を包括的に評価 - 具体的な評価プロトコルや比較対象の詳細は要旨からは不明

5. 議論はある?

- 人手負荷と自動計画の不自然さという既存手法の課題に対し、分担制御で対処する設計思想 - tactile/visual feedback に依存する hand policy の汎化や失敗時の挙動については要旨からは不明 - Corrective Teleoperation の運用コストや長期的な改善効果の定量評価は要旨からは不明 - 未見物体への成功率は示されるが、タスク多様性や実環境での頑健性の議論は要旨からは不明

6. 次に読むべき論文は?

- DexGrasp-VLA (本研究で用いる autonomous hand VLA policy) - Vision-Language-Action (VLA) モデル全般の代表的研究 - VR teleoperation を用いた data collection に関する研究 - Shared Autonomy / human-in-the-loop による policy 改善 (Corrective Teleoperation 関連) - tactile sensing を用いた dexterous manipulation の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yu Cui, Yujian Zhang, Lina Tao, Yang Li, Xinyu Yi, Zhibin Li

分類: cs.RO, cs.AI

原文アブストラクト

Achieving human-like dexterous manipulation remains a major challenge for general-purpose robots. While Vision-Language-Action (VLA) models show potential in learning skills from demonstrations, their scalability is limited by scarce high-quality training data. Existing data collection methods face inherent constraints: manual teleoperation overloads human operators, while automated planning often produces unnatural motions. We propose a Shared Autonomy framework that divides control between macro and micro motions. A human operator guides the robot's arm pose through intuitive VR teleoperation, while an autonomous DexGrasp-VLA policy handles fine-grained hand control using real-time tactile and visual feedback. This division significantly reduces cognitive load and enables efficient collection of high-quality coordinated arm-hand demonstrations. Using this data, we train an end-to-end VLA policy enhanced with our novel Arm-Hand Feature Enhancement module, which captures both distinct and shared representations of macro and micro movements for more natural coordination. Our Corrective Teleoperation system enables continuous policy improvement through human-in-the-loop failure recovery. Experiments demonstrate that our framework generates high-quality data with minimal manpower and achieves a 90% success rate across diverse objects, including unseen instances. Comprehensive evaluations validate the system's effectiveness in developing dexterous manipulation capabilities.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI