日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2512.01801

GR-RL:長期的器用マニピュレーションのための器用で精密なロボット学習

GR-RL: Going Dexterous and Precise for Long-Horizon Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

人間のデモンストレーションをフィルタリング・拡張・強化学習で強化し、VLAポリシーを長期的で精密な器用マニピュレーションに特化させるフレームワークを提案。靴紐を穴に通して結ぶタスクを83.3%の成功率で自律的に達成。

詳しい要約

1. どんなもの?

- 汎用 VLA (vision-language-action) policy を long-horizon dexterous manipulation の specialist に変換するロボット学習フレームワーク GR-RL を提案 - 対象タスクは靴紐を複数の eyelet に通して結ぶ shoe lacing で、long-horizon reasoning・millimeter-level precision・compliant soft-body interaction を要する - 学習ベースの policy として初めて shoe lacing を自律遂行し 83.3% の成功率を達成したと主張

2. 先行研究と比べてどこがすごい?

- 既存 VLA policy は human demonstrations の最適性を前提とするが、本論文は highly dexterous and precise manipulation では human demonstrations が noisy かつ suboptimal であると主張 - その前提を崩し、demonstrations を filtering・augmentation・reinforcement する multi-stage training pipeline を導入した点が差分 - 著者らの知る限り、学習ベース policy で shoe lacing を自律遂行した最初の例

3. 技術・手法の肝は?

- 第1段: vision-language-conditioned な task progress を学習し、demonstration trajectories を filtering して進捗に正に寄与する transitions のみ保持 - 具体的には sparse reward の offline RL を直接適用し、得られる Q-values を robust な progress function として扱う - 第2段: morphological symmetry augmentation により generalization と performance を大幅改善 - 第3段: 高精度制御のため deployment behaviors に VLA policy を整合させる online RL を latent space noise predictor の学習として実施

4. どうやって有効だと検証した?

- shoe lacing タスク(複数 eyelet への紐通し)で評価し、83.3% の成功率を報告 - 各段階(filtering・symmetry augmentation・online RL)の個別寄与に関する ablation の詳細は要旨からは不明 - 比較対象となる baseline policy や評価プロトコルの詳細は要旨からは不明

5. 議論はある?

- human demonstrations が noisy/suboptimal であるという前提の妥当性と、それが highly dexterous タスクに限定される範囲は要旨からは不明 - offline RL の Q-values を progress function として用いる際の robustness や sparse reward 設計への依存性は要旨からは不明 - morphological symmetry augmentation がどの形態対称性を仮定するか、latent space noise predictor の汎化性は要旨からは不明 - 実機展開時の安全性や failure mode の分析は要旨からは不明

6. 次に読むべき論文は?

- 本論文が基盤とする generalist VLA policy(例: vision-language-action models 全般) - offline RL と sparse reward による Q-value ベースの progress estimation に関する研究 - morphological symmetry augmentation を用いたロボット学習の関連研究 - latent space noise predictor による online RL での VLA policy 微調整の関連手法 - soft-body manipulation や shoe lacing など long-horizon dexterous manipulation のベンチマーク研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunfei Li, Xiao Ma, Jiafeng Xu, Yu Cui, Zhongren Cui, Zhigang Han, Liqun Huang, Tao Kong, Yuxiao Liu, Hao Niu, Wanli Peng, Jingchao Qiao, Zeyu Ren, Haixin Shi, Zhi Su, Jiawen Tian, Yuyang Xiao, Shenyu Zhang, Liwei Zheng, Hang Li, Yonghui Wu

分類: cs.RO, cs.LG

原文アブストラクト

We present GR-RL, a robotic learning framework that turns a generalist vision-language-action (VLA) policy into a highly capable specialist for long-horizon dexterous manipulation. Assuming the optimality of human demonstrations is core to existing VLA policies. However, we claim that in highly dexterous and precise manipulation tasks, human demonstrations are noisy and suboptimal. GR-RL proposes a multi-stage training pipeline that filters, augments, and reinforces the demonstrations by reinforcement learning. First, GR-RL learns a vision-language-conditioned task progress, filters the demonstration trajectories, and only keeps the transitions that contribute positively to the progress. Specifically, we show that by directly applying offline RL with sparse reward, the resulting $Q$-values can be treated as a robust progress function. Next, we introduce morphological symmetry augmentation that greatly improves the generalization and performance of GR-RL. Lastly, to better align the VLA policy with its deployment behaviors for high-precision control, we perform online RL by learning a latent space noise predictor. With this pipeline, GR-RL is, to our knowledge, the first learning-based policy that can autonomously lace up a shoe by threading shoelaces through multiple eyelets with an 83.3% success rate, a task requiring long-horizon reasoning, millimeter-level precision, and compliant soft-body interaction. We hope GR-RL provides a step toward enabling generalist robot foundation models to specialize into reliable real-world experts.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI