日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習/ロボット操作arXiv:2607.13455

逆転して前進:逆転した易しいタスクからの低コストな熟練ポリシー学習

Reverse to Advance: Teleoperation-Cost Effective Hard Policy Learning from Reversed Easy Tasks

シェア:XThreadsFacebookLINEはてブBluesky

難しいタスクの逆方向(易しいタスク)の軌道を反転させて教師信号とし、高価なテレオペレーションデータ収集コストを削減する枠組みを提案。自動収集・階層的リファインメント・反復学習で高精度な操作タスクを学習する。

詳しい要約

1. どんなもの?

- 高品質なteleoperationデータセットの収集コストが高い問題に対し、タスクの方向非対称性を利用する。 - 難しいforwardタスクを、環境を緩和・破壊することで簡単にreverseできる点に着目。 - reversed easy-task軌道をhardタスクのスケーラブルな監督信号として活用する枠組みを提案。 - teleoperationコストを抑えつつhard policyを学習する。

2. 先行研究と比べてどこがすごい?

- 従来のteleoperationによるhardタスクの手動デモ収集は高コスト。 - 反転データはノイズを含み、直接学習すると方策が最適以下になる問題があった。 - 提案手法は自動収集・階層的精製・反復学習を組み合わせ、reversalベースや強化学習ベースラインよりhardタスク成功率を向上。 - データ効率が高く、訓練が安定し、広範なhardタスクteleoperationを必要としない。

3. 技術・手法の肝は?

- 閉ループデータ収集パイプライン:hard-taskとeasy-taskの方策を交互に実行し、環境を自律リセットして多様な軌道を生成。 - 階層的データ精製パイプライン:easy-taskロールアウトを時間反転し、kinematic priorsとcritic-guided advantage filterで低品質動作を除去。 - 反復方策学習:初期の反転easy-taskデモとフィルタ済み反転データを用い、継続的オンライン学習ループでhard-task方策を訓練。

4. どうやって有効だと検証した?

- 2つのシミュレーションベンチマークと実ロボット実験で検証。 - 提案手法がhardタスク成功率を向上させ、データ効率が高く訓練が安定することを示す。 - reversalベースおよび強化学習ベースラインと比較。 - 広範なhard-task teleoperationを必要としない。

5. 議論はある?

- 反転データはノイズを含む可能性があり、直接学習は最適以下になる。 - 提案手法は階層的精製で対処するが、限界や失敗ケースの詳細は要旨からは不明。 - 実世界での適用可能性やスケーラビリティに関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:reversal-based baselines, reinforcement-learning baselines。 - 関連手法:teleoperation, temporal reversal, kinematic priors, critic-guided advantage filter, iterative policy learning。 - 同分野の定番:imitation learning, reinforcement learning, teleoperation data collection。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qiyuan Qiao, Ge Yuan, Can Wang, Dong Xu

分類: cs.RO

原文アブストラクト

High-quality teleoperation datasets are costly to collect, particularly for hard tasks. We observe that many tasks exhibit directional asymmetry: completing the forward hard task is difficult, whereas reversing it by relaxing or disrupting the environment is comparatively easy. This suggests that reversed easy-task trajectories can serve as a scalable supervision signal for the hard task, reducing the cost of manual demonstration collection. However, reversed data can be noisy, and directly training on it may yield suboptimal policies. To enable largely automated acquisition and effective use of reversed data, we propose a teleoperation-cost effective framework for hard policy learning via temporal reversal of easy tasks, consisting of three key components: a closed-loop data collection pipeline that alternates between hard-task and easy-task policies to autonomously reset the environment and generate diverse trajectories; a hierarchical data refinement pipeline that temporally inverts easy-task rollouts and filters low-quality motion using kinematic priors and a critic-guided advantage filter; and an iterative policy learning method that trains the hard-task policy using both initial reversed easy-task demonstrations and the filtered reversed data in a continuous online learning loop. By combining automated collection, hierarchical refinement, and iterative learning, our method enables scalable, reliable training of complex, high-precision manipulation tasks. Across two simulated benchmarks and real-robot experiments, we demonstrate that our method improves hard-task success rates with higher data efficiency and more stable training compared to reversal-based and reinforcement-learning baselines, without requiring extensive hard-task teleoperation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI