日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2607.28251

臨界性モデルを用いた身体性AIの自己進化学習

Self-Evolving Learning for Embodied AI with Criticality Model

シェア:XThreadsFacebookLINEはてブBluesky

身体性AIのファインチューニング停滞を解決するため、ポリシー自身の実行結果から将来の失敗確率を予測する臨界性モデルを学習し、失敗しやすいシナリオを重点的にサンプリングして学習データの情報密度を高める自己進化手法を提案した。

詳しい要約

1. どんなもの?

本論文は、Embodied AIのタスク特化型ファインチューニングにおける性能頭打ち(plateau)を打破する自己進化的学習手法を提案する。従来のデータ収集はランダムで全てのサンプルを同等に扱うため、名目上のシナリオが大半を占め、改善に重要な稀な失敗ケースが見逃される。提案手法は、ポリシー自身の実行結果から学習した状態ごとのCriticality Modelを用いて将来の失敗確率を予測し、失敗しやすいシナリオへの重要度サンプリングを導く。冗長な名目シナリオを多様な失敗しやすいシナリオに置き換え、重要度重みで再サンプリングすることで、不偏な学習目的を保ちつつ訓練データの情報密度を高める。

2. 先行研究と比べてどこがすごい?

先行研究のポリシープリトレーニングは急速に進歩しているが、タスク特化ファインチューニングでは性能が頭打ちになる問題があった。従来のデータ収集パイプラインはランダムにデータを集め、全てのサンプルを等しく扱うため、データセットが名目シナリオに支配され、最も価値のある稀な失敗ケースを見逃していた。提案手法は、状態ごとのCriticality Modelを導入し、失敗しやすいシナリオを能動的にサンプリングすることで、情報密度を高め、性能頭打ちを打破する点が新しい。

3. 技術・手法の肝は?

手法の核は、ポリシーの実行結果から学習される状態ごとのCriticality Modelである。これは将来の失敗確率を予測する。このモデルを用いて、失敗しやすいシナリオへの重要度サンプリングを導く。具体的には、冗長な名目シナリオを多様な失敗しやすいシナリオに置き換え、重要度重みを用いて訓練データを再サンプリングする。これにより、不偏な学習目的を維持しながら、訓練プールの情報密度を根本的に高める。

4. どうやって有効だと検証した?

検証は、四足歩行(quadrupedal locomotion)、マルチタスク操作(multi-task manipulation)、vision-language-actionベンチマーク、および実ロボットタスクで行われた。その結果、訓練済みベースラインと比較して失敗率を51〜67%削減し、最先端のvision-language-actionモデルと比較して8〜25%削減した。

5. 議論はある?

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明である。ただし、重要度サンプリングによる不偏性の維持や、Criticality Modelの学習コスト、実世界での適用可能性などが議論の対象となり得るが、要旨には明記されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、ポリシープリトレーニング、vision-language-actionモデル、重要度サンプリング、および自己進化的学習に関する論文が挙げられる。具体的には、要旨で比較されているstate-of-the-art vision-language-actionモデルや、四足歩行、マルチタスク操作のベンチマークに関する研究が次に読むべき論文と考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Linxuan He, Yuying Tian, Lingxiang Fan, Jiaqi Pi, Yinqiao Lu, Shang Su, Mengkai Shi, Shuo Feng

分類: eess.SY

原文アブストラクト

Despite rapid advances in policy pretraining, embodied AI systems routinely plateau during task-specific finetuning. The root cause lies in how finetuning data are collected: the default pipeline gathers data randomly, treating every sample as informative. Datasets become dominated by nominal scenarios, while rare failure cases--the most valuable for improvement--are missed. We propose a self-evolving method that breaks this plateau. Our core insight is that a state-wise criticality model, learned from the policy's own execution outcomes to predict the probability of future failure, can guide importance sampling toward failure-prone scenarios. After replacing redundant nominal scenarios with diverse failure-prone ones, importance weights are used to resample the data during training. This effectively preserves an unbiased learning objective while fundamentally increasing the information density of the training pool. Across quadrupedal locomotion, multi-task manipulation, vision-language-action benchmarks, and a real-robot task, our method reduces failure rates by 51--67% relative to trained baselines and by 8-25% relative to state-of-the-art vision-language-action models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI