日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2607.01225

劣ったデモからの言語批評模倣学習

Language-Critique Imitation Learning from Suboptimal Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

不完全なデモから学習する際に、スカラー信号ではなく自然言語による批評を監督信号として用いる新しい模倣学習フレームワークを提案し、行動クローニングと拡散ポリシーに適用して性能を向上させた。

詳しい要約

1. どんなもの?

本論文は、準最適なデモンストレーションからの模倣学習において、自然言語を構造化された監督信号として用いるフレームワークを提案する。従来のスカラー信号(信頼度推定、判別器スコア、重要度重みなど)の代わりに、言語による批評(critique)を利用し、タスクの進捗、失敗モード、修正アクションを明示的に記述する。具体的には、デモンストレーションから言語ラベルを構築し、言語批評損失を導入して、行動クローニング(LC-BC)と拡散ポリシー(LC-DP)の両方に適用する。理論的には、提案目的関数が専門家の性能ギャップの上界を与えることを示す。

2. 先行研究と比べてどこがすごい?

先行研究は、準最適デモンストレーションからの学習にスカラー信号(confidence estimates, discriminator scores, importance weights)を用いるが、これらは中間的な推論(タスク進捗、失敗モード、修正アクション)を表現できない。本手法は、自然言語を構造化された監督信号として用いることで、スカラーへの情報圧縮を回避し、より豊かなフィードバックを提供する点が新しい。また、理論的な上界を提供する点も先行研究と異なる。

3. 技術・手法の肝は?

手法の核は、デモンストレーションから言語ラベルを自動構築し、言語批評損失を定義してポリシーを直接訓練することである。言語ラベルは、現在の進捗、準最適な行動、修正ガイダンスを明示的に記述する。損失はスカラーに還元せず、構造化された信号として利用する。LC-BCは行動クローニングに、LC-DPは拡散ポリシーに適用される。理論的には、標準的な仮定の下で、提案目的関数が専門家の性能ギャップの上界となることを示す。

4. どうやって有効だと検証した?

多様な連続制御タスク(ナビゲーション、操作、ゲームプレイ)で評価し、強力な模倣学習およびオフライン強化学習ベースラインと比較して、一貫して優れた性能を達成した。具体的な数値やタスク名は要旨からは不明。

5. 議論はある?

要旨からは、言語ラベルの構築方法の詳細や、言語批評の品質が性能に与える影響、実世界での適用可能性などについての議論は不明。また、理論的な上界が実際の性能とどの程度対応するかについても言及がない。

6. 次に読むべき論文は?

要旨で参照されている先行研究は、imitation learning from suboptimal demonstrations、behavior cloning、diffusion policies、offline reinforcement learningなどである。具体的な論文名は不明だが、関連する分野の定番として、Behavior Cloning(BC)、Diffusion Policy、IQL(Implicit Q-Learning)などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chih-Han Yang, Dai-Jie Wu, Yun-Ping Huang, Ping-Chun Hsieh, Kenneth Marino, Shao-Hua Sun

分類: cs.LG, cs.AI

原文アブストラクト

Prior work on imitation learning from suboptimal demonstrations typically relies on compressed supervision signals such as confidence estimates, discriminator scores, or importance weights. These scalar signals are inherently limited, as they cannot explicitly express intermediate reasoning about task progress, failure modes, or corrective actions. We propose a language-critique framework for imitation learning from suboptimal demonstrations that instead leverages natural language as a structured supervision signal, avoiding the collapse of expressive feedback into scalars. Our method first constructs language labels from demonstrations that explicitly describe current progress, identify suboptimal behaviors, and provide fine-grained corrective guidance. We then introduce a language-critique loss that directly trains policies using these structured signals without reducing them to scalars, and instantiate it for both behavior cloning and diffusion policies, yielding LC-BC and LC-DP. We further provide a theoretical result showing that the proposed objective upper-bounds the expert performance gap under standard assumptions. Empirically, we evaluate on diverse continuous control tasks spanning navigation, manipulation, and gameplay, where our methods consistently outperform strong imitation learning and offline reinforcement learning baselines. These results demonstrate that language can serve as a powerful and structured form of supervision for learning robust policies from suboptimal data.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI