日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2606.16856

ビデオ基盤の最適輸送によるフィードバック効率的なオフライン選好ベース強化学習

Video-Based Optimal Transport for Feedback-Efficient Offline Preference-Based Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ基盤モデルの表現空間で最適輸送を用いて軌道を整列させ、少数のラベルから高品質な擬似ラベルを生成することで、選好ベース強化学習のラベルコストを大幅に削減する半教師ありフレームワークを提案した。

詳しい要約

1. どんなもの?

- ビデオベースのOptimal Transportを活用した半教師ありOffline Preference-Based RLフレームワークVOTPを提案。 - 少数の人間ラベルから効果的な報酬関数を学習し、ラベリングコストを大幅に削減。 - Video Foundation Models (ViFMs)の表現空間で視覚軌跡を整列させ、高忠実度の疑似ラベルを生成。 - locomotionとmanipulationのベンチマークで評価し、限られたフィードバック予算下で最先端のOffline PbRL手法を上回る性能を実証。 - 視覚的distractorに対するロバスト性や実ロボットタスクでの有効性も示す。

2. 先行研究と比べてどこがすごい?

- 従来のPbRLは人間フィードバックのラベリングコストが高くスケーラビリティに欠ける。 - VOTPはViFMsとOptimal Transportを組み合わせ、少数ラベルで大量の未ラベルデータから疑似ラベルを生成。 - 限られたフィードバック予算下で最先端のOffline PbRL手法を上回る性能を達成。 - 視覚的distractorに対するロバスト性や実ロボットタスクへの適用可能性を示す点で先行研究と異なる。

3. 技術・手法の肝は?

- Video Foundation Models (ViFMs)の豊富な表現空間を利用。 - Optimal Transportを用いて視覚軌跡を整列。 - 半教師あり学習フレームワークで、少数のラベル付きデータから高忠実度の疑似ラベルを生成。 - 生成された疑似ラベルを大量の未ラベルデータに適用し、報酬関数を学習。 - これにより人間の監督を大幅に削減。

4. どうやって有効だと検証した?

- locomotionとmanipulationのベンチマークで実験を実施。 - 限られたフィードバック予算下で最先端のOffline PbRL手法と比較し、優位性を実証。 - 視覚的distractorが存在する状況でのロバスト性を検証。 - 実ロボットタスクにおいて、最小限の人間入力で意味のある報酬を学習できることを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: Offline PbRLの最先端手法、Video Foundation Models (ViFMs)、Optimal Transport。 - 関連手法: Preference-based RL (PbRL)、Offline RL、Video Foundation Models。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tung M. Luu, Hwanhee Kim, Younghwan Lee, Chang D. Yoo

分類: cs.RO

原文アブストラクト

Conveying complex objectives to reinforcement learning (RL) agents often requires meticulous reward engineering. Preference-based RL (PbRL) offers a promising alternative by learning reward functions from human feedback, but its scalability is hindered by high labeling costs. Inspired by advances in Video Foundation Models (ViFMs), we present Video-based Optimal Transport Preference (VOTP), a semi-supervised framework that learns effective reward functions from only a handful of labels. By leveraging optimal transport to align visual trajectories within the rich representation space of ViFMs, VOTP effectively generates high-fidelity pseudo-labels for large amounts of unlabeled data, substantially reducing human supervision. Extensive experiments across locomotion and manipulation benchmarks demonstrate the superiority of VOTP, which outperforms state-of-the-art offline PbRL methods under limited feedback budgets. We also showcase the robustness of VOTP in the presence of visual distractors and validate its utility on real robotic tasks, where it learns meaningful rewards with minimal human input.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI