日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2509.15607

PRIMT: 基盤モデルによるマルチモーダルフィードバックと軌道合成を用いた選好ベース強化学習

PRIMT: Preference-based Reinforcement Learning with Multimodal Feedback and Trajectory Synthesis from Foundation Models

シェア:XThreadsFacebookLINEはてブBluesky

基盤モデルを活用してマルチモーダルな合成フィードバックと軌道生成を行い、人間の入力を減らしつつ選好ベース強化学習の曖昧さとクレジット割り当てを改善するフレームワークを提案。

詳しい要約

1. どんなもの?

- PbRL(Preference-based reinforcement learning)の新フレームワーク PRIMT を提案 - 目的は報酬設計なしでロボットに複雑な行動を教えること - 課題は人手入力の多さ、query ambiguity、credit assignment の困難 - foundation models(FMs)を活用し multimodal な合成フィードバックと軌道合成を行う - 2 つの locomotion と 6 つの manipulation タスクで評価

2. 先行研究と比べてどこがすごい?

- 従来の PbRL は大量の人間入力と query ambiguity・credit assignment に悩む - 単一モダリティの FM 評価に頼る先行手法と異なる - LLM と vision-language model の強みを統合する hierarchical neuro-symbolic fusion を採用 - より信頼でき包括的なフィードバックを目指す点が新規 - foresight trajectory generation と hindsight trajectory augmentation を組み合わせる

3. 技術・手法の肝は?

- hierarchical neuro-symbolic fusion strategy で LLM と vision-language model を統合 - ロボット行動評価を複数モダリティで行い合成フィードバックを生成 - foresight trajectory generation:bootstrapped samples で trajectory buffer を warm-start し初期の query ambiguity を低減 - hindsight trajectory augmentation:counterfactual reasoning を causal auxiliary loss と共に用い credit assignment を改善 - FMs による multimodal synthetic feedback と trajectory synthesis が中核

4. どうやって有効だと検証した?

- 2 つの locomotion タスクと 6 つの manipulation タスクで評価 - 複数の benchmark 上で実験 - FM-based baseline と scripted baseline に対して優位な性能を報告 - 具体的な指標・被験者数・統計手法は要旨からは不明

5. 議論はある?

- 人手入力依存の軽減や query ambiguity 緩和が主張される - credit assignment 改善のための causal auxiliary loss の効果が議論対象 - FM 評価の信頼性や neuro-symbolic fusion の寄与は要旨からは不明 - 限界・失敗事例・計算コスト・倫理的考察は要旨からは不明

6. 次に読むべき論文は?

- 比較対象の FM-based baseline および scripted baseline の原論文 - PbRL の基盤研究(preference-based reinforcement learning 全般) - LLM を用いた reward 設計・feedback 生成の関連研究 - vision-language model によるロボット行動評価の関連研究 - causal auxiliary loss や counterfactual reasoning を用いた credit assignment 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruiqi Wang, Dezhong Zhao, Ziqin Yuan, Tianyu Shao, Guohua Chen, Dominic Kao, Sungeun Hong, Byung-Cheol Min

分類: cs.RO

原文アブストラクト

Preference-based reinforcement learning (PbRL) has emerged as a promising paradigm for teaching robots complex behaviors without reward engineering. However, its effectiveness is often limited by two critical challenges: the reliance on extensive human input and the inherent difficulties in resolving query ambiguity and credit assignment during reward learning. In this paper, we introduce PRIMT, a PbRL framework designed to overcome these challenges by leveraging foundation models (FMs) for multimodal synthetic feedback and trajectory synthesis. Unlike prior approaches that rely on single-modality FM evaluations, PRIMT employs a hierarchical neuro-symbolic fusion strategy, integrating the complementary strengths of large language models and vision-language models in evaluating robot behaviors for more reliable and comprehensive feedback. PRIMT also incorporates foresight trajectory generation, which reduces early-stage query ambiguity by warm-starting the trajectory buffer with bootstrapped samples, and hindsight trajectory augmentation, which enables counterfactual reasoning with a causal auxiliary loss to improve credit assignment. We evaluate PRIMT on 2 locomotion and 6 manipulation tasks on various benchmarks, demonstrating superior performance over FM-based and scripted baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI