日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2606.25398

MAPL: ロボット歩行のための多目的選好学習

MAPL: Multi-Objective Preference Learning for Robot Locomotion

シェア:XThreadsFacebookLINEはてブBluesky

手動設計の報酬関数を使わず、大規模言語モデルによる多目的選好学習で四足歩行ポリシーを訓練するフレームワークを提案。

詳しい要約

1. どんなもの?

- ロボットlocomotionのための強化学習において、報酬設計のボトルネックを解消する手法。 - 自然言語による高レベル目標からlocomotion報酬を学習するフレームワーク。 - 大規模言語モデル(LLM)を活用し、手動で設計した報酬方程式を不要にする。 - 複数の競合する目的を捉えるため、多目的の選好学習を行う。 - 四足歩行locomotion環境で評価。

2. 先行研究と比べてどこがすごい?

- 既存のLLMベースの選好学習は、行動間の単一の全体的判断を求めるため、複数の競合目的を捉えにくい。 - MAPLは、意味的に意味のある基準ごとに独立して軌道を比較する。 - 地形不変でドメイン知識をほとんど必要としない汎用言語記述を使用。 - タスク固有の報酬エンジニアリングを排除しつつ、専門家設計の報酬と同等以上の性能を達成。

3. 技術・手法の肝は?

- LLMに、意味的に意味のある基準に沿って軌道を独立に比較させる。 - 基準は地形不変で汎用的な言語記述。 - 目的ごとの選好を用いて、マルチヘッド選好スコアリングモデルを訓練。 - モデルの出力を集約してスカラー報酬を形成し、方策最適化に使用。 - 手動の報酬設計を排除。

4. どうやって有効だと検証した?

- 4つの四足歩行locomotion環境で評価。 - LLM生成の選好のみを用いて方策を訓練。 - 専門家設計の報酬と比較して、同等以上の性能を達成。 - タスク固有の報酬エンジニアリングを排除できることを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 既存のLLMベースの選好学習(preference-based reinforcement learning)、専門家設計の報酬。 - 関連手法: 多目的選好学習、マルチヘッド選好スコアリングモデル。 - 同分野の定番: 強化学習における報酬設計、preference-based reinforcement learning。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiyue Chen, Muhan Lin, Shuyang Shi, Joseph Campbell

分類: cs.RO

原文アブストラクト

Reward design remains a major bottleneck in reinforcement learning for robot locomotion, where successful policies often depend on carefully tuned, task-specific reward functions. Preference-based reinforcement learning offers an alternative, but existing LLM-based methods typically ask for a single overall judgment between behaviors, making it difficult to capture the multiple competing objectives that underlie high-quality locomotion. We present Multi-Objective AI-Informed Preference Learning (MAPL), a framework that learns locomotion rewards from high-level natural language objectives rather than manually engineered reward equations. MAPL prompts a large language model to compare trajectories independently along semantically meaningful criteria, using generic language descriptions that are terrain-invariant and require little domain expertise. These objective-wise preferences are used to train a multi-head preference scoring model, whose outputs are aggregated to form a scalar reward for policy optimization. Across four quadruped locomotion environments, MAPL trains policies using only LLM-generated preferences and achieves performance comparable to or better than expert-designed rewards, while eliminating task-specific reward engineering.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI