日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2511.15055

行動量子化と軌道最適化による人間らしい強化学習エージェントの学習

Learning Human-Like RL Agents Through Trajectory Optimization With Action Quantization

シェア:XThreadsFacebookLINEはてブBluesky

人間のデモをベクトル量子化VAEでマクロ行動に蒸留し、軌道最適化として人間らしさを定式化することで、報酬最大化と人間類似行動を両立する強化学習フレームワークMAQを提案した。

詳しい要約

1. どんなもの?

- 人間らしい振る舞いをする RL agent を目指す研究 - human-likeness を trajectory optimization として定式化 - 人間の行動に近い action sequence を求めつつ reward も最大化 - receding-horizon control を human-like learning に適用 - Macro Action Quantization (MAQ) という枠組みを提案 - 人間の demonstration を Vector-Quantized VAE で macro action に蒸留

2. 先行研究と比べてどこがすごい?

- 従来の RL は superhuman performance を達成する一方、human-like agent の設計はあまり注目されていない - 既存の reward-driven RL agent は人間と比べて不自然な行動をとることが多い - interpretability と trustworthiness への懸念があった - MAQ は trajectory similarity score を大きく改善 - human evaluation study で全 RL agent 中最高の human-likeness ranking を達成 - 既存の off-the-shelf RL algorithm に容易に統合可能

3. 技術・手法の肝は?

- human-likeness を trajectory optimization として定式化 - 目的は人間行動に近くかつ reward を最大化する action sequence の探索 - receding-horizon control を採用し tractable かつ効率的に実装 - Macro Action Quantization (MAQ) を導入 - Vector-Quantized VAE により人間の demonstration を macro action に蒸留 - macro action を介して人間らしい行動を生成

4. どうやって有効だと検証した?

- D4RL Adroit benchmarks で実験 - trajectory similarity score の向上を確認 - human evaluation study を実施 - 全 RL agent 中で最高の human-likeness ranking を獲得 - 各種 off-the-shelf RL algorithm への統合可能性も示す

5. 議論はある?

- human-likeness と reward 最大化の両立を trajectory optimization として扱う点に議論の余地 - receding-horizon control の適用による効率性と tractability のバランス - Vector-Quantized VAE による macro action 蒸留の汎用性 - 詳細な限界や失敗事例は要旨からは不明 - interpretability と trustworthiness への貢献度は要旨からは不明

6. 次に読むべき論文は?

- D4RL Adroit benchmarks 関連の研究 - Vector-Quantized VAE を用いた action quantization 研究 - receding-horizon control / model predictive control 関連 - human-like RL agent の先行研究 - off-the-shelf RL algorithms(例:一般的な model-free RL 手法)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jian-Ting Guo, Yu-Cheng Chen, Ping-Chun Hsieh, Kuo-Hao Ho, Po-Wei Huang, Ti-Rong Wu, I-Chen Wu

分類: cs.AI, cs.LG, cs.RO

原文アブストラクト

Human-like agents have long been one of the goals in pursuing artificial intelligence. Although reinforcement learning (RL) has achieved superhuman performance in many domains, relatively little attention has been focused on designing human-like RL agents. As a result, many reward-driven RL agents often exhibit unnatural behaviors compared to humans, raising concerns for both interpretability and trustworthiness. To achieve human-like behavior in RL, this paper first formulates human-likeness as trajectory optimization, where the objective is to find an action sequence that closely aligns with human behavior while also maximizing rewards, and adapts the classic receding-horizon control to human-like learning as a tractable and efficient implementation. To achieve this, we introduce Macro Action Quantization (MAQ), a human-like RL framework that distills human demonstrations into macro actions via Vector-Quantized VAE. Experiments on D4RL Adroit benchmarks show that MAQ significantly improves human-likeness, increasing trajectory similarity scores, and achieving the highest human-likeness rankings among all RL agents in the human evaluation study. Our results also demonstrate that MAQ can be easily integrated into various off-the-shelf RL algorithms, opening a promising direction for learning human-like RL agents. Our code is available at https://rlg.iis.sinica.edu.tw/papers/MAQ.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI