日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2605.30928

階層的マクロ行動量子化による強化学習エージェントの人間らしさ向上

Enhancing Human-Likeness in Reinforcement Learning Agents via Hierarchical Macro Action Quantization

シェア:XThreadsFacebookLINEはてブBluesky

人間のデモンストレーションを階層的なベクトル量子化でマクロ行動に符号化し、報酬を最大化しつつ人間らしい行動系列を予測する強化学習フレームワークHiMAQを提案した。

詳しい要約

1. どんなもの?

本論文は、強化学習(RL)エージェントの人間らしさを高める新しいフレームワークを提案する。人間のデモンストレーションを階層的マクロ行動量子化(HiMAQ)でマクロ行動にエンコードし、報酬最大化と人間行動に近い行動系列の予測を両立させる。HiMAQは2段階のベクトル量子化からなり、下位レベルで入力行動を細粒度のサブアクションクラスタに、上位レベルでそれらを行動クラスタに集約する。D4RLベンチマークで評価し、非階層的ベースライン(MAQ)より人間らしさスコアが向上し、成功率も同等以上であることを示した。IQL、SAC、RLPDへの統合でも改善が一般化する。

2. 先行研究と比べてどこがすごい?

従来のRLエージェントは報酬駆動型で人間と異なる行動をとり、解釈性や信頼性に限界があった。本手法は人間のデモンストレーションを階層的マクロ行動量子化でエンコードし、人間らしさを明示的に向上させる点が新しい。非階層的ベースライン(MAQ)と比較して、D4RLベンチマークでより良い人間らしさスコアを達成しつつ、成功率も同等以上である。また、IQL、SAC、RLPDといった複数のRLアルゴリズムに統合可能で、改善が一般化する点も先行研究と異なる。

3. 技術・手法の肝は?

HiMAQは2段階のベクトル量子化からなる階層的マクロ行動量子化手法。下位量子化レベルで入力行動を細粒度のサブアクションクラスタにマッピングし、上位量子化レベルでこれらのサブアクションクラスタを行動クラスタに集約する。人間のデモンストレーションをマクロ行動にエンコードし、RLエージェントが報酬を最大化しながら人間行動に近い行動系列を予測できるようにする。この階層構造により、非階層的アプローチ(MAQ)よりも人間らしさと成功率のバランスを改善する。

4. どうやって有効だと検証した?

D4RLベンチマークを用いた広範な評価を実施。提案する階層的アプローチが非階層的ベースライン(MAQ)を上回り、より良い人間らしさスコアを達成しつつ、以前のRLエージェントと比較して同等以上の成功率を維持することを示した。さらに、IQL、SAC、RLPDという異なるRLアルゴリズムとの統合においても改善が一般化することを確認した。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

MAQ(非階層的ベースライン)、IQL、SAC、RLPD。関連手法としてD4RLベンチマークを用いた研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Usman Nizamani, M. Shaheer Luqman, Fawad Javed Fateh, Ali Shah Ali, Murad Popattia, M. Zeeshan Zia, Quoc-Huy Tran

分類: cs.RO

原文アブストラクト

Human-like agents are a long-standing goal of artificial intelligence. Despite strong performance, most reinforcement learning (RL) agents remain reward-driven and often exhibit behaviors that differ from humans, limiting interpretability and reliability. In this work, we introduce a novel human-like RL framework that predicts action sequences closely aligned with human behaviors while maximizing rewards. Specifically, we encode human demonstrations into macro actions using a hierarchical macro action quantization approach (termed HiMAQ) consisting of two successive levels of vector quantization. The lower quantization level maps input actions to fine-grained subaction clusters, while the higher quantization level aggregates these subaction clusters into action clusters. Extensive evaluations on the D4RL benchmarks show that our hierarchical approach outperforms the non-hierarchical baseline (MAQ), achieving better human-likeness scores while maintaining comparable or better success rates than previous RL agents. The improvements generalize across integrations with various RL algorithms, namely IQL, SAC, and RLPD.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI