日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2604.24127

人間フィードバックを活用した意味的に有用なスキル発見

Leveraging Human Feedback for Semantically-Relevant Skill Discovery

シェア:XThreadsFacebookLINEはてブBluesky

強化学習における教師なしスキル発見に人間のフィードバックを組み込み、意味的に多様で関連性のあるスキルを効率的に発見する手法を提案した。

詳しい要約

1. どんなもの?

- 強化学習における教師なしskill discoveryの手法。 - 人間のフィードバックを活用し、意味的に多様で関連性の高いskillを発見する。 - 提案手法はSemantically Relevant Skill Discovery (SRSD)と呼ばれる。 - 人間からsemantic labelを収集し、reward functionを学習する。 - 2D navigation環境と4つのlocomotion環境で実験。

2. 先行研究と比べてどこがすごい?

- 従来の教師なしskill discoveryは安全でない、非倫理的、またはmisalignedな行動を生む可能性がある。 - 最近のpreference-based approachはフィードバック効率が悪く、多様なskill空間に対応しにくい。 - SRSDはsemantic labellingによりフィードバック効率を改善し、多様な行動にスケールする。 - 従来手法と比べてsemantic diversityと関連性の向上を実現。

3. 技術・手法の肝は?

- semantic labelling: 人間の認知能力を利用して意味的に有意な行動を特定・ラベル付けする。 - human-in-the-loopアプローチで、人間からsemantic labelを収集。 - 収集したラベルに基づき、skillがよりsemantically diverseでrelevantになるようreward functionを学習。 - これにより、多様なskill空間でも効率的に学習。

4. どうやって有効だと検証した?

- 2D navigation環境と4つのlocomotion環境で実験を実施。 - SRSDがsemantic diversityを向上させ、関連する行動を発見できることを示した。 - 多数の行動に効果的にスケールすることを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: preference-based approaches, unsupervised skill discovery。 - 関連手法: semantic labelling, human-in-the-loop。 - 同分野の定番: DIAYN, DADS, VIC。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Maxence Hussonnois, Thommen George Karimpanal, Santu Rana

分類: cs.LG, cs.AI

原文アブストラクト

Unsupervised skill discovery in reinforcement learning aims to intrinsically motivate agents to discover diverse and useful behaviours. However, unconstrained approaches can produce unsafe, unethical, or misaligned behaviours. To mitigate these risks and improve the practical desireability of discovered skills, recent work grounds the discovery process by leveraging human preference feedback. However, preference-based approaches are feedback-inefficient and inherently ill-equipped to deal with skill spaces composed of a variety of different skills such as running, jumping, walking, etc. To overcome this limitation, we introduce semantic labelling, a novel and feedback-efficient approach that leverages human cognitive strengths to identify and label semantically meaningful behaviours. Based on semantic labelling, we propose Semantically Relevant Skill Discovery (SRSD), a novel human-in-the-loop approach that collects semantic labels from human feedback and learns a reward function to encourage skills to be more semantically diverse and relevant. Through our experiments in a 2D navigation environment and four locomotion environments, we demonstrate that SRSD can improve semantic diversity and discover relevant behaviours while scaling effectively to a large variety of behaviours.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI