日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ユーザー適応/好み学習arXiv:2603.09011

相互作用による改善:CMA-ES-IGによる行動表現空間の探索

Improving through Interaction: Searching Behavioral Representation Spaces with CMA-ES-IG

シェア:XThreadsFacebookLINEはてブBluesky

ユーザーの好みをランキングから学習する際、ユーザー体験を考慮して知覚的に異なる情報豊富な軌道を提案するCMA-ES-IGアルゴリズムを提案し、シミュレーションと実機実験で有効性を示した。

詳しい要約

1. どんなもの?

- ロボットが人間と相互作用する際に、個々のユーザの好みに適応するための手法。 - 非専門家ユーザの好みをランキングから学習する。 - 既存手法はサンプル効率や最終的な好み推定精度などの結果に焦点を当てていた。 - 本研究では、ユーザ体験を考慮したCMA-ES-IGアルゴリズムを提案。 - 知覚的に区別しやすく情報量の多い軌道を提示し、ランキングを求める。

2. 先行研究と比べてどこがすごい?

- 既存手法は結果(サンプル効率や精度)を重視し、ユーザ体験を無視していた。 - CMA-ES-IGはユーザ体験を明示的に組み込む。 - 既存の最先端手法と比較して、以下の利点がある: - 高次元の好み空間へのスケーラビリティが高い。 - 高次元問題でも計算可能性を維持。 - ノイズの多い/一貫性のないユーザフィードバックに頑健。 - 非専門家ユーザが好みのロボット行動を特定する際に好む。

3. 技術・手法の肝は?

- Covariance Matrix Adaptation Evolution Strategies with Information Gain (CMA-ES-IG) を提案。 - ユーザ体験を考慮し、知覚的に区別しやすく情報量の多い軌道を提案する。 - 情報利得 (Information Gain) を活用して、好み学習のためのクエリを生成。 - CMA-ESを用いて行動表現空間を探索。 - 具体的なアルゴリズムの詳細は要旨からは不明。

4. どうやって有効だと検証した?

- シミュレーション研究と実ロボット実験の両方で有効性を検証。 - 既存の最先端手法と比較して、以下の点を実証: - 高次元の好み空間へのスケーラビリティ。 - 高次元問題での計算可能性の維持。 - ノイズの多い/一貫性のないユーザフィードバックへの頑健性。 - 非専門家ユーザによる選好。

5. 議論はある?

- 要旨からは、議論や限界についての明示的な記述はない。 - ユーザ体験の考慮がロボットシステムの採用に与える影響について言及。 - 具体的な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、ランキングに基づく好み学習、CMA-ES、情報利得を用いた能動学習が挙げられる。 - 同分野の定番として、Preference-based Reinforcement Learning (PbRL) や Bayesian Optimization などが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nathaniel Dennler, Zhonghao Shi, Yiran Tao, Andreea Bobu, Stefanos Nikolaidis, Maja Matarić

分類: cs.RO, cs.AI, cs.HC

原文アブストラクト

Robots that interact with humans must adapt to individual users' preferences to operate effectively in human-centered environments. An intuitive and effective technique to learn non-expert users' preferences is through rankings of robot behaviors, e.g., trajectories, gestures, or voices. Existing techniques primarily focus on generating queries that optimize preference learning outcomes, such as sample efficiency or final preference estimation accuracy. However, the focus on outcome overlooks key user expectations in the process of providing these rankings, which can negatively impact users' adoption of robotic systems. This work proposes the Covariance Matrix Adaptation Evolution Strategies with Information Gain (CMA-ES-IG) algorithm. CMA-ES-IG explicitly incorporates user experience considerations into the preference learning process by suggesting perceptually distinct and informative trajectories for users to rank. We demonstrate these benefits through both simulated studies and real-robot experiments. CMA-ES-IG, compared to state-of-the-art alternatives, (1) scales more effectively to higher-dimensional preference spaces, (2) maintains computational tractability for high-dimensional problems, (3) is robust to noisy or inconsistent user feedback, and (4) is preferred by non-expert users in identifying their preferred robot behaviors. This project's code is available at github.com/interaction-lab/CMA-ES-IG

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI