日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

人間参加型最適化arXiv:2609.22630

人間参加型最適化における順方向・逆方向同時学習

Simultaneous Forward and Inverse Human-in-the-Loop Optimization

シェア:XThreadsFacebookLINEはてブBluesky

ユーザーの選好から報酬関数を効率的に推定し、追加のユーザー試行なしに最適な制御方策を特定する手法を提案。

詳しい要約

1. どんなもの?

- 人間の主観的体験を重視した human-robot interaction のための手法。 - Simultaneous Forward and Inverse Human-In-the-Loop Optimization (SFIHILO) を提案。 - 個人固有の reward function を人間の outcome に対する preference から効率的に推定し、学習した reward を最大化する最終 control policy を同定する。 - 実験コストが高くクエリ数や最適化反復が限られる assistive 設定を想定。

2. 先行研究と比べてどこがすごい?

- 従来の inverse learning は人間データから reward を推定するが、実験コストが高い。 - 既存の mutual information に基づく active querying と比較して、提案手法は inverse learning の sample efficiency を大幅に改善。 - かつ forward model の精度を維持する点が優れている。 - forward と inverse の両方の不確実性を同時に考慮する点が新しい。

3. 技術・手法の肝は?

- forward model を bootstrap して control policy からユーザー outcome を予測。 - このモデルを active querying に用いて inverse reward learning を加速。 - 最終 control policy は追加のユーザー試行なしで最適化。 - 候補 policy を forward と inverse の信念の不確実性低減の期待値でスコアリング。 - regional preference boundary をターゲットにすることで同時学習を頑健に情報付与。

4. どうやって有効だと検証した?

- シミュレーションで検証。 - ユーザー異質性、outcome 次元数、精度要件、ノイズレベル、非定常性に対して有効性を確認。 - mutual information アプローチと比較し、inverse learning の sample efficiency が有意に向上。 - forward model の精度も維持されることを示した。

5. 議論はある?

- 潜在的な人間の目標を推論できる可能性を示す。 - より転移可能で効果的な human-robot interaction への応用が期待される。 - 限界や課題については要旨からは不明。

6. 次に読むべき論文は?

- mutual information に基づく active querying の関連研究。 - inverse reinforcement learning や human-in-the-loop optimization の一般的な手法。 - 要旨で具体的な論文名は参照されていないため、同分野の定番として上記を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kyeongwon Park, Steven H. Collins

分類: cs.RO

原文アブストラクト

Subjective user experience is important to human-robot interaction, but the outcomes users value, and how those preferences vary across individuals and contexts, are often unknown. While inverse learning approaches using human data can help identify user rewards, in many assistive settings the experimental costs of executing a control policy, measuring biomechanical or physiological outcomes, and collecting user feedback often limit the number of queries and optimization iterations. Here, we present Simultaneous Forward and Inverse Human-In-the-Loop Optimization (SFIHILO), which efficiently infers individual-specific reward functions from preferences over human outcomes and identifies a final control policy that maximizes the learned reward. SFIHILO bootstraps a forward model to predict user outcomes from control policies, uses this model for active querying to accelerate inverse reward learning, and then optimizes the final control policy without additional user trials. We score candidate policies by their expected reduction in uncertainty across both forward and inverse beliefs, targeting a regional preference boundary to robustly inform this simultaneous learning process. In simulation, we show that SFIHILO was effective across user heterogeneity, outcome dimensionalities, precision requirements, noise levels, and nonstationarity; compared with mutual information approaches, the proposed active querying strategy significantly improved sample efficiency in inverse learning while preserving forward model accuracy. This approach demonstrates the potential to infer latent human goals, enabling more transferable and effective human-robot interaction.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI