日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.15119

オープンエンド対話からの目標推論による柔軟なエージェントアラインメント

Flexible Agent Alignment with Goal Inference from Open-Ended Dialog

シェア:XThreadsFacebookLINEはてブBluesky

対話を通じてユーザーの目標を動的に推論し、LLMエージェントを柔軟にアラインメントする手法GOODを提案。買い物・家庭ロボティクス・コーディングの3領域で有効性を示した。

詳しい要約

1. どんなもの?

- 本研究は、LLM-based agents のための **Open-Universe Assistance Games (OU-AGs)** という形式的枠組みを導入する。 - 人間の選好を、離散的な自然言語ゴール上の動的に更新される分布として表現する。 - これを実現するオンライン手法 **GOOD (GOals from Open-ended Dialogue)** を提案する。 - 対象は、ゴールが未規定・無限・進化しうるオープンエンド対話における協調支援。 - 評価領域は grocery shopping、household robotics (AI2-THOR)、coding の3つ。

2. 先行研究と比べてどこがすごい?

- 既存の assistance game 定式化は、固定・事前定義された選好を仮定しており、オープンエンド対話でゴールが逐次改訂される状況では破綻する。 - 既存 LLM agents はマルチターン相互作用や協調設定でのユーザ意図モデル維持が苦手。 - 本研究は選好を動的な自然言語ゴール分布として扱い、明示的ゴール追跡なしの baseline より意味的に一貫したゴール表現と意図整合性の改善を示す。 - 大規模オフラインデータセットを必要とせず、データ効率的なオンライン手法である点が特徴。

3. 技術・手法の肝は?

- 人間の選好を、離散的な自然言語ゴール上の動的に更新される分布として表現する。 - **GOOD** は対話中に候補ゴールを抽出・ランク付けするオンライン手法。 - LLM-simulated users を用いてゴール仮説上の確率的推論を行う。 - これにより解釈可能で不確実性を考慮した選好表現を、大規模オフラインデータなしで実現する。 - 認知科学の preference construction の知見に基づく。

4. どうやって有効だと検証した?

- grocery shopping、household robotics (AI2-THOR)、coding の3つのテキストベース領域で **GOOD** を評価。 - 明示的ゴール追跡なしの baseline と比較。 - 結果として、意味的に一貫したゴール表現を生成し、各領域でユーザ意図との整合性を改善。 - 詳細な評価指標・被験者数などは要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 想定される論点として、LLM-simulated users による推論の現実ユーザへの一般化、オープンエンド対話でのスケーラビリティ、ゴール分布更新の収束性などが考えられるが、要旨には明記されていない。

6. 次に読むべき論文は?

- 要旨で参照・比較されている **assistance games** の既存定式化。 - ベースラインとしての明示的ゴール追跡なしの LLM agents。 - 評価環境である **AI2-THOR**。 - 関連概念として cognitive science の **preference construction**。 - その他の具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rachel Ma, Jingyi Qu, Andreea Bobu, Dylan Hadfield-Menell

分類: cs.AI, cs.CL, cs.LG, cs.RO

原文アブストラクト

We introduce Open-Universe Assistance Games (OU-AGs), a formal framework extending assistance games to LLM-based agents. Effective assistance requires reasoning over human preferences that are unbounded, underspecified, and evolving. Current LLM agents struggle in multi-turn interactions and with maintaining accurate models of user intent in collaborative settings. Existing assistance game formulations assume fixed, predefined preferences, an assumption that breaks down in open-ended dialogue where goals are revised incrementally and expressed in natural language. Grounded in cognitive science accounts of preference construction, we represent human preferences as a dynamically updated distribution over discrete natural-language goals. To operationalize OU-AGs, we introduce GOOD (GOals from Open-ended Dialogue), a data-efficient online method that extracts and ranks candidate goals during interaction, using LLM-simulated users to perform probabilistic inference over goal hypotheses. This allows for interpretable, uncertainty-aware preference representations without large offline datasets. We evaluate GOOD across three text-based domains: grocery shopping, household robotics (AI2-THOR), and coding. Compared to baselines without explicit goal tracking, GOOD produces semantically coherent goal representations and improves alignment with user intent across domains.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI