日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.17855

QuickLAP: 半自律エージェントのための高速言語-行動選好学習

QuickLAP: Quick Language-Action Preference Learning for Semi-Autonomous Agents

シェア:XThreadsFacebookLINEはてブBluesky

物理的な修正と言語によるフィードバックをベイズ的に統合し、LLMを用いて報酬関数をリアルタイムに学習する手法を提案。半自律運転シミュレータで報酬学習誤差を70%以上削減し、ユーザスタディでも高い理解度と協調性が示された。

詳しい要約

1. どんなもの?

- 半自律エージェントのための言語と物理フィードバックを融合する報酬学習フレームワーク - 名称は QuickLAP: Quick Language-Action Preference learning - Bayesian framework として報酬関数を real time で推定 - 対象は人間の行動と発話の両方から学ぶロボット - 物理的修正は grounded だが意図が曖昧 - 言語は高レベル目標を表すが物理的 grounding を欠く - 両 modality の相補性を扱うことを目的とする

2. 先行研究と比べてどこがすごい?

- 物理フィードバックのみ、または heuristic な multimodal baseline と比較 - 半自律運転 simulator で報酬学習誤差を 70% 以上削減 - 言語を『潜在選好に関する確率的観測』として扱う点が特徴 - どの reward feature が重要か、物理修正をどう解釈するかを明確化 - LLM を用いて自由発話から reward feature attention masks と preference shifts を抽出 - 物理フィードバックと closed-form update rule で統合 - 曖昧なフィードバックに頑健で高速・real-time な報酬学習を実現すると主張

3. 技術・手法の肝は?

- Bayesian framework で言語と物理フィードバックを融合 - 核となる着想: 言語をユーザの latent preferences に対する probabilistic observation とみなす - Large Language Models (LLMs) を利用 - free-form utterances から reward feature attention masks を抽出 - preference shifts を抽出 - 抽出した言語情報を物理フィードバックと closed-form update rule で統合 - これにより曖昧なフィードバックを扱いつつ高速・real-time・robust な報酬学習を狙う

4. どうやって有効だと検証した?

- 半自律運転 simulator での評価 - physical-only および heuristic multimodal baselines と比較し報酬学習誤差を 70% 以上削減 - 15 名参加の user study - QuickLAP をより理解しやすく協調的と評価 - baseline より学習された振る舞いを好む結果 - code は https://github.com/MIT-CLEAR-Lab/QuickLAP で公開

5. 議論はある?

- 要旨からは不明 - 限界や失敗ケース、LLM 抽出の誤りへの感度は記述なし - simulator 以外の実機ロボットへの一般化は要旨からは不明 - user study の詳細な条件や被験者属性は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている研究は明示されていない - 関連手法として以下が候補 - physical-only の報酬学習(learning from physical corrections / demonstrations) - heuristic multimodal baselines - LLM を用いた reward learning / preference inference - Bayesian inverse reinforcement learning - learning from language feedback 系の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jordan Abi Nader, David Lee, Nathaniel Dennler, Andreea Bobu

分類: cs.AI, cs.RO

原文アブストラクト

Robots must learn from both what people do and what they say, but either modality alone is often incomplete: physical corrections are grounded but ambiguous in intent, while language expresses high-level goals but lacks physical grounding. We introduce QuickLAP: Quick Language-Action Preference learning, a Bayesian framework that fuses physical and language feedback to infer reward functions in real time. Our key insight is to treat language as a probabilistic observation over the user's latent preferences, clarifying which reward features matter and how physical corrections should be interpreted. QuickLAP uses Large Language Models (LLMs) to extract reward feature attention masks and preference shifts from free-form utterances, which it integrates with physical feedback in a closed-form update rule. This enables fast, real-time, and robust reward learning that handles ambiguous feedback. In a semi-autonomous driving simulator, QuickLAP reduces reward learning error by over 70% compared to physical-only and heuristic multimodal baselines. A 15-participant user study further validates our approach: participants found QuickLAP significantly more understandable and collaborative, and preferred its learned behavior over baselines. Code is available at https://github.com/MIT-CLEAR-Lab/QuickLAP.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI