日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.16615

LLMによるタスク・アフォーダンスレベル探索を用いた強化学習

LLM-Guided Task- and Affordance-Level Exploration in Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルの計画をタスクとアフォーダンスの両レベルで活用し、強化学習の探索を効率化するフレームワークLLM-TALEを提案。把持・配置タスクで成功率とサンプル効率が向上し、実機へのゼロショット転移も示した。

詳しい要約

1. どんなもの?

- LLM-TALE というフレームワークの提案 - ロボットマニピュレーションの RL における探索を LLM の計画で直接誘導する - タスクレベルと affordance レベルの両方で計画を統合 - 標準的な RL ベンチマークの pick-and-place タスクで評価 - 実機実験で zero-shot sim-to-real 転移の可能性を示す

2. 先行研究と比べてどこがすごい?

- 近年の LLM を活用した探索誘導手法との比較 - 先行手法は LLM 生成の計画や報酬を最適と仮定する傾向 - LLM-TALE はオンラインで suboptimality を補正する点が異なる - 人間の supervision なしで multimodal な affordance レベル計画を探索 - 意味的に妥当でも物理的に実行不可能な LLM 計画の問題に対処

3. 技術・手法の肝は?

- LLM の計画を RL 探索の直接的な誘導に利用 - タスクレベル計画と affordance レベル計画の二段階統合 - 意味的に有意義な行動へエージェントを誘導し学習効率を改善 - オンラインで LLM 計画の suboptimality を補正 - multimodal な affordance レベル計画を人手なしで探索 - 詳細なアルゴリズムは要旨からは不明

4. どうやって有効だと検証した?

- 標準的な RL ベンチマークの pick-and-place タスクで評価 - 強い baseline と比較して sample efficiency と成功率の改善を観測 - 実機ロボット実験を実施 - zero-shot sim-to-real 転移に有望な結果 - 定量的な詳細や baseline 名は要旨からは不明

5. 議論はある?

- LLM 計画の意味的妥当性と物理的実行可能性の乖離が動機 - 先行手法の「LLM 計画=最適」仮定への批判的立場 - オンライン補正により suboptimal な計画の影響を緩和 - 限界や失敗事例の詳細は要旨からは不明 - 実機実験の規模や条件は要旨からは不明

6. 次に読むべき論文は?

- LLM を用いた RL 探索誘導の先行研究(要旨で参照される prior approaches) - LLM の commonsense knowledge を活用したロボット計画手法 - affordance に基づくロボットマニピュレーション研究 - sim-to-real 転移に関する研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jelle Luijkx, Runyu Ma, Zlatan Ajanović, Jens Kober

分類: cs.RO

原文アブストラクト

Reinforcement learning (RL) is a promising approach for robotic manipulation, but it can suffer from low sample efficiency and requires extensive exploration of large state-action spaces. Recent methods leverage the commonsense knowledge and reasoning abilities of large language models (LLMs) to guide exploration toward more meaningful states. However, LLMs can produce plans that are semantically plausible yet physically infeasible, yielding unreliable behavior. We introduce LLM-TALE, a framework that uses LLMs' planning to directly steer RL exploration. LLM-TALE integrates planning at both the task level and the affordance level, improving learning efficiency by directing agents toward semantically meaningful actions. Unlike prior approaches that assume optimal LLM-generated plans or rewards, LLM-TALE corrects suboptimality online and explores multimodal affordance-level plans without human supervision. We evaluate LLM-TALE on pick-and-place tasks in standard RL benchmarks, observing improvements in both sample efficiency and success rates over strong baselines. Real-robot experiments indicate promising zero-shot sim-to-real transfer. Code and supplementary material are available at llm-tale.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI