日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.23155

LAGEA: 言語ガイドによるロボット操作のための身体性エージェント

LAGEA: Language Guided Embodied Agents for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルによる言語フィードバックを強化学習の報酬形成に組み込み、ロボット操作タスクの成功率と収束速度を改善するフレームワークを提案。

詳しい要約

1. どんなもの?

- ロボット操作のための強化学習フレームワーク LAGEA (Language Guided Embodied Agents) を提案する研究。 - VLM (vision language model) が生成するエピソード単位・スキーマ制約付きの反省(reflection)を、時間的に接地した guidance に変換する。 - 自然言語を feedback として用い、embodied agent が失敗を診断し軌道修正できるかを問う。

2. 先行研究と比べてどこがすごい?

- 従来の foundation model は goal 記述に使われるが、自己の失敗から学ぶ原理的な仕組みが乏しかった。 - LAGEA は言語 feedback を時間的に接地し、step-wise shaping reward に変換する点が新しい。 - Meta-World MT10 と Robotic Fetch で SOTA 比 average success が random goals で 9.0%、fixed goals で 5.3%、fetch tasks で 17% 向上し、収束も速い。

3. 技術・手法の肝は?

- VLM によるエピソード単位・スキーマ制約付き reflection を簡潔な言語に要約する。 - 軌道中の決定的な瞬間(decisive moments)を特定し、feedback を視覚状態と shared representation で整合させる。 - goal progress と feedback agreement を bounded な step-wise shaping reward に変換する。 - その影響度を adaptive かつ failure-aware な係数で調整し、探索初期は密な信号、熟達に伴い減衰させる。

4. どうやって有効だと検証した?

- Meta-World MT10 と Robotic Fetch embodied manipulation benchmark で評価。 - SOTA 手法と比較し、random goals で 9.0%、fixed goals で 5.3%、fetch tasks で 17% の average success 改善を報告。 - 収束速度の向上も確認。

5. 議論はある?

- 言語を構造化し時間的に接地させることが、ロボットの自己反省と意思決定改善に有効であるという仮説を支持する結果。 - 失敗を考慮した係数により、探索初期の密な信号と熟達後の減衰を両立させる設計の妥当性が示唆される。 - 限界や失敗事例、他タスクへの汎化については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている SOTA 手法の詳細は要旨からは不明。 - 関連手法として VLM を用いた feedback・reflection 研究、language-conditioned reinforcement learning、shaping reward 設計、Meta-World および Robotic Fetch のベンチマーク研究を次に読むべき候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Abdul Monaf Chowdhury, Akm Moshiur Rahman Mazumder, Rabeya Akter, Safaeid Hossain Arib

分類: cs.RO

原文アブストラクト

Robotic manipulation benefits from foundation models that describe goals, but today's agents still lack a principled way to learn from their own mistakes. We ask whether natural language can serve as feedback, an error-reasoning signal that helps embodied agents diagnose what went wrong and correct course. We introduce LAGEA (Language Guided Embodied Agents), a framework that turns episodic, schema-constrained reflections from a vision language model (VLM) into temporally grounded guidance for reinforcement learning. LAGEA summarizes each attempt in concise language, localizes the decisive moments in the trajectory, aligns feedback with visual state in a shared representation, and converts goal progress and feedback agreement into bounded, step-wise shaping rewards whose influence is modulated by an adaptive, failure-aware coefficient. This design yields dense signals early when exploration needs direction and gracefully recedes as competence grows. On the Meta-World MT10 and Robotic Fetch embodied manipulation benchmark, LAGEA improves average success over the state-of-the-art (SOTA) methods by 9.0% on random goals, 5.3% on fixed goals, and 17% on fetch tasks, while converging faster. These results support our hypothesis: language, when structured and grounded in time, is an effective mechanism for teaching robots to self-reflect on mistakes and make better choices.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI