日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.05135

LERa: 視覚フィードバックによる再計画で指示に従う

LERa: Replanning with Visual Feedback in Instruction Following

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルを用いて、生のRGB画像と指示・初期計画・失敗検知だけからシーンを記述し誤りを特定して計画を修正する再計画手法を提案し、動的環境や失敗を伴うタスクで成功率を大幅に改善した。

詳しい要約

1. どんなもの?

- 視覚フィードバックを用いた VLM ベースの再計画(replanning)手法 LERa の提案 - 入力は raw RGB 画像、自然言語 instruction、初期 task plan、failure detection のみ - Look / Explain / Replan の3段階で plan を修正 - 動的な scene 変化と task 実行失敗の両方に対応 - 様々な agent architecture に適用可能

2. 先行研究と比べてどこがすごい?

- 既存手法は object detection や事前定義条件など追加情報を必要とする - LERa は raw RGB 画像のみで再計画でき、入手困難な情報への依存を排除 - 動的環境で baseline 比 40% 改善 - PyBullet の tabletop manipulation で成功率を最大 67% 向上 - 実機 trial でも有効性を確認

3. 技術・手法の肝は?

- VLM を用い、Look / Explain / Replan の3ステップで再計画 - Look: scene description を生成し error を特定 - Explain: 修正のための corrective guidance を提示 - Replan: その guidance に基づき plan を修正 - 入力は RGB 画像・instruction・初期 plan・failure detection のみ - 動的 scene 変化と実行失敗の双方を扱える設計

4. どうやって有効だと検証した?

- 新規データセット ALFRED-ChaOS と VirtualHome-ChaOS で評価 - 動的環境で baseline 比 40% 改善 - PyBullet simulator の tabletop manipulation で task failure 確率を設定し評価、成功率最大 67% 向上 - tabletop manipulator robot による実世界 trial でも再計画の有効性を確認

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗事例の議論は記述なし) - 動的環境・実行失敗の両方に対応できる点を頑健性・適応性として主張 - 実機確認まで行い実用性を示唆するが、詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- ALFRED-ChaOS / VirtualHome-ChaOS の基盤となる ALFRED、VirtualHome - VLM ベースの task planning / replanning 関連手法(要旨では個別名の参照なし) - failure detection を用いた robot task execution 関連研究(要旨では個別名の参照なし)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Svyatoslav Pchelintsev, Maxim Patratskiy, Anatoly Onishchenko, Alexandr Korchemnyi, Aleksandr Medvedev, Uliana Vinogradova, Ilya Galuzinsky, Aleksey Postnikov, Alexey K. Kovalev, Aleksandr I. Panov

分類: cs.RO

原文アブストラクト

Large Language Models are increasingly used in robotics for task planning, but their reliance on textual inputs limits their adaptability to real-world changes and failures. To address these challenges, we propose LERa - Look, Explain, Replan - a Visual Language Model-based replanning approach that utilizes visual feedback. Unlike existing methods, LERa requires only a raw RGB image, a natural language instruction, an initial task plan, and failure detection - without additional information such as object detection or predefined conditions that may be unavailable in a given scenario. The replanning process consists of three steps: (i) Look - where LERa generates a scene description and identifies errors; (ii) Explain - where it provides corrective guidance; and (iii) Replan - where it modifies the plan accordingly. LERa is adaptable to various agent architectures and can handle errors from both dynamic scene changes and task execution failures. We evaluate LERa on the newly introduced ALFRED-ChaOS and VirtualHome-ChaOS datasets, achieving a 40% improvement over baselines in dynamic environments. In tabletop manipulation tasks with a predefined probability of task failure within the PyBullet simulator, LERa improves success rates by up to 67%. Further experiments, including real-world trials with a tabletop manipulator robot, confirm LERa's effectiveness in replanning. We demonstrate that LERa is a robust and adaptable solution for error-aware task execution in robotics. The project page is available at https://lera-robo.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI