日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.24219

ViReSkill: 視覚に基づく再計画とスキル記憶によるLLMベースの生涯ロボット学習

ViReSkill: Vision-Grounded Replanning with Skill Memory for LLM-Based Planning in Lifelong Robot Learning

シェア:XThreadsFacebookLINEはてブBluesky

LLM/VLMの計画を視覚情報で接地し、失敗時に再計画、成功した計画をスキルとして蓄積・再利用する枠組みを提案。LIBEROやRLBench、実機で成功率を向上させた。

詳しい要約

1. どんなもの?

- LLM/VLM を用いたロボットの motion planning フレームワーク - 名称は ViReSkill - vision-grounded replanning と skill memory を組み合わせる - 失敗時に再計画し、成功した計画を skill として蓄積・再利用する - 対象は lifelong robot learning における計画の安定化と継続学習

2. 先行研究と比べてどこがすごい?

- RL や IL で訓練されたロボットは新規タスクへの適応が遅い - LLM/VLM は少ないデータで知識豊富な計画を可能にするが、次の課題がある - symbolic plan が scene geometry や object physics に grounded されにくい - 同一 prompt でも出力が変動し実行信頼性が下がる - ViReSkill は vision-grounded replanning と skill memory によりこれらに対処 - 成功計画を再利用し、LLM/VLM 呼び出しなしで再実行 - 試行ごとに skill 集合を拡張し実行を安定化

3. 技術・手法の肝は?

- 失敗発生時に replanner が現在の scene と観測状態に条件づけて新たな action sequence を生成 - vision-grounded な再計画により scene geometry を反映 - 成功した計画を再利用可能な skill として保存 - 将来の同様の状況で LLM/VLM の追加呼び出しなしに replay - この feedback loop が autonomous continual learning を実現 - 各試行が即座に skill set を拡張し、以降の実行を安定化

4. どうやって有効だと検証した?

- LIBERO や RLBench などの simulator で評価 - 実機ロボット (physical robot) でも評価 - すべての設定で conventional baselines を task success rate で一貫して上回る - 頑健な sim-to-real generalization を示すと報告

5. 議論はある?

- 要旨からは不明 - 失敗検出の方法や skill memory の検索・汎化の限界は明示されていない - simulator と実機の具体的な設定や baseline の詳細も不明 - 主張としては、feedback loop による継続学習と実行安定化が中心的

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法として以下が候補 - LLM/VLM を用いた robot planning - vision-language grounding - skill memory / skill reuse - lifelong robot learning - LIBERO や RLBench を用いた benchmark 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tomoyuki Kagaya, Subramanian Lakshmi, Anbang Ye, Thong Jing Yuan, Jayashree Karlekar, Sugiri Pranata, Natsuki Murakami, Akira Kinose, Yang You

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Robots trained via Reinforcement Learning (RL) or Imitation Learning (IL) often adapt slowly to new tasks, whereas recent Large Language Models (LLMs) and Vision-Language Models (VLMs) promise knowledge-rich planning from minimal data. Deploying LLMs/VLMs for motion planning, however, faces two key obstacles: (i) symbolic plans are rarely grounded in scene geometry and object physics, and (ii) model outputs can vary for identical prompts, undermining execution reliability. We propose ViReSkill, a framework that pairs vision-grounded replanning with a skill memory for accumulation and reuse. When a failure occurs, the replanner generates a new action sequence conditioned on the current scene, tailored to the observed state. On success, the executed plan is stored as a reusable skill and replayed in future encounters without additional calls to LLMs/VLMs. This feedback loop enables autonomous continual learning: each attempt immediately expands the skill set and stabilizes subsequent executions. We evaluate ViReSkill on simulators such as LIBERO and RLBench as well as on a physical robot. Across all settings, it consistently outperforms conventional baselines in task success rate, demonstrating robust sim-to-real generalization.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI