日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2509.05368

計画とコードのリフレクションによる長期的視覚模倣学習

Long-Horizon Visual Imitation Learning via Plan and Code Reflection

シェア:XThreadsFacebookLINEはてブBluesky

長期的な視覚模倣学習のためのエージェントフレームワークを提案し、計画生成とコード生成にそれぞれリフレクションモジュールを導入して時系列・空間的な整合性を検証・修正する。また、最大18ステップの行動系列を含む300の人間デモからなるベンチマークLongVILBenchを構築した。

詳しい要約

1. どんなもの?

- 長期的な視覚模倣学習(long-horizon visual imitation learning)のための新しいエージェントフレームワーク - 複雑な行動系列を含む実演から学習する課題を扱う - 2つのreflection module(plan reflectionとcode reflection)を組み込む - あわせて新しいベンチマークLongVILBenchを提案 - 300のhuman demonstrations、最大18ステップの行動系列 - 時間的・空間的複雑さを重視した複数タスクタイプ

2. 先行研究と比べてどこがすごい?

- 既存手法はLongVILBench上で性能が低いと報告 - 提案フレームワークはplanとcodeの両生成に専用reflection moduleを導入 - 時間的整合性・空間的整合性の検証をplan段階で行う点が特徴 - code段階でもplanとの一貫性・正しさを検証・洗練 - これにより長期タスクの時間的・空間的依存関係の誤り検出・修正を狙う - 具体的な先行研究名との比較は要旨からは不明

3. 技術・手法の肝は?

- エージェントフレームワークは2つのreflection moduleで構成 - plan generation module - 初期のaction sequenceを生成 - plan reflection module - 生成planを実演videoと照合し、temporal coherenceとspatial alignmentを検証 - code generation module - planを実行可能なcodeへ変換 - code reflection module - 生成codeの正しさとplanとの一貫性を検証・refine - 2つのreflectionが連携し、plan/code双方の誤りを検出・修正

4. どうやって有効だと検証した?

- 新ベンチマークLongVILBenchを構築して系統的に評価 - 300のhuman demonstrations、最大18ステップ - 複数タスクタイプで時間的・空間的複雑さを重視 - 実験結果で既存手法が本ベンチマークで低性能であることを示す - 提案フレームワークがlong-horizon visual imitation learningのstrong baselineを確立 - 具体的な指標・被験者数・比較手法名は要旨からは不明

5. 議論はある?

- 既存手法がLongVILBenchで苦戦する点を議論 - planとcodeの両レベルでのreflectionによる誤り修正の有効性を示唆 - 長期タスクにおける時間的・空間的依存関係の重要性を強調 - 限界・失敗事例・計算コスト・汎化性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- LongVILBench(本論文で提案されたベンチマーク) - visual imitation learningのlong-horizon手法(関連手法名は要旨からは不明) - plan generationおよびcode generationに関するreflection手法 - 具体的に参照・比較された研究は要旨からは不明のため、同分野の定番としてimitation learning、vision-language model、code generationの関連研究を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Quan Chen, Chenrui Shi, Qi Chen, Yuwei Wu, Zhi Gao, Xintong Zhang, Rui Gao, Kun Wu, Yunde Jia

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Learning from long-horizon demonstrations with complex action sequences presents significant challenges for visual imitation learning, particularly in understanding temporal relationships of actions and spatial relationships between objects. In this paper, we propose a new agent framework that incorporates two dedicated reflection modules to enhance both plan and code generation. The plan generation module produces an initial action sequence, which is then verified by the plan reflection module to ensure temporal coherence and spatial alignment with the demonstration video. The code generation module translates the plan into executable code, while the code reflection module verifies and refines the generated code to ensure correctness and consistency with the generated plan. These two reflection modules jointly enable the agent to detect and correct errors in both the plan generation and code generation, improving performance in tasks with intricate temporal and spatial dependencies. To support systematic evaluation, we introduce LongVILBench, a benchmark comprising 300 human demonstrations with action sequences of up to 18 steps. LongVILBench emphasizes temporal and spatial complexity across multiple task types. Experimental results demonstrate that existing methods perform poorly on this benchmark, whereas our new framework establishes a strong baseline for long-horizon visual imitation learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI