日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.37681

ProAct-VLM: 継続的知覚フィードバックによる失敗前の視覚言語タスク再計画

ProAct-VLM: Pre-Failure Vision-Language Task Replanning with Continuous Perception Feedback

シェア:XThreadsFacebookLINEはてブBluesky

VLMをリアルタイム知覚フィードバックループに組み込み、環境変化を検知した時点で失敗前に再計画する適応型タスク計画フレームワークを提案。

詳しい要約

1. どんなもの?

- 長期的なロボットタスクにおける予期せぬ環境変化に対応するため、VLMをリアルタイム知覚フィードバックループに統合した適応的なタスク計画フレームワーク「ProAct-VLM」を提案。 - 環境を継続的に監視し、関連する変化を検出すると即座に再計画することで、失敗が発生する前に適応する。 - 動的で長期的なマニピュレーションタスクにおいて、成功率と効率の両方を改善することを目指す。

2. 先行研究と比べてどこがすごい?

- 従来のルールベース意思決定は特定シナリオ向けに手調整され、オープンワールドでの一般化が困難。 - VLMは広い世界知識と視覚-テキスト推論を統合し多様なシナリオに一般化可能だが、動的環境での不確実性対応にはフレームワークへの組み込みが必要。 - 既存フレームワークは実行失敗後やタスク後のチェックで反応的に再計画するため、失敗リスクがある。 - 一部は行動前に条件を検証するが、離散的なチェックのため実行中の変化を見逃す。 - ProAct-VLMは実行中の変化を継続的に監視し、失敗前に再計画する点で先行研究と異なる。

3. 技術・手法の肝は?

- VLMをリアルタイムの知覚-フィードバックループに統合。 - 環境を連続的に監視し、関連する変化を検出すると即座に再計画をトリガー。 - 物理的に根拠のある適応的なタスク計画を実現。 - 具体的なVLMバックボーンや知覚モジュールの詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 複数のベースラインおよび異なるVLMバックボーンとの比較評価を実施。 - 動的で長期的なマニピュレーションタスクにおいて、成功率と効率の両方が改善することを示した。 - 具体的なタスク内容や評価指標の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 想定される議論点としては、リアルタイム監視の計算コスト、VLMの推論速度、変化検出の閾値設定、一般化性能などが考えられるが、要旨には明記されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、VLMをロボットタスク計画に用いる研究(例: SayCan, Code as Policies, VoxPoserなど)や、リアクティブ再計画フレームワーク(例: Inner Monologue, ReplanVLMなど)が挙げられる。 - 同分野の定番として、RT-1, RT-2, PaLM-EなどのVLMベースロボット制御研究も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ahmed Nader Ahmed, Omar Moured, Mughni Irfan Mohammed Abdul, Muhayy Ud Din, Irfan Hussain

分類: cs.RO

原文アブストラクト

Long-horizon robotic tasks are vulnerable to unexpected environmental changes that can render planned actions ineffective or unsafe. To address this, robots must detect such changes as they occur, interpret their impact, and adjust their actions accordingly. Traditional rule-based decision-making pipelines are brittle in open-world conditions, as they are hand-tuned for specific scenarios and lack generalization. Vision-Language Models (VLMs) offer a promising alternative as they combine broad world knowledge with unified visual--text reasoning, enabling them to generalize across diverse scenarios and generate accurate, grounded task plans. However, for effective deployment in dynamic real-world settings, VLMs must be embedded into frameworks capable of handling uncertainty and environmental changes. Existing frameworks broadly address this reactively, triggering replanning only after execution failures or post-task checks, risking failed actions. Some methods verify conditions before actions, but these discrete checks miss changes occurring during execution. To address this, we present ProAct-VLM, an adaptive, physically grounded task planning framework that integrates VLMs within a real-time perception--feedback loop. ProAct-VLM continuously monitors the environment and re-plans as soon as relevant changes are detected, enabling adaptation before failure occurs. Evaluations against multiple baselines and across different VLM backbones show that our framework improves both success rates and efficiency in dynamic, long-horizon manipulation tasks. Project page: https://github.com/moured/ProAct-VLM

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI