日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2603.05185

クリティック・イン・ザ・ループ:堅牢な長時間操作のための三系統VLAフレームワーク

Critic in the Loop: A Tri-System VLA Framework for Robust Long-Horizon Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

VLMの高次推論とVLAの高速実行を、軽量な視覚クリティックが動的に切り替える階層型フレームワークを提案し、長時間操作の堅牢性を向上させた。

詳しい要約

1. どんなもの?

- 長期的なロボットマニピュレーションにおける高レベル推論と低レベル制御の両立を目指すフレームワーク。 - VLM(Vision-Language Model)を「脳」、VLA(Vision-Language-Action)モデルを「小脳」、軽量な視覚Criticを組み合わせた三システム構成。 - Criticが作業空間を監視し、動的にVLMとVLAの制御権を切り替える。 - 通常のサブタスクはVLAで高速実行し、異常検知時のみVLMを呼び出して再計画する。

2. 先行研究と比べてどこがすごい?

- 従来のVLMは推論遅延が大きくリアルタイム実行に不向き、VLAは意味的深さに欠けるというトレードオフがあった。 - 本手法は動的スケジューリングにより、VLMクエリを最小化しつつ、OODシナリオでのロバスト性と自律性を大幅に向上。 - 長期的マニピュレーションベンチマークで最先端性能を達成。

3. 技術・手法の肝は?

- 生体模倣のTri-Systemアーキテクチャ:VLM brain(グローバル推論)、VLA cerebellum(反応実行)、軽量visual Critic。 - Criticが作業空間を継続監視し、タスク停滞や失敗などの実行異常を検出するとVLMをトリガーして再計画。 - 人間のルールに着想を得た無限リトライループの打破機構を統合。 - 視覚に基づくスケジューリングで高コストなVLMクエリを削減。

4. どうやって有効だと検証した?

- 挑戦的な長期的マニピュレーションベンチマークで包括的な実験を実施。 - 提案手法が最先端性能を達成したことを報告。 - 具体的なベンチマーク名や評価指標は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてVLA(Vision-Language-Action)モデル、VLM(Vision-Language Model)ベースのプランニング、階層的ロボット制御に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pengfei Yi, Yingjie Ma, Wenjiang Xu, Yanan Hao, Shuai Gan, Wanting Li, Shanlin Zhong

分類: cs.RO

原文アブストラクト

Balancing high-level semantic reasoning with low-level reactive control remains a core challenge in visual robotic manipulation. While Vision-Language Models (VLMs) excel at cognitive planning, their inference latency precludes real-time execution. Conversely, fast Vision-Language-Action (VLA) models often lack the semantic depth required for complex, long-horizon tasks. To bridge this gap, we introduce Critic in the Loop, an adaptive hierarchical framework driven by dynamic VLM-Expert scheduling. At its core is a bionic Tri-System architecture comprising a VLM brain for global reasoning, a VLA cerebellum for reactive execution, and a lightweight visual Critic. By continuously monitoring the workspace, the Critic dynamically routes control authority. It sustains rapid closed-loop execution via the VLA for routine subtasks, and adaptively triggers the VLM for replanning upon detecting execution anomalies such as task stagnation or failures. Furthermore, our architecture seamlessly integrates human-inspired rules to intuitively break infinite retry loops. This visually-grounded scheduling minimizes expensive VLM queries, while substantially enhancing system robustness and autonomy in out-of-distribution (OOD) scenarios. Comprehensive experiments on challenging, long-horizon manipulation benchmarks reveal that our approach achieves state-of-the-art performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI