日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.39198

DSDyn-VLA:動き知覚・未来予測・リアルタイム補正を備えた二重ストリーム動的マニピュレーション枠組み

DSDyn-VLA: A Dual-Stream Dynamic Manipulation Framework with Motion Perception, Future Awareness, and Realtime Correction

シェア:XThreadsFacebookLINEはてブBluesky

動的環境でのVLAの知覚・遅延・制御ギャップを解決するため、遅いFlow-Plannerと速いRes-Refinerからなる二重ストリーム枠組みを提案し、動的物体操作ベンチマークDynBenchを導入した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルを動的環境(例:conveyor belt manipulation)に適用するためのフレームワーク。 - Slow-Fast Dual-Stream 構成で、motion-aware foresighted planning と real-time residual correction を統合。 - 遅い Flow-Planner がマクロ計画を担当し、速い Res-Refiner がリアルタイム補正を実施。 - 動的物体操作のための MuJoCo ベースのベンチマーク DynBench も提案。

2. 先行研究と比べてどこがすごい?

- 既存 VLA は静的タスクに強いが、動的環境では perception gap、latency gap、control gap の3つの限界がある。 - 提案手法はこれらのギャップを克服し、高遅延設定で SOTA と比べ失敗率を76%以上削減。 - 実世界動的設定で PI0.5 の約6倍、DynBench で約5倍の成功率を達成。

3. 技術・手法の肝は?

- Slow-Fast Dual-Stream アーキテクチャ。 - Flow-Planner: VLA に optical flow を追加して時間的知覚を強化し、future state awareness で推論遅延を先回りして補正。 - Res-Refiner: 軽量 RL ポリシーを用い、リアルタイム観測に基づき計画された action chunks に高頻度の閉ループ補正を注入。

4. どうやって有効だと検証した?

- Kinetix dynamic benchmark での高遅延設定で失敗率を76%以上削減。 - 実世界動的設定で PI0.5 の約6倍の成功率。 - DynBench で約5倍の成功率。 - 広範な実験により有効性を検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- PI0.5(比較対象として言及) - Kinetix dynamic benchmark(評価に使用) - MuJoCo(DynBench の基盤) - その他、VLA や動的マニピュレーションに関する研究が関連。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenhao Li, Xiu Su, Yu Han, Yichao Cao, Shan You, Chang Xu

分類: cs.RO

原文アブストラクト

While Vision-Language-Action (VLA) models excel in static tasks, they struggle in dynamic environments where objects are in motion (e.g., conveyor belt manipulation). We identify three fundamental limitations hindering current VLAs in these scenarios: the \textbf{perception gap}, where static visual inputs lack temporal motion cues; the \textbf{latency gap}, where inference delays render actions obsolete; and the \textbf{control gap}, caused by the open-loop action chunk execution without real-time adjustment. In this work, we propose \textbf{DSDyn-VLA}, a Slow-Fast \textbf{D}ual-\textbf{S}tream \textbf{Dyn}amic manipulation framework that integrates motion-aware foresighted planning with real-time residual correction. The slow \textbf{Flow-Planner} serves as a macro-planner. By enhancing the VLA with optical flow for temporal perception and a future state awareness mechanism to preemptively offset inference latency, it produces globally consistent, motion-aware action chunks. Complementing this, the fast \textbf{Res-Refiner} employs a lightweight RL policy to inject high-frequency, closed-loop corrections into the planned action chunks based on real-time observations. In addition, we introduce \textbf{DynBench}, a MuJoCo-based benchmark for dynamic object manipulation that comprises nine tasks. Extensive experiments demonstrate that DSDyn-VLA reduces the failure rate by over 76\% compared to current SOTA method in high-latency setting on the Kinetix dynamic benchmark, while achieving about 6$\times$ the success rate of PI0.5 in real-world dynamic settings and about 5$\times$ on DynBench. We will open-source all the code and weights.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI