リアルタイムVLAに向けて：段階認識型2ステップフローデノイジングとシステムレベル評価

VLAモデルにおける低レート推論と高レートロボット実行の時間ギャップを、end-to-end latency計測で特徴づけ、その解決としてstage-awareな2段階非一様denoisingと分散リアルタイムVLAフレームワークを提案する研究。 - 推論コストの主因はRepeated Flow Matching denoising。 - ロボット側遅延はperception acquisition、communication scheduling、physical responseが主。 - 長期的なgarment-foldingタスクで6つのリアルタイム実行手法を評価。

先行研究と比べて、推論と実行チェーンのend-to-end latencyを計測し時間ギャップを定量化した点、velocity fieldの段階的異質性に基づきdenoisingステップを10から2へ削減した点が新しい。 - 推論時間を61.557 msから21.956 msへ短縮。 - 推論・action-publication・robot-controlを独立レートで動かす分散フレームワークを構築。 - 訓練ベースと訓練不要の実行手法を同一タスクで比較。

技術の肝は、Flow Matchingのvelocity field解析に基づく2段階非一様denoisingと、モジュール型観測取得・action-provenance loggingを備えた分散リアルタイムVLAフレームワーク。 - 初期積分では速度の大きさと方向が比較的安定。 - 終盤ステップでは方向補正が強いという段階異質性を利用。 - 推論、action-publication、robot-controlのレートを独立に設定可能。

π0.5をベースラインに、長期的な物理garment-foldingタスクで6つのリアルタイム実行手法を評価。 - 訓練ベースではLegatoが総合最良。 - 訓練不要ではTemporal Smoothingが最良。 - 両手法はtask success、completion time、action continuity、acceleration smoothnessで強い性能。 - 2段階denoisingと代表実行手法の組み合わせで推論コストを大幅削減し、タスク性能の低下は小さい。

議論として、モデル推論効率とロボットシステムのタイミングのjoint optimizationの必要性を動機づけている。 - 2段階denoisingは推論コストを下げるがタスク性能は小さく低下。 - リアルタイム実行手法の選択が性能に影響。 - 具体的な限界や失敗事例は要旨からは不明。

要旨で参照・比較されている研究として、π0.5、Legato、Temporal Smoothingが挙げられる。 - 関連手法としてFlow Matching、Vision-language-action (VLA) modelsも参照。 - 同分野の定番としてreal-time robot execution、action chunking、temporal ensemblingも次に読む候補。