日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作arXiv:2605.27947

SANTS: ワールドアクションモデルのための状態適応型スケジューラ

SANTS: A State-Adaptive Scheduler for World Action Models

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ生成に基づくロボット操作モデルにおいて、アクション生成に最適なノイズ除去深度を状態に応じて適応的に決定する軽量スケジューラを提案し、成功率を維持しつつレイテンシを大幅に削減した。

詳しい要約

1. どんなもの?

- World Action Models (WAMs) の一種である pixel-space WAM において、video denoising の深さを固定せず、状態に応じて適応的に選ぶ scheduler を提案。 - 提案手法は State-Adaptive Noise Trajectory Scheduler (SANTS) と呼ばれ、video-to-action diffusion policy に組み込まれる。 - 各 video decision point で現在の video-state representation と noise level を読み、cumulative stopping hazard と relative noise-progression ratio を同時に予測する。 - これにより、action generation に最適な video noise trajectory 上の点を動的に決定し、冗長な video-state 更新を抑制する。

2. 先行研究と比べてどこがすごい?

- 従来の pixel-space WAM では、action condition として fully denoised video を用いるのが一般的だが、必ずしも最適ではないことを示した。 - Controlled denoising-depth scans により、video refinement は state-dependent な点まで action error を減らすが、それ以降は飽和または逆効果になる場合があることを発見。 - 固定の terminal denoising depth ではなく、状態依存の点を選ぶべきという知見に基づき、SANTS は下流の action quality を直接最適化する点で先行研究と異なる。 - 冗長な video-state 更新を明示的にペナルティ化することで、推論コストを大幅に削減しつつ性能を維持する。

3. 技術・手法の肝は?

- SANTS は video-to-action diffusion policy 向けの軽量 scheduler であり、各 video decision point で video-state representation と noise level を入力とする。 - 出力として cumulative stopping hazard(いつ video denoising を止めるか)と relative noise-progression ratio(ノイズ進行の相対比)を同時に予測する。 - Post-training では、凍結された action branch が最終 action chunk を生成した後に計算される path-level reward を用いる。 - これにより、中間の video fidelity ではなく下流の action quality を直接最適化し、冗長な video-state 更新にはペナルティを与える。

4. どうやって有効だと検証した?

- RoboTwin 2.0 において overall success 94.4% を達成。 - 7つの real-robot タスクで平均 success 73.1% を達成。 - 完全な video denoising と比較して、latency をそれぞれ 81.7% および 79.0% 削減。 - これらの結果から、video noise trajectory に沿った適応的選択が WAM スタイルの future reasoning の制御上の利点を保ちつつ、冗長な推論コストを大幅に削減できることを示した。

5. 議論はある?

- 要旨からは、SANTS の限界や失敗ケース、他の WAM への一般化可能性についての議論は明示されていない。 - ただし、video refinement が state-dependent な点を超えると action error が飽和または逆転する現象が示唆されており、適応的停止の重要性が議論の中心となっている。 - 冗長な video-state 更新のペナルティがどの程度性能に影響するか、また reward 設計の詳細については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法として World Action Models (WAMs)、pixel-space WAMs、video-to-action diffusion policies が挙げられる。 - 同分野の定番として、diffusion policy、video diffusion models、robot manipulation における future representation を用いた手法(例: UniPi, SuSIE, GR-1 など)が次に読むべき候補となる。 - また、controlled denoising-depth scans の元論文や、RoboTwin 2.0 ベンチマークの詳細についても参照する価値がある。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yirui Sun, Guangyu Zhuge, Keliang Liu, Jie Gu, Xinyu Bing, Zhongxue Gan, Chunxu Tian

分類: cs.RO

原文アブストラクト

World Action Models (WAMs) improve robot manipulation by using video-based future representations to condition action generation. In pixel-space WAMs, however, the best action condition is not necessarily the fully denoised video. Controlled denoising-depth scans show that video refinement can reduce action error up to a state-dependent point, after which the gain may saturate or even reverse when late predictions become less action-relevant or physically unreliable. This suggests that action generation should use a state-dependent point along the video noise trajectory rather than a fixed terminal denoising depth. We introduce State-Adaptive Noise Trajectory Scheduler (SANTS), a lightweight scheduler for video-to-action diffusion policies. At each video decision point, SANTS reads the current video-state representation and noise level, then jointly predicts a cumulative stopping hazard and a relative noise-progression ratio. SANTS is post-trained with a path-level reward computed after the frozen action branch generates the final action chunk, so the scheduler is optimized for downstream action quality rather than intermediate video fidelity, while redundant video-state updates are explicitly penalized. Experiments show that SANTS reaches \(94.4\%\) overall success on RoboTwin 2.0 and \(73.1\%\) average success across seven real-robot tasks, while reducing latency by \(81.7\%\) and \(79.0\%\) relative to full video denoising, respectively. These results indicate that adaptive selection along the video noise trajectory can preserve the control benefits of WAM-style future reasoning while removing much of its redundant inference cost.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI