日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.17638

レジスタを介した行動生成:世界行動モデルにおける空間外れ値の再編成

Acting Through Registers

シェア:XThreadsFacebookLINEはてブBluesky

世界行動モデルの表現に現れる高ノルムな空間外れ値に着目し、学習可能な非空間レジスタを導入して行動条件付けに用いるRegisterWAMを提案。観測フローマッチング損失と組み合わせることで外れ値を抑制し、LIBERO-PlusやRoboTwin 2.0で高い成功率を達成した。

詳しい要約

1. どんなもの?

- World Action Models (WAMs) の表現を解析し、action-relevant な情報が高ノルムの spatial outliers に集中していることを発見。 - この知見に基づき、learnable non-spatial registers を world model に追加し、action conditioning に直接用いる RegisterWAM を提案。 - registers 単独では spatial outliers を完全には除去できないが、observation flow-matching (FM) loss supervision と組み合わせることで outliers を抑制し、高ノルム応答を registers に集中させる。 - さらに noised-observation FM objective を導入し、corrupted inputs から current-scene recovery を学習。 - LIBERO-Plus で 81.64% 成功、RoboTwin 2.0 で平均 93.0% 成功、実世界 manipul…

2. 先行研究と比べてどこがすごい?

- 従来の WAMs は generative visual representations を action conditioning に用いるが、表現が action-relevant 情報をどう組織化するか不明だった。 - 本研究は persistent high-norm spatial outliers を特定し、normalization や K/V projection 後も action relevance が持続することを示した。 - この分析に基づく RegisterWAM は、追加の embodied pretraining data や foundation models なしで LIBERO-Plus 81.64%、RoboTwin 2.0 93.0% を達成。 - 従来手法との直接比較は要旨からは不明だが、追加データ・基盤モデル不要で高性能を実現した点が特徴。

3. 技術・手法の肝は?

- WAMs 表現における persistent high-norm spatial outliers を分析。 - learnable non-spatial registers を world model に追加し、action conditioning に直接使用。 - registers と observation flow-matching (FM) loss supervision を組み合わせ、spatial outliers を抑制し高ノルム応答を registers に集中。 - observation FM loss supervision は registers なしでも action learning を改善。 - さらに noised-observation FM objective を導入し、corrupted inputs から current-scene recovery を学習。

4. どうやって有効だと検証した?

- LIBERO-Plus ベンチマークで 81.64% の成功率を達成(追加の embodied pretraining data や foundation models なし)。 - RoboTwin 2.0 で平均 93.0% の成功率を達成。 - 実世界 manipulation タスクで性能向上を確認。 - 具体的な実験設定や比較手法の詳細は要旨からは不明。

5. 議論はある?

- registers 単独では spatial outliers を完全には除去できないことが示された。 - observation FM loss supervision との組み合わせが outliers 抑制と registers への高ノルム応答集中に有効。 - observation FM loss supervision は registers なしでも action learning を改善する。 - 限界や今後の課題についての議論は要旨からは不明。

6. 次に読むべき論文は?

- World Action Models (WAMs) に関する先行研究(要旨で具体的な論文名は参照されていない)。 - flow-matching (FM) を用いた手法(observation flow-matching loss supervision の基盤)。 - LIBERO-Plus および RoboTwin 2.0 ベンチマークに関する研究。 - 関連分野の定番として、vision-language-action models (VLAs) や diffusion policies などが考えられるが、要旨では明示されていない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiwei Zhang, Yantai Yang, Jin Gao, Jin Lou, Andong Chen, Yufei Liu, Boyang Xing, Yuchen Zhu, Weiming Hu, Zhipeng Zhang

分類: cs.RO

原文アブストラクト

World Action Models (WAMs) use generative visual representations to condition robot actions, yet how these representations organize action-relevant information remains poorly understood. We identify persistent high-norm spatial outliers in WAM representations and find that their action relevance persists even after normalization and K/V projection attenuate their extreme magnitude. Motivated by this observation, we introduce RegisterWAM, which adds learnable non-spatial registers to the world model and uses them directly for action conditioning. Registers alone do not fully eliminate spatial outliers; pairing them with observation flow-matching (FM) loss supervision suppresses spatial outliers while concentrating high-norm responses in registers. Beyond this reorganization, observation FM loss supervision also improves action learning without registers, motivating an additional noised-observation FM objective that learns current-scene recovery from corrupted inputs. The resulting model achieves 81.64\% success on LIBERO-Plus without additional embodied pretraining data or foundation models, reaches 93.0\% average success on RoboTwin 2.0, and improves real-world manipulation performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI