日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/操作arXiv:2604.26848

STARRY: ロボット操作のための時空間アクション中心世界モデル

STARRY: Spatial-Temporal Action-Centric World Modeling for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

将来の時空間予測とアクション生成を統一拡散プロセスで統合し、幾何学的注意変調により3次元制御を強化する世界モデル拡張型VLAポリシーを提案。

詳しい要約

1. どんなもの?

- ロボットマニピュレーション向けの世界モデル強化型行動生成ポリシー STARRY を提案。 - 未来の spatial-temporal 予測と行動生成を unified diffusion process で同時に denoise し、予測表現と行動実行を密結合。 - 2D visual tokens と 3D metric control を橋渡しする Geometry-Aware Selective Attention Modulation (GASAM) を導入。 - RoboTwin 2.0 の 50 bimanual tasks で Clean 93.82% / Randomized 93.30% の平均成功率。 - 実世界実験で π_{0.5} 比 42.5%→70.8% に改善。

2. 先行研究と比べてどこがすごい?

- 既存の Vision-Language-Action (VLA) ポリシーは predictive representation と action execution の結合が弱く、精密な spatial-temporal coordination を要するタスクで失敗しやすい。 - STARRY は spatial-temporal prediction と action generation を unified diffusion process で jointly denoise し、両者を align する点が異なる。 - GASAM により predicted depth と end-effector geometry を token-aligned weights に変換し、action-attention を選択的に変調。 - これにより 2D visual tokens と 3D metric control のギャップを埋める。 - 実世界で π_{0.5} を上回る成功率を報告。

3. 技術・手法の肝は?

- world-model-enhanced action-generation policy として STARRY を構築。 - unified diffusion process により future spatial-temporal latents と actions を jointly denoise。 - Geometry-Aware Selective Attention Modulation (GASAM) を導入。 - GASAM は predicted depth と end-effector geometry を token-aligned weights に変換。 - その weights で action-attention を選択的に modulation し、2D visual tokens と 3D metric control を橋渡し。 - 詳細なネットワーク構成や学習手順は要旨からは不明。

4. どうやって有効だと検証した?

- RoboTwin 2.0 上で 50 bimanual tasks を評価。 - Clean 設定で平均成功率 93.82%、Randomized 設定で 93.30% を達成。 - 実世界実験を実施し、π_{0.5} と比較して平均成功率が 42.5% から 70.8% に向上。 - これらの結果から action-centric spatial-temporal world modeling の有効性を主張。 - ベースラインやアブレーションの詳細は要旨からは不明。

5. 議論はある?

- 既存 VLA の predictive representation と action execution の弱い結合が spatial-temporal coordination を要するタスクでの失敗要因と議論。 - STARRY の unified diffusion と GASAM がこの問題を緩和すると主張。 - 実世界で π_{0.5} を上回る改善を示すが、限界や失敗事例、計算コスト、一般化性の議論は要旨からは不明。 - 倫理面や安全性への言及は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として明示されている π_{0.5} を読む。 - 関連手法として Vision-Language-Action (VLA) policies の代表的研究を読む。 - 評価環境である RoboTwin 2.0 の論文を読む。 - 世界モデルと diffusion policy を組み合わせたロボットマニピュレーション研究を読む。 - 要旨で参照されている個別論文名は明示されていないため、上記の一般名・手法名を起点とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuxuan Tian, Yurun Jin, Bin Yu, Yukun Shi, Hao Wu, Chi Harold Liu, Kai Chen, Cong Huang

分類: cs.RO

原文アブストラクト

Robotic manipulation requires reasoning about future spatial-temporal interactions and geometric constraints, yet existing Vision-Language-Action (VLA) policies often leave predictive representation weakly coupled with action execution, causing failures in tasks requiring precise spatial-temporal coordination. We propose STARRY, a world-model-enhanced action-generation policy that aligns spatial-temporal prediction and action generation by jointly denoising future spatial-temporal latents and actions through a unified diffusion process. To bridge 2D visual tokens and 3D metric control, STARRY introduces Geometry-Aware Selective Attention Modulation (GASAM), which converts predicted depth and end-effector geometry into token-aligned weights for selective action-attention modulation. On RoboTwin 2.0, STARRY achieves 93.82% / 93.30% average success under Clean and Randomized settings across 50 bimanual tasks. Real-world experiments show that STARRY improves average success from 42.5% to 70.8% compared with $\pi_{0.5}$. These results demonstrate the effectiveness of action-centric spatial-temporal world modeling for spatially and temporally demanding robotic manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI