日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作arXiv:2605.19319

SWEET: 画像編集によるスパースな世界モデリングを用いた身体性タスク実行

SWEET: Sparse World Modeling with Image Editing for Embodied Task Execution

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作タスクにおいて、密なビデオ生成の代わりに画像編集モデルを用いてタスク関連のキーフレームを予測するスパースな視覚世界モデルを提案し、計算コストを削減しつつタスク実行を可能にした。

詳しい要約

1. どんなもの?

- 本論文は、embodied control における visual prediction の新しい枠組み SWEET を提案する。 - 密な video generation ではなく、image editing model を sparse visual world model として用いる。 - 言語指示と任意の arrow-based spatial guidance を条件に、task-relevant な manipulation keyframes を逐次生成する。 - goal-conditioned diffusion action predictor により、隣接する想像上の keyframes を実行可能な action chunks に変換する。 - 要旨からは、実ロボットでの実行や具体的なタスク範囲の詳細は不明。

2. 先行研究と比べてどこがすごい?

- 従来の visual prediction は密な video generation に依存し、計算コストが高く、多くの manipulation タスクでは不要な場合が多い。 - 同一の robotic data setting で video generation model Wan2.2 と image editing model FLUX-Kontext を制御比較。 - image editing の方が task-level keyframes の信頼性と visual fidelity が高く、推論コストも大幅に低いことを示した。 - これにより、image editing が embodied visual prediction の有望かつ未探索の方向であることを示唆。

3. 技術・手法の肝は?

- SWEET は one-shot sparse visual planning framework。 - 言語指示と任意の arrow-based spatial guidance を条件に、successive image editing で task-relevant manipulation keyframes を段階的に生成。 - goal-conditioned diffusion action predictor が隣接する imagined keyframes を executable action chunks に変換。 - real と edited visual subgoals のミスマッチを減らすため、filtered edited targets を用いた mixed-training strategy を導入。

4. どうやって有効だと検証した?

- DROID と RoboMimic での実験を実施。 - SWEET が seen および unseen scenes において keyframe prediction を改善することを示した。 - sequential keyframe planning から executable robot actions までの full pipeline を可能にすることを確認。 - 要旨からは、具体的な評価指標やベースラインとの定量比較の詳細は不明。

5. 議論はある?

- image editing が embodied visual prediction の有望かつ未探索の方向であると主張。 - 密な video generation の計算コストと不要性を問題提起し、sparse な keyframe 予測の有効性を議論。 - real と edited visual subgoals のミスマッチを課題として認識し、mixed-training strategy で対処。 - 要旨からは、限界や失敗事例、一般的な manipulation タスクへの適用範囲に関する議論は不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: Wan2.2 (video generation model), FLUX-Kontext (image editing model)。 - 関連手法: goal-conditioned diffusion action predictor, DROID, RoboMimic。 - 同分野の定番として、visual prediction を用いた embodied control や video generation ベースの world model に関する研究が次に読むべき候補。 - 要旨からは、具体的な論文名や著者名の参照は不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiren Song, Yihan Wang, Xiyao Deng, Zhuoran Yan, Mike Zheng Shou

分類: cs.CV

原文アブストラクト

Visual prediction has emerged as a promising paradigm for embodied control, where future observations are generated and then translated into actions. However, dense video generation is computationally expensive and often unnecessary for many manipulation tasks, whose progress can be summarized by a small number of task-relevant visual states. In this work, we study whether image editing models can serve as sparse visual world models for robot manipulation by predicting task-level future states without dense video rollout. We first conduct a controlled comparison between the video generation model Wan2.2 and the image editing model FLUX-Kontext under the same robotic data setting, and find that image editing produces more reliable task-level keyframes with better visual fidelity and substantially lower inference cost. Motivated by this observation, we propose SWEET, a one-shot sparse visual planning framework that progressively generates a sequence of task-relevant manipulation keyframes through successive image editing, conditioned on language instructions and optional arrow-based spatial guidance. A goal-conditioned diffusion action predictor then converts adjacent imagined keyframes into executable action chunks. To reduce the mismatch between real and edited visual subgoals, we further introduce a mixed-training strategy with filtered edited targets. Experiments on DROID and RoboMimic show that SWEET improves keyframe prediction across seen and unseen scenes and enables a full pipeline from sequential keyframe planning to executable robot actions, suggesting that image editing is a promising and underexplored direction for embodied visual prediction.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI