日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

画像編集arXiv:2606.27332

RoPEMover: 位置埋め込みによる深度認識オブジェクト移動

RoPEMover: Depth-Aware Object Relocation via Positional Embeddings

シェア:XThreadsFacebookLINEはてブBluesky

拡散トランスフォーマーの回転位置埋め込みを深度対応に拡張し、単一画像内のオブジェクトを幾何学的に一貫した移動を実現する手法を提案した。

詳しい要約

1. どんなもの?

- 単一画像内の物体移動を、幾何学的整合性を保ちながら行う手法。 - 遮蔽の処理、未見領域の生成、影や反射の一貫性維持を含む。 - diffusion transformersのpositional representationsを直接操作する。 - rotary positional embeddings (RoPE) をdepth-awareに拡張し、3D空間構造をエンコード。 - 合成データと少数の実画像でparameter-efficient fine-tuningを行う。

2. 先行研究と比べてどこがすごい?

- 既存手法はシーン全体の一貫性(遮蔽、影、反射)を保つのが苦手。 - 本手法はRoPEの構造的空間場を明示的に操作し、制御された動きを実現。 - 2D RoPEをdepth-awareに拡張し、3D空間構造をエンコードする点が新しい。 - 最小限の実 supervision でも物体同一性を保持し、大変位に対応。 - 標準ベンチマークで全評価指標においてstate-of-the-artを達成。

3. 技術・手法の肝は?

- diffusion transformersのpositional representationsを直接操作。 - rotary positional embeddings (RoPE) をdepth-awareに拡張し、3D空間構造をエンコード。 - これにより一貫した物体変位とシーン認識更新を可能にする。 - 合成データと少数の実画像を用いたparameter-efficient fine-tuningで訓練。 - 新たに露出した領域の内容生成や影・照明の更新を一貫して行う。

4. どうやって有効だと検証した?

- 標準的な物体移動ベンチマークで評価。 - 全評価指標においてstate-of-the-art性能を達成。 - 大規模空間変位下での物体同一性保持、新規領域の妥当な内容生成、影・照明の一貫した更新を確認。 - 合成データと少数の実画像による訓練で有効性を検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明記されていない。 - 関連手法としてdiffusion transformers、rotary positional embeddings (RoPE)、parameter-efficient fine-tuningが挙げられる。 - 同分野の定番としてimage editing、object relocation、depth-aware generationの論文が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ipek Oztas, Duygu Ceylan, Aybars Bugra Aksoy, Aysegul Dundar

分類: cs.CV

原文アブストラクト

Moving an object in a single image requires geometry-consistent spatial rearrangement, including handling occlusions, revealing previously unseen regions, and maintaining coherent shadows and reflections. Existing approaches are not well suited to this setting and often fail to preserve such scene-level consistency. We address this problem by introducing a geometry-aware object motion method that operates directly on the positional representations of diffusion transformers. Our key insight is that rotary positional embeddings (RoPE) define a structured spatial field that can be explicitly manipulated to induce controlled motion. We extend 2D RoPE into a depth-aware formulation that encodes 3D spatial structure, enabling consistent object displacement and scene-aware updates. Our model is trained using synthetic data combined with a small set of real images via parameter-efficient fine-tuning. Despite minimal real supervision, it preserves object identity under large spatial displacements, generates plausible content in newly revealed regions, and consistently updates scene-dependent effects such as shadows and illumination. Experimental results on standard object motion benchmarks demonstrate state-of-the-art performance across all evaluation metrics.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI