日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

インタラクション生成arXiv:2606.23675

IMAGIN-4D: 画像誘導による制御可能なインタラクション生成

IMAGIN-4D: Image-Guided Controllable Interaction Generation

シェア:XThreadsFacebookLINEはてブBluesky

参照画像を用いて人間と物体のインタラクション生成の曖昧さを解消する拡散モデルを提案。画像条件を空間的・時間的に分解し、役割別の条件付けで制御性を高めた。

詳しい要約

1. どんなもの?

- 参照画像を視覚仕様として用い、人間-物体相互作用(HOI)の4Dモーションを生成する拡散ベース手法IMAGIN-4Dを提案。 - テキスト・物体形状・スパースwaypointsに加え、単一の参照画像で把持・接近方向・姿勢・接触・配置の曖昧さを解消する。 - 画像条件を空間的・時間的に分解し、フレームごとに異なる視覚手がかりへ注意できる点が特徴。 - キャラクタアニメーション、ロボティクス、AR/VR、embodied AIへの応用を想定。

2. 先行研究と比べてどこがすごい?

- 従来のHOI生成はテキスト・物体geometry・sparse waypointsのみで、同一プロンプトでも把持や接触・配置が一意に定まらない曖昧さがあった。 - 単一のglobal画像表現では異なる手がかりが混ざり、全フレームが同一視覚証拠に条件付けられる問題があった。 - IMAGIN-4Dは画像条件をspatio-temporalに分解し、fine-grainedな相互作用制御を可能にした。 - 単一トークンおよび均一画像条件付けのbaselineに対し、waypoint追従とモーション品質を保ちつつ改善。

3. 技術・手法の肝は?

- diffusion-based HOI generatorで、画像条件を空間と時間に分解。 - 空間条件: 描画フレームにおけるbody pose、object pose、body-object contact、spatial relationshipsのsupervised interaction-state tokensを抽出。 - 時間条件: 生成フレームごとにimage patchesをqueryしframe-aware tokensを計算、系列セグメントが同一画像の異なる視覚手がかりにattend可能。 - role-aware conditioning: text・waypoints・interaction-state tokensは別々のAdaLN streams、frame-aware visual tokensはmotion tokensとcross-attend。 - 画像・テキスト・waypointのバランスを役割別に制御。

4. どうやって有効だと検証した?

- HOIモーションdatasetにペア画像がないため、FullBodyManipulation(FBM)からsynthetic motion-to-image rendering pipelineを構築。 - 生成モーションが参照スナップショットに一致するかを評価するimage-adherence metricを導入。 - FBMとBEHAVEでの実験により、single-tokenおよびuniformly image-conditioned baselinesよりfine-grained interaction controlが改善。 - waypoint-followingとmotion qualityが維持されることを確認。

5. 議論はある?

- HOIモーションdatasetにペア画像が存在しない制約があり、synthetic rendering pipelineで代替している点が議論の前提。 - image-adherence metricは参照スナップショットへの一致を測るが、その限界や他指標との関係は要旨からは不明。 - 実世界画像への汎化や、合成画像と実画像のギャップについては要旨からは不明。 - コードとモデルは https://imagin4d.github.io で公開予定。

6. 次に読むべき論文は?

- FullBodyManipulation(FBM) - BEHAVE - 比較対象: single-token conditioning、uniformly image-conditioned baselines - 関連手法: diffusion-based HOI generation、text-to-motion、waypoint-conditioned motion generation

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sai Kumar Dwivedi, Federica Bogo, Buğra Tekin, Chenhongyi Yang, Nadine Bertsch, Tomas Hodan, Michael J. Black, Dimitrios Tzionas, Shreyas Hampali

分類: cs.CV

原文アブストラクト

Generating human-object interactions (HOI) is central to character animation, robotics, AR/VR, and embodied AI. Recent HOI generation methods synthesize motion from text, object geometry, and sparse waypoints, controlling action semantics and object trajectories. However, these signals underspecify interaction: the same prompt and trajectory can produce different grasps, approach directions, body poses, object poses, contacts, and body-object layouts. We address this ambiguity with a reference image as a visual specification of the desired interaction snapshot. However, a single global image representation conflates distinct cues and conditions all frames on identical visual evidence. We therefore introduce IMAGIN-4D, a diffusion-based HOI generator that decomposes image conditioning spatio-temporally. For spatial conditioning, IMAGIN-4D extracts supervised interaction-state tokens for body pose, object pose, body-object contact, and spatial relationships at the depicted frame. For temporal conditioning, it computes frame-aware tokens by querying image patches per generated frame, allowing sequence segments to attend to different visual cues from the same image. To balance image, text, and waypoint cues, IMAGIN-4D uses role-aware conditioning: text, waypoints, and interaction-state tokens use separate AdaLN streams, while frame-aware visual tokens cross-attend with motion tokens. Since HOI motion datasets lack paired images, we build a synthetic motion-to-image rendering pipeline from FullBodyManipulation (FBM) and introduce an image-adherence metric to evaluate whether generated motions match the reference snapshot. Experiments on FBM and BEHAVE show that IMAGIN-4D improves fine-grained interaction control over single-token and uniformly image-conditioned baselines while preserving waypoint-following and motion quality. Code and models will be released at https://imagin4d.github.io.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI