日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

人物-物体インタラクションarXiv:2610.27066

身体駆動型統合マルチオブジェクト物理による人物-物体インタラクション生成

BUMP: Body-driven Unified Multi-object Physics for HOI Synthesis

シェア:XThreadsFacebookLINEはてブBluesky

テキストから全身の人物動作を生成し、意図的に操作する物体の軌道を予測した上で、周囲の物体は物理シミュレーションで動かすことで、複数物体との人物-物体インタラクションを生成するフレームワーク。

詳しい要約

1. どんなもの?

- テキストとシーン文脈から複数物体とのHOI(human-object interaction)を生成するフレームワーク「BUMP」 - 基本原理は「意図的な運動は学習し、物理的帰結はシミュレーションする」こと - 全身human motion生成→意図的に操作される少数のdriver object軌道予測→responder objectはphysics simulationで取得 - 物体数や配置の変化に対応でき、学習済み軌道出力空間を拡張せずに多物体を扱う - outcome-conditioned interaction editingも導入

2. 先行研究と比べてどこがすごい?

- 多物体HOIでは人間運動(意味的意図)、操作物体(人間と協調)、周囲物体(接触・衝突の物理的帰結)と原因が異なる点が課題 - 既存研究との具体的比較は要旨からは不明 - 学習軌道出力空間を拡張せず多物体に対応できる点を利点として主張 - 異種データ(human-only motion、full-body HOI、hand-centric manipulation)を組み合わせて監督データ不足に対処

3. 技術・手法の肝は?

- テキストとscene contextからfull-body human motionを生成 - 人間運動を条件に少数のdriver object軌道を予測 - responder object運動はphysics simulationで生成 - human-only motion、full-body HOI、hand-centric manipulation dataにplausible body motionを付加したheterogeneous supervisionを統合 - outcome-conditioned interaction editing:望ましいresponder挙動からdriver object軌道の局所修正を推論(明示的な目標driver軌道は不要)

4. どうやって有効だと検証した?

- single-objectおよびmulti-object HOIベンチマークで強い性能を実験的に示す - 物体間関係や編集を含む多様なシナリオのqualitative resultsを提示 - 統一モデル定式化の利点を示す - 具体的なデータセット名・指標・数値は要旨からは不明

5. 議論はある?

- 異種監督データの組み合わせやphysics simulationへの依存に関する議論の有無は要旨からは不明 - 多物体・物体間関係・編集シナリオのqualitativeな利点を主張 - 限界や失敗事例についての記述は要旨からは不明

6. 次に読むべき論文は?

- full-body HOI生成(human motion generation + object interaction)の代表的先行研究 - hand-centric manipulation dataを用いた学習手法 - physics simulationを用いたhuman-object interaction生成 - text-driven human motion generation - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wonjung Woo, Hyeonwoo Kim, Hanbyul Joo

分類: cs.CV

原文アブストラクト

Generating human-object interactions (HOIs) with multiple objects is challenging because the resulting motions arise from different underlying causes. Human motion reflects semantic intent, intentionally manipulated objects must remain coordinated with the human, while surrounding objects move primarily as physical consequences of contact and collision. We present BUMP, a text-driven framework for multi-object HOI generation based on a simple principle: learn intentional motion and simulate physical consequences. Our method first generates full-body human motion from text and scene context, then predicts trajectories for a small number of intentionally manipulated driver objects conditioned on the human motion. We then obtain responder object motions through physics simulation, allowing the framework to handle varying numbers and configurations of surrounding objects without expanding the learned trajectory output space. To address the scarcity of paired full-body multi-object HOI data, we combine heterogeneous supervision from human-only motion, full-body HOI, and hand-centric manipulation data augmented with plausible body motion. We further introduce outcome-conditioned interaction editing, which infers a local modification of the causal driver object trajectory from a desired responder object behavior without requiring an explicit target driver object trajectory. Experiments demonstrate strong performance on both single-object and multi-object HOI benchmarks. Qualitative results showcase diverse scenarios involving inter-object relationships and edits, highlighting the advantage of our unified model formulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI