日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2607.02034

ComplexMimic: 複雑な3D環境における人間とシーンのインタラクション模倣

ComplexMimic: Human-Scene Interaction Imitation in Complex 3D Environments

シェア:XThreadsFacebookLINEはてブBluesky

複雑な3D環境での人間とシーンのインタラクション模倣を実現するフレームワークを提案。不完全なモーションキャプチャデータから、模倣とインタラクションの二つの専門家を学習し、難易度に応じた蒸留戦略で自然で物理的に妥当な動作を生成する。

詳しい要約

1. どんなもの?

ComplexMimicは、複雑な3D環境における物理ベースのHuman-Scene Interaction (HSI)模倣学習フレームワークである。不完全なMoCapデータを解釈して多様なHSIを再構築する。複雑な環境下での相互作用の成功と自然で物理的に妥当な動作の維持の間のトレードオフに対処する。

2. 先行研究と比べてどこがすごい?

既存のHSI模倣学習手法は単純なシーン設定に焦点を当てており、複雑な環境は未開拓である。ComplexMimicは複雑な3D環境でのHSI模倣を扱い、相互作用と物理的妥当性のトレードオフを明示的に扱う点で先行研究より進んでいる。

3. 技術・手法の肝は?

手法の肝は2つある。1つ目はDual Flow Strategyで、正確な動作追跡のためのimitation expertと複雑なシーンでの衝突回避適応のためのinteraction expertという2つの相補的な専門家を学習する。2つ目はdifficulty-aware distillation strategyで、失敗統計と学習進捗信号に基づいて、難しいが学習可能な軌道を優先的に重み付けする適応的監督を提供する。

4. どうやって有効だと検証した?

3つのベンチマークデータセットでの広範な実験により、現在の最先端手法を上回る性能を検証した。

5. 議論はある?

要旨からは、提案手法の限界や将来の課題についての議論は不明である。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、同分野の定番として、Physics-based Human-Scene Interaction imitation learningの既存手法(例: PhysHOI, InterPhysなど)や、MoCapデータからの動作再構築、知識蒸留に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lu Pan, Hongwei Zhao

分類: cs.CV

原文アブストラクト

Physics-based Human-Scene Interaction (HSI) imitation learning is crucial for embodied intelligence as it bridges the gap between kinematic 3D motions and real-world dynamics. However, most existing methods focus on simplified scene settings, leaving complex environments largely unexplored, which limits their applicability in real-world scenarios. In this paper, we focus on HSI mimicry in complex environments. Under this complex setting, we observe an inherent trade-off between successfully performing interaction and maintaining natural, physically plausible motions. To address this challenge, we propose ComplexMimic, a framework that reconstructs diverse HSI by interpreting imperfect MoCap data. First, we introduce a Dual Flow Strategy, which learns two complementary experts: an imitation expert for accurate motion tracking and an interaction expert for collision-aware adaptation in complex scenes. Second, naive multi-expert distillation, which treats all experts equally, often under-samples challenging behaviors, limiting effective learning. To mitigate this issue, we propose a difficulty-aware distillation strategy that adaptively weights supervision and prioritizes hard-yet-learnable trajectories guided by failure statistics and learning progress signals. Extensive experiments on three benchmark datasets demonstrate that our approach outperforms current state-of-the-art methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI