日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

キャラクター制御arXiv:2608.23258

統一潜在空間における異種スキルの段階的学習

Progressively Learning Heterogeneous Skills in a Unified Latent Space

シェア:XThreadsFacebookLINEはてブBluesky

物理ベースのキャラクター制御において、多様なデータ・教師信号・タスクから得た異種スキルを統一潜在空間で段階的に学習するフレームワークHetSkillsを提案。モーション追跡、テキストからのモーション生成、モーション補完、下流タスク適応で有効性を示した。

詳しい要約

1. どんなもの?

HetSkillsは、物理ベースのキャラクタ制御において、異種のスキル(motion tracking, text-to-motion, motion completionなど)を統一潜在空間で段階的に学習するフレームワーク。この潜在空間を共有実行インターフェースとして扱い、異なるデータソース・監督形式・タスクからのスキル統合を可能にする。

2. 先行研究と比べてどこがすごい?

従来はタスクごとに別々のコントローラや再学習が必要だったが、HetSkillsは共有motion decoderを再利用し、再学習なしでスキルを追加できる。また、text-to-motionスキルがショートカット経路を学習する問題に対し、motion intuition distillationとtask-guidance moduleを導入し、言語意味の学習を強化している点が新しい。

3. 技術・手法の肝は?

まずtracking skillを学習し、motion controlの基盤と共有motion decoderを確立。次に、text-to-motionスキルを追加する際、motion intuition distillationで言語意味に基づく生成を促し、task-guidance moduleで高レベル言語指示に応じて行動を動的に調整。これにより、自然な動作を保ちながらスキルレパートリを拡張。

4. どうやって有効だと検証した?

motion tracking、text-to-motion生成、motion completion、下流タスク適応の各タスクで実験。特に挑戦的な条件下で高い成功率を達成したと報告。

5. 議論はある?

要旨からは、スケーラビリティや他のスキルへの拡張性、潜在空間の解釈性などに関する議論は不明。また、実験の詳細な比較対象や限界についても要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、物理ベースのキャラクタ制御やtext-to-motion生成の分野の定番論文(例: DeepMimic, Motion Diffusion Model)が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yue-Yi Zhang, Ming Gong, Linpu He, Wei-Shi Zheng, Zhilin Zhao

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

We propose HetSkills, a novel framework designed to progressively learn heterogeneous skills within a unified latent space for physics-based character control. The core idea is to treat this latent space as a shared executable interface, enabling seamless integration of skills learned from diverse data sources, supervision forms, and tasks. HetSkills begins by learning a tracking skill that establishes a strong foundation in motion control and creates a shared motion decoder, which can be reused across tasks without the need for retraining or separate controllers. To prevent the text-to-motion skill from exploiting shortcut pathways instead of learning language semantics, we introduce motion intuition distillation to ground text-to-motion generation in language semantics and a task-guidance module that dynamically adjusts actions based on high-level language instructions. This enables HetSkills to preserve natural motion while continuously expanding its skill repertoire, making it highly adaptable for long-horizon tasks. Experimental results demonstrate the effectiveness in motion tracking, text-to-motion generation, motion completion, and downstream task adaptation, achieving impressive success rates even under challenging conditions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI