日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ヒューマノイド制御arXiv:2512.24321

UniAct:ヒューマノイドロボットのための統合動作生成とアクションストリーミング

UniAct: Unified Motion Generation and Action Streaming for Humanoid Robots

シェア:XThreadsFacebookLINEはてブBluesky

微調整したMLLMと因果的ストリーミングパイプラインを組み合わせ、言語・音楽・軌道などのマルチモーダル指示を500ms未満の遅延でヒューマノイドの全身動作に変換する二段階フレームワークを提案。

詳しい要約

1. どんなもの?

- 人形ロボット向けの統合フレームワーク UniAct の提案 - 言語・音楽・trajectory など異種マルチモーダル指示を whole-body 動作として実行 - 2段構成: fine-tuned MLLM と causal streaming pipeline - sub-500 ms の低遅延で動作生成・action streaming を実現 - UniMoCap という20時間の人形モーションベンチマークも提示

2. 先行研究と比べてどこがすごい?

- 従来は高レベル multimodal 知覚と whole-body 実行の橋渡しがボトルネック - 既存手法は言語・音楽・trajectory などの異種指示を安定かつリアルタイムに動作へ変換するのが困難 - UniAct は共有 discrete codebook により cross-modal alignment を確保 - 動作を physically grounded manifold に制約 - 不完全な参照動作の zero-shot tracking 成功率が19%改善

3. 技術・手法の肝は?

- 2段階フレームワーク: fine-tuned MLLM + causal streaming pipeline - 全入力モダリティを FSQ 経由の共有 discrete codebook で統合 - これにより cross-modal alignment と物理的に妥当な動作空間への制約を両立 - causal streaming により逐次的な低遅延 action streaming を実現 - 詳細なアーキテクチャは要旨からは不明

4. どうやって有効だと検証した?

- UniMoCap 上で評価。20時間の人形モーションベンチマーク - 多様な実世界シナリオでの汎化を実証 - 不完全な参照動作の zero-shot tracking で成功率19%改善を報告 - sub-500 ms 遅延での実行を確認 - 具体的な被験者数・比較手法の詳細は要旨からは不明

5. 議論はある?

- 統一知覚と制御による応答性の高い汎用人形アシスタントへの道筋を示す - 異種マルチモーダル指示のリアルタイム whole-body 実行を可能に - 限界・失敗事例・安全性の議論は要旨からは不明 - 実機展開規模や長期運用の評価は要旨からは不明

6. 次に読むべき論文は?

- FSQ (Finite Scalar Quantization) 関連研究 - MLLM を用いたロボット動作生成の先行研究 - 人形ロボットの whole-body control 研究 - motion tracking / motion generation のベンチマーク研究 - causal streaming に基づく action generation 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nan Jiang, Zimo He, Wanhe Yu, Lexi Pang, Yunhao Li, Hongjie Li, Jieming Cui, Yuhan Li, Yizhou Wang, Yixin Zhu, Siyuan Huang

分類: cs.CV, cs.RO

原文アブストラクト

A long-standing objective in humanoid robotics is the realization of versatile agents capable of following diverse multimodal instructions with human-level flexibility. Despite advances in humanoid control, bridging high-level multimodal perception with whole-body execution remains a significant bottleneck. Existing methods often struggle to translate heterogeneous instructions -- such as language, music, and trajectories -- into stable, real-time actions. Here we show that UniAct, a two-stage framework integrating a fine-tuned MLLM with a causal streaming pipeline, enables humanoid robots to execute multimodal instructions with sub-500 ms latency. By unifying inputs through a shared discrete codebook via FSQ, UniAct ensures cross-modal alignment while constraining motions to a physically grounded manifold. This approach yields a 19% improvement in the success rate of zero-shot tracking of imperfect reference motions. We validate UniAct on UniMoCap, our 20-hour humanoid motion benchmark, demonstrating robust generalization across diverse real-world scenarios. Our results mark a critical step toward responsive, general-purpose humanoid assistants capable of seamless interaction through unified perception and control.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI