日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作生成arXiv:2606.15142

MotionVLA: ヒューマノイド動作のための視覚・言語・行動モデル

MotionVLA: Vision-Language-Action Model for Humanoid Motion

シェア:XThreadsFacebookLINEはてブBluesky

シーン画像とテキストから現実的なヒューマノイド動作を生成するため、動作を基本ストリームと物理ストリームに分離し、DCTとBPEで独立に圧縮する二重ストリーム周波数トークナイザを提案し、軽量な2Bバックボーンで多様性と一貫性を向上させた。

詳しい要約

1. どんなもの?

- シーン画像とテキストからリアルなヒューマノイドモーションを生成するタスクを扱う。 - 低周波のポーズ意味論と高周波の物理ダイナミクスを分離する必要性に着目。 - 単一コードブックでのトークン化が異種信号を同一量子化空間に押し込む問題を指摘。 - 周波数領域分析で、5つのDCT係数が関節位置エネルギーの93%を捉えるが、関節速度エネルギーは37%のみ。 - これがポーズ統計へのバイアスと高周波速度成分の過小表現を招く。 - 標準自己回帰モデルで高周波物理信号を効果的にモデル化する課題も指摘。 - 提案手法はDSFT(二重ストリーム周波数トークナイザ)とMotionVLA(Qwen3.5ベースモデル)。 - MotionVLAはBaseトークンと物理トークンを統一シーケンスに配置し、Baseトークンの後にPhysトークンを予測。 - HumanML3DとMBenchで評価。

2. 先行研究と比べてどこがすごい?

- 既存手法は単一共有コードブックでモーションをトークン化し、異種信号を同一量子化空間に強制。 - 周波数領域分析により、単一コードブック量子化とモーション統計の不一致を明らかに。 - 5つのDCT係数が関節位置エネルギーの93%を捉えるが、関節速度エネルギーは37%のみ。 - これがポーズ統計へのバイアスと高周波速度成分の過小表現を引き起こす。 - 提案のDSFTはBaseと物理ストリームを分離し、DCT打ち切りとBPEで独立に圧縮。 - MotionVLAは軽量2Bバックボーンながら、HumanML3DでDiversity gapを50%以上削減。 - MBenchでMotion-Condition Consistencyを3.8%改善。 - 周波数認識二重ストリーム分離が自己回帰モーション生成の有効な定式化であることを支持。

3. 技術・手法の肝は?

- DSFT:二重ストリーム周波数トークナイザ。モーションをBaseストリームと物理ストリームに分離。 - 各ストリームをDCT打ち切りとBPEで独立に圧縮。 - MotionVLA:Qwen3.5ベースのモデル。 - Baseトークンと物理トークンを統一シーケンスに配置。 - PhysトークンはBaseトークンの後に予測される。 - 周波数領域分析に基づき、低周波ポーズ意味論と高周波物理ダイナミクスを分離。 - 自己回帰モデルで高周波物理信号を効果的にモデル化するために設計。

4. どうやって有効だと検証した?

- HumanML3DとMBenchで実験。 - 軽量2Bバックボーンを使用。 - HumanML3DでDiversity gapを実データに対して50%以上削減。 - MBenchでMotion-Condition Consistencyを3.8%改善。 - 周波数認識二重ストリーム分離が自己回帰モーション生成の有効な定式化であることを支持。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:HumanML3D、MBench、Qwen3.5、DCT、BPE。 - 関連手法:単一コードブックトークン化、自己回帰モデル。 - 同分野の定番:HumanML3D、MBench。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nonghai Zhang, Siyu Zhai, Yanjun Li, Zeyu Zhang, Zhihan Yin, Yandong Guo, Boxin Shi, Hao Tang

分類: cs.CV, cs.RO

原文アブストラクト

Generating realistic humanoid motion from scene images and text involves both low-frequency pose semantics and high-frequency physical dynamics. However, many existing methods tokenize motion with a single shared codebook, forcing heterogeneous motion signals into the same quantization space. Our frequency-domain analysis of human motion data reveals a clear mismatch between single-codebook quantization and motion statistics: five DCT coefficients capture 93% of joint-position energy but only 37% of joint-velocity energy, which can bias quantization toward pose statistics and under-represent high-frequency velocity components. A second challenge lies in adapting a standard autoregressive model to effectively model high-frequency physical signals in motion sequences. Therefore, we propose DSFT, a dual-stream frequency tokenizer that separates motion into Base and physical streams and compresses them independently with DCT truncation and BPE. Furthermore, we present MotionVLA, a Qwen3.5-based model that arranges Base and physical tokens in a unified sequence, where Phys tokens are predicted after Base tokens. Experiments on HumanML3D and MBench show that, despite using a lightweight 2B backbone, MotionVLA reduces the Diversity gap to real data by over 50% on HumanML3D and improves Motion-Condition Consistency by 3.8% on MBench, supporting frequency-aware dual-stream decoupling as an effective formulation for autoregressive motion generation. Code: https://github.com/AIGeeksGroup/MotionVLA. Website: https://aigeeksgroup.github.io/MotionVLA.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI