日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.21531

大規模言語モデルは人間の動きをどれほど理解しているか?3Dアバター制御による事例研究

How Much Do Large Language Models Know about Human Motion? A Case Study in 3D Avatar Control

シェア:XThreadsFacebookLINEはてブBluesky

LLMに3Dアバターの動作計画を立てさせ、その高レベル計画と低レベル関節位置の精度を評価した。高レベルな身体動作の解釈は得意だが、正確な部位配置や多自由度の多段動作は苦手だと分かった。

詳しい要約

1. どんなもの?

- LLM が持つ human motion 知識を 3D avatar control で探る研究 - 動作指示から LLM に High-level Planning(連続ステップの運動計画)を生成させる - 続いて Low-level Planning で各ステップの body part positions を指定させる - 得られた位置を線形補間して avatar animations を生成 - 基本動作を網羅し body part 使用のバランスを取った 20 個の代表的な motion instructions を使用 - 評価は human と automatic scoring の両面から実施

2. 先行研究と比べてどこがすごい?

- 先行研究との具体的比較は要旨からは不明 - 本研究の特徴として、High-level Planning と Low-level Planning の二段階に分けて LLM の motion 知識を切り分けて評価 - human scoring と automatic scoring を併用 - Low-level Planning では oracle positions との自動比較も実施 - これにより LLM が「何を得意とし何を苦手とするか」を階層別に示す点が特徴的

3. 技術・手法の肝は?

- motion instruction を LLM に与え、まず High-level Planning として連続ステップの運動計画を生成 - 次に Low-level Planning として各ステップの body part positions を指定 - 指定位置を線形補間して avatar animations を生成 - 20 個の代表的な motion instructions を選定し、基本動作と body part 使用のバランスを考慮 - 評価は human と automatic scoring による High-level 計画と animation の評価、および Low-level の oracle positions との自動比較

4. どうやって有効だと検証した?

- 20 個の代表的な motion instructions に対し包括的評価を実施 - High-level movement plans と生成 animations の両方について human scoring と automatic scoring を実施 - Low-level Planning では oracle positions との自動比較を実施 - 結果として、LLM は high-level body movements の解釈は得意だが precise body part positioning は苦手と報告 - motion queries を atomic components に分解すると planning が改善 - 多自由度 body parts を含む multi-step movements では課題が残る - 一般的な spatial descriptions には妥当な近似を与えるが、precise spatial specifications の扱いは不十分 - creative motions の概念化や culturally specif…

5. 議論はある?

- LLM は high-level な身体運動の解釈に強い一方、precise body part positioning に弱い - atomic components への分解は planning を改善するが、high-degree-of-freedom body parts を含む multi-step movements は依然困難 - 一般的な spatial descriptions には合理的な近似を示すが、precise spatial specifications には不足 - creative motions の概念化や culturally specific motion patterns の識別に可能性 - 具体的な限界の原因や改善策、評価の詳細については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として High-level Planning / Low-level Planning を用いる LLM-based motion planning 研究 - LLM と 3D avatar control を組み合わせた研究 - motion instruction の atomic components 分解に関する研究 - human motion 理解の評価ベンチマークに関する研究 - これら同分野の定番研究を次に読む候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kunhang Li, Jason Naradowsky, Yansong Feng, Yusuke Miyao

分類: cs.CV, cs.AI, cs.CL, cs.RO

原文アブストラクト

We explore the human motion knowledge of Large Language Models (LLMs) through 3D avatar control. Given a motion instruction, we prompt LLMs to first generate a high-level movement plan with consecutive steps (High-level Planning), then specify body part positions in each step (Low-level Planning), which we linearly interpolate into avatar animations. Using 20 representative motion instructions that cover fundamental movements and balance body part usage, we conduct comprehensive evaluations, including human and automatic scoring of both high-level movement plans and generated animations, as well as automatic comparison with oracle positions in low-level planning. Our findings show that LLMs are strong at interpreting high-level body movements but struggle with precise body part positioning. While decomposing motion queries into atomic components improves planning, LLMs face challenges in multi-step movements involving high-degree-of-freedom body parts. Furthermore, LLMs provide reasonable approximations for general spatial descriptions, but fall short in handling precise spatial specifications. Notably, LLMs demonstrate promise in conceptualizing creative motions and distinguishing culturally specific motion patterns.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI