日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

共話ジェスチャー生成arXiv:2609.38400

GestAdapt: 作業空間に適応した人型ロボットの共話ジェスチャー生成

GestAdapt: Workspace-Conditioned Co-Speech Gesture Generation for Humanoid Robots

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの共話ジェスチャーを、手首の作業空間制約を条件として生成するフレームワークを提案し、実機Reachy2で有効性を示した。

詳しい要約

1. どんなもの?

- ロボットの co-speech gesture 生成において、workspace 制約を考慮するフレームワーク GestAdapt を提案。 - 同じ発話でも workspace に応じて適切なジェスチャーが異なるため、生成時に wrist workspace を条件付け。 - 6つの co-speech corpora から学習し、異なるロボット embodiment への retargeting をサポート。 - 実ロボット Reachy2 での評価も実施。

2. 先行研究と比べてどこがすごい?

- 従来の co-speech gesture 生成は speech と embodiment に適応するが、workspace 制約を生成時に考慮しない。 - 制約違反後に軌道を修正する手法と異なり、生成段階で workspace を条件付けする点が新しい。 - 複数のコーパスを shared motion representation で統合し、retargeting 可能な点も先行研究と比べて優位。

3. 技術・手法の肝は?

- workspace-conditioned framework により、指定された wrist workspace を条件として co-speech gesture を生成。 - 6つの co-speech corpora を shared motion representation で学習。 - 異なるロボット embodiment への retargeting を可能にする仕組みを備える。 - 生成時に workspace 制約を満たすよう motion を生成し、後処理での修正を避ける。

4. どうやって有効だと検証した?

- 定量評価:生成モーションが real-motion distribution に近く、かつ workspace を尊重することを確認。 - ユーザスタディ:workspace 制約下での生成ジェスチャーが平均品質 3.24/5 で、no-workspace 変種 (2.43/5) より高く、参照モーション (3.68/5) より低い。 - 実ロボット評価:Reachy2 で同一 workspace 制約下で比較し、提案手法が 69.7% の比較で1位。no-workspace 変種や後から制約を課した retargeted ground-truth より高い。

5. 議論はある?

- 生成時に workspace に適応させることの有効性を示唆。 - 制約を後から修正すると gesture naturalness を損なう可能性があると議論。 - ユーザスタディでは参照モーションに及ばないが、no-workspace より改善。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:no-workspace variant、retargeted ground-truth motions。 - 関連手法:co-speech gesture generation、motion retargeting、workspace-conditioned generation。 - 同分野の定番:co-speech gesture generation for robots、humanoid motion retargeting。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bosong Ding, Xianglin Zhang, Miao Xin, Murat Kirtay, Giacomo Spigler

分類: cs.RO, cs.AI, cs.HC, cs.LG

原文アブストラクト

Co-speech gestures for robots must adapt not only to speech and embodiment, but also to the workspace available for performing the motion. Since the same speech can be accompanied by different gestures, a robot can respond to workspace constraints, e.g., gestures for speech next to a wall. In these scenarios, the robot should gesture in a suitable motion rather than simply correcting an unconstrained one. To achieve this goal, we present GestAdapt, a workspace-conditioned framework that conditions co-speech gesture generation on a prescribed wrist workspace. The GestAdapt framework learns from six complementary co-speech corpora through a shared motion representation and supports retargeting to different robot embodiments. Quantitative evaluation shows that generated motions remain close to the real-motion distribution while respecting the workspace. In a user study, gestures generated under modified workspace constraints receive a mean quality score of 3.24/5, above our no-workspace variant (2.43/5) and below the reference motions (3.68/5). In a real robot evaluation, all compared motions are retargeted to the Reachy2 humanoid robot under identical workspace constraints. Motions generated with our framework rank first in 69.7\% of comparisons, higher than our no-workspace variant baseline and retargeted ground-truth motions constrained afterward. Overall, the results support adapting gestures to the available workspace during generation, rather than modifying unconstrained trajectories afterward to satisfy workspace constraints, potentially compromising gesture naturalness.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI