日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ヒューマノイド/手話生成/リターゲティングarXiv:2607.17769

手話生成から人型ロボット実行へ:衝突回避を伴う視覚言語ガイド付きリターゲティング

From Sign Language Generation to Humanoid Execution: Vision-Language Guided Retargeting with Collision Mitigation

シェア:XThreadsFacebookLINEはてブBluesky

手話生成システムの出力を人型ロボットで実行可能な関節軌道に変換する枠組みを提案。自己交差を防ぐ衝突緩和モジュールと、視覚言語モデルによる失敗検出・修正を組み合わせた。

詳しい要約

1. どんなもの?

- 手話生成(SLG)システムが出力する密な3D身体表現を、ヒューマノイドロボットの関節空間実行に橋渡しするシステムレベルのフレームワーク。 - 生成された手話動作には自己交差(hand-handやhand-torsoの貫通)が頻発し、オフライン描画では許容されても、ヒューマノイド実行ではIKの実行不可能解、衝突、不安定なリターゲット軌道を引き起こす。 - この問題に対処するため、体積的SMPL-X衝突緩和モジュールと、視覚言語ガイド付きリターゲティングアルゴリズムの2コンポーネントを提案。

2. 先行研究と比べてどこがすごい?

- 従来のSLG研究は主にオフライン描画での動作生成に焦点を当て、自己交差などのアーティファクトを許容してきた。 - 本研究は、ヒューマノイド実行における衝突やIK失敗を明示的に扱い、衝突処理と知覚ガイド付きリファインメントを信頼性の高いヒューマノイド手話のための欠落要素として位置づける。 - 先行研究と比べて、SLG出力を実際のヒューマノイド関節空間実行に接続するシステム全体を提案している点が新しい。

3. 技術・手法の肝は?

- 第一に、体積的SMPL-X衝突緩和モジュールを導入。生成された手話動作を、元の軌道からの逸脱を最小限に抑えつつ、物理的に妥当な構成へと投影する。 - 第二に、IKバックボーンに基づく視覚言語ガイド付きリターゲティングアルゴリズムを提案。VLMがレンダリングされたヒューマノイド動作の視覚的批評家として機能し、身体固有の失敗モードを特定し、対象とするタスク空間補正をトリガーする。

4. どうやって有効だと検証した?

- 要旨からは不明。具体的な検証方法や実験結果の詳細は記述されていない。

5. 議論はある?

- 要旨では、衝突処理と知覚ガイド付きリファインメントが、信頼性の高いヒューマノイド手話のための重要な欠落コンポーネントであると強調している。 - しかし、具体的な議論や限界、課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として、SMPL-X、Vision-Language Model (VLM)、Inverse Kinematics (IK) が挙げられる。 - 同分野の定番として、Sign Language Generation (SLG) や Humanoid Retargeting に関する研究が次に読むべき論文として考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nabeela Khan, Bowen Wu, Runwu Shi, Benjamin Yen, Takeshi Ashizawa, Carlos Toshinori Ishi, Takashi Minato, Kazuhiro Nakadai

分類: cs.RO, cs.CV, cs.HC

原文アブストラクト

Recent sign language generation (SLG) systems increasingly output dense 3D body representations, which better preserve full-body kinematics and geometry for downstream embodiment on humanoid robots. However, these generated motions frequently exhibit self-intersections such as hand-hand and hand-torso penetration. While such artifacts may be tolerated in offline rendering, they become critical in humanoid execution as they lead to infeasible inverse-kinematics (IK) solutions, collisions, and unstable retargeted trajectories. We present a system-level framework that bridges SLG outputs to humanoid joint-space execution via two components. First, we introduce a volumetric SMPL-X collision-mitigation module that projects generated signing motions toward physically plausible configurations while minimally deviating from the original trajectory. Second, we propose a vision-language-guided retargeting algorithm built on an IK backbone: a VLM serves as a visual critic over rendered humanoid motion, identifies embodiment-specific failure modes, and triggers targeted task-space corrections. Our results highlight collision handling and perception-guided refinement as key missing components for reliable humanoid signing.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI