日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ヒューマノイド/動作生成arXiv:2609.22611

HIGenNTO: ノイズ空間軌道最適化によるスケーラブルなヒューマノイドインタラクション生成

HIGenNTO: Scalable Humanoid Interaction Generation via Noise-Space Trajectory Optimization

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みテキスト条件付き動作モデルの初期ノイズを最適化し、接触を伴うヒューマノイドの動作参照を生成するフレームワーク。シミュレーションと実機Unitree G1で検証。

詳しい要約

1. どんなもの?

- テキスト条件付き運動モデルの初期ノイズを最適化し、人間型ロボットとシーンの接触豊富な相互作用運動参照を合成するHIGenNTOを提案。 - 疎な時空間制約とシーン制約の下で、所望の接触・衝突回避・安定支持を満たし、事前分布のリアリズムと時間的一貫性を保持。 - ゼロから相互作用運動を生成し、長期的行動を段階的に構成可能。 - ロボット-環境およびロボット-物体タスクで、追従ポリシーによりシミュレーション実行可能な運動を生成し、オンボードセンシングのみで動作する深度条件付き視覚運動ポリシーの訓練にも使用。 - Unitree G1に展開し、4つの接触豊富なタスクを実行。 - コーディングエージェントがタスク仕様を記述し、プロンプト・制約・シーンプログラムにコンパイル。8評価タスク中3つと追加4行動を著者らが作成。

2. 先行研究と比べてどこがすごい?

- 従来の運動捕捉はオクルージョンや近接接触で劣化し、リターゲティングは接触・幾何学的不整合を生じる問題があった。 - HIGenNTOは事前学習済みテキスト条件付き運動モデルのノイズ空間最適化により、これらの問題を回避し、接触豊富な相互作用参照を合成。 - 疎な制約下でリアリズムと時間的一貫性を保持しつつ、接触・衝突回避・安定支持を同時に満たす点が優位。 - シミュレーション実行可能な運動生成と、オンボードセンシングのみの視覚運動ポリシー訓練を可能にし、実機Unitree G1で4タスクを実現。 - コーディングエージェントによるタスク仕様自動生成も可能にし、スケーラブルな経路を確立。

3. 技術・手法の肝は?

- 事前学習済みテキスト条件付き運動モデルの初期ノイズを最適化するフレームワーク。 - 疎な時空間制約とシーン制約の下で最適化を行い、所望の接触・衝突回避・安定支持を満たす。 - 事前分布のリアリズムと時間的一貫性を保持しながら、ゼロから相互作用運動を生成。 - 長期的行動を段階的に構成するステージワイズ生成が可能。 - 生成運動は追従ポリシーでシミュレーション実行可能で、深度条件付き視覚運動ポリシーの訓練データとしても利用。 - コーディングエージェントがタスク仕様をプロンプト・制約・シーンプログラムにコンパイルする。

4. どうやって有効だと検証した?

- ロボット-環境およびロボット-物体タスクにおいて、生成運動が追従ポリシーによりシミュレーションで実行可能であることを確認。 - 生成運動を用いて深度条件付き視覚運動ポリシーを訓練し、オンボードセンシングのみで動作することを検証。 - Unitree G1にポリシーを展開し、4つの接触豊富なタスクを実行。 - コーディングエージェントが8評価タスク中3つと追加4行動の仕様を作成。 - これらの結果から、高レベルタスク記述から物理的に実行可能な人間型相互作用へのスケーラブルな経路を確立。

5. 議論はある?

- 要旨からは、手法の限界や失敗事例、計算コスト、リアルタイム性、一般化可能性に関する議論は明記されていない。 - コーディングエージェントによるタスク仕様生成の信頼性や、生成運動の多様性・品質評価についての議論も要旨からは不明。 - 実機展開はUnitree G1の4タスクに限定されており、他のハードウェアやタスクへの拡張性は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:motion capture、retargeting、pretrained text-conditioned motion model、tracking policies、depth-conditioned visuomotor policies、Unitree G1。 - 関連手法として、text-to-motion生成、noise-space optimization、humanoid-scene interaction synthesis、coding agentによるタスク仕様生成が挙げられる。 - 同分野の定番として、humanoid motion imitation、contact-rich manipulation、visuomotor policy learning、sim-to-real transferに関する論文を次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lalit Jayanti, Kashu Yamazaki, Yuto Shibata, Kotaro Amaya, Katerina Fragkiadaki

分類: cs.RO, cs.AI

原文アブストラクト

Humanoid robots can acquire complex skills by imitating kinematic humanoid motion references, yet reliable references for contact-rich interactions remain difficult to obtain: motion capture deteriorates under occlusion and close physical contact, while retargeting introduces additional contact and geometric inconsistencies. We present HIGenNTO, a framework that synthesizes humanoid-scene interaction motion references by optimizing the initial noise of a pretrained text-conditioned motion model under sparse spatiotemporal and scene constraints. The same formulation satisfies desired contacts, avoids collisions, and maintains stable support while retaining the prior's realism and temporal coherence, generating interaction motions from scratch and composing long-horizon behaviors stage-wise. Across robot-environment and robot-object tasks, HIGenNTO produces motions that can be executed by tracking policies in simulation and used to train depth-conditioned visuomotor policies operating solely from onboard sensing. We deploy these policies on a Unitree G1 across four contact-rich tasks. Finally, the task specifications themselves can be written by a coding agent, which proposes interaction tasks and compiles them into prompt, constraint, and scene programs, authoring three of our eight evaluated tasks and four further behaviors. Together, these results establish a scalable path from high-level task descriptions to physically executable humanoid interactions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI