日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

クロスエンボディメント操作arXiv:2512.01358

GR1とG1におけるクロスエンボディメント操作のための基盤ロボットポリシーのモダリティ拡張ファインチューニング

Modality-Augmented Fine-Tuning of Foundation Robot Policies for Cross-Embodiment Manipulation on GR1 and G1

シェア:XThreadsFacebookLINEはてブBluesky

接触信号や深度などのモダリティを追加して基盤ロボットポリシーをファインチューニングし、GR1とUnitree G1という異なるヒューマノイド機体への転移性能を向上させた研究。

詳しい要約

1. どんなもの?

- 基盤ロボットポリシー(foundation robot policy)を多様なヒューマノイドembodimentに適応させるためのmodality-augmented fine-tuningフレームワークを提案する論文。 - GR1とUnitree G1の2つのembodimentで検証。 - GR1: 公開データセットにbinary contact signalsとZoeDepthによるmetric depthを後処理で付与。 - G1: cuRobo motion planning、inverse kinematics、ground-truth contact-forceを含む新規マルチモーダルデータセットを貢献。 - モダリティ拡張がembodiment間で一貫してポリシー性能を向上させることを示す。

2. 先行研究と比べてどこがすごい?

- 基盤ロボットポリシーのfine-tuningにおいて、モダリティ設計とマルチモーダルデータを軸にembodiment間転移を扱う点が特徴。 - GR1では公開データセットへの軽量な後処理(post-processed modalities)で性能向上を実現。 - G1ではcuRobo motion planningやinverse kinematics、ground-truth contact-forceを含む新規マルチモーダルデータセットを貢献。 - zero-shot transfer(0%)や標準fine-tuning(48%)に対し、contact-augmented modelが94%と大幅改善。 - 具体的な先行研究名との比較は要旨からは不明。

3. 技術・手法の肝は?

- modality-augmented fine-tuningフレームワークにより基盤ロボットポリシーをembodimentごとに適応。 - GR1: 公開データセットに対しbinary contact signalsとZoeDepth生成のmetric depthを後処理で追加し、RGB-D fusionとcontact-state cuesを統合。 - G1: cuRobo motion planning、inverse kinematics、ground-truth contact-force measurementsを含むマルチモーダルデータセットを構築しfine-tuningに使用。 - 軽量な後処理(GR1)と高品質マルチモーダルデータ(G1)の役割の違いを比較。

4. どうやって有効だと検証した?

- GR1: contact-state cuesとRGB-D fusionの統合によりonline success rateが51%から63%へ向上。 - G1の「Pick Apple to Bowl」タスク: contact-augmented modelが94%の成功率を達成。 - 標準fine-tuningは48%、zero-shot transferは0%。 - 両embodimentでの実験により、modality augmentationが一貫して性能を向上させることを検証。

5. 議論はある?

- GR1では軽量なpost-processingがポリシー強化に有効である一方、Unitree G1への信頼性の高い転移には高品質なマルチモーダルデータが重要であると議論。 - データ中心の統一的なpathwayを提示し、targeted modality designとmulti-modal fine-tuningの有効性を示唆。 - 限界や失敗要因の詳細な分析は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている標準fine-tuning、zero-shot transfer、ZoeDepth、cuRobo motion planning、inverse kinematics、RGB-D fusion、contact-state cuesに関する研究。 - 具体的な論文名の参照は要旨からは不明のため、同分野の定番としてfoundation robot policy(例: RT-2、OpenVLA等)やhumanoid manipulationのマルチモーダル学習研究を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junsung Park, Hogun Kee, Songhwai Oh

分類: cs.RO, cs.LG

原文アブストラクト

This paper presents a modality-augmented fine-tuning framework designed to adapt foundation robot policies to diverse humanoid embodiments. We validate our approach across two distinct settings: (i) the GR1 embodiment, utilizing public datasets where we introduce post-processed modalities, including binary contact signals and ZoeDepth-generated metric depth; and (ii) the Unitree G1 embodiment, for which we contribute a novel multi-modal dataset incorporating cuRobo motion planning, inverse kinematics, and ground-truth contact-force measurements. Our experiments demonstrate that modality augmentation consistently enhances policy performance across different embodiments. Specifically, for the GR1, integrating contact-state cues and RGB-D fusion improves online success rates from 51% to 63%. Furthermore, in the G1 "Pick Apple to Bowl" task, our contact-augmented model achieves a success rate of 94%, significantly outperforming the 48% achieved by standard fine-tuning and the 0% baseline of zero-shot transfer. These results highlight that lightweight post-processing effectively strengthens policies for GR1, while high-quality multi-modal data is crucial for reliable transfer to the Unitree G1. Consequently, this work establishes a unified, data-centric pathway for extending foundation robot policies through targeted modality design and multi-modal fine-tuning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI