日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2604.17258

基盤モデルに基づく自律人型ロボット把持の高速展開パイプライン

A Rapid Deployment Pipeline for Autonomous Humanoid Grasping Based on Foundation Models

シェア:XThreadsFacebookLINEはてブBluesky

人型ロボットの新規物体把持展開を約30分に短縮する、基盤モデル統合パイプラインを提案。自動アノテーション、3D再構成、ゼロショット姿勢追跡を組み合わせ、実機で検証した。

詳しい要約

1. どんなもの?

ヒューマノイドロボットによる新規物体の把持を約30分で展開するend-to-end rapid deployment pipeline。 - 3つのfoundation modelを統合 - Roboflowベースの自動アノテーションでYOLOv8検出器を学習 - Meta SAM 3Dによる3D再構成で専用laser scanner不要 - FoundationPoseによるzero-shot 6-DoF pose trackingでSAM 3D生成meshをtemplateに使用 - 推定poseでUnityベースのinverse kinematics plannerを駆動 - 関節指令をUDPでUnitree G1に送りUnitree SDKで実行

2. 先行研究と比べてどこがすごい?

従来は新規物体の展開に1〜2日必要。 - データ収集、手動アノテーション、3Dモデル取得、モデル学習 - 本手法はfoundation model統合により約30分に短縮 - 専用laser scanner不要でsmartphone等の日常撮像デバイスで可能 - 自動アノテーションとzero-shot pose trackingで手作業を削減

3. 技術・手法の肝は?

3つのfoundation modelコンポーネントを統合。 - Roboflow-based automatic annotationでYOLOv8物体検出器を学習 - Meta SAM 3Dで3D再構成しmeshを生成 - FoundationPoseでzero-shot 6-DoF pose tracking、SAM 3D meshをtemplateに使用 - 推定poseをUnity-based inverse kinematics plannerへ入力 - 関節指令をUDPでUnitree G1へストリームしUnitree SDKで実行

4. どうやって有効だと検証した?

実機で検証。 - 検出精度 mAP@0.5 = 0.995 - pose tracking精度 σ < 1.05 mm - 実ロボットでworkspace内5位置での把持成功 - 自動車窓ガラス接着剤塗布タスクでpipelineの汎用性を確認

5. 議論はある?

foundation modelによる知覚と日常撮像デバイス(smartphone等)の組み合わせが、ヒューマノイドマニピュレーションの展開障壁を大幅に下げることを示す。 - 具体的な限界や失敗事例、計算コスト、一般化範囲の議論は要旨からは不明

6. 次に読むべき論文は?

要旨で参照/比較されている研究・手法。 - Roboflow - YOLOv8 - Meta SAM 3D - FoundationPose - Unitree G1 - Unitree SDK - Unity-based inverse kinematics planner

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifei Yan, Yankai Liao, Linqi Ye

分類: cs.RO

原文アブストラクト

Deploying a humanoid robot to manipulate a new object has traditionally required one to two days of effort: data collection, manual annotation, 3D model acquisition, and model training. This paper presents an end-to-end rapid deployment pipeline that integrates three foundation-model components to shorten the onboarding cycle for a new object to approximately 30 minutes: (i) Roboflow-based automatic annotation to assist in training a YOLOv8 object detector; (ii) 3D reconstruction based on Meta SAM 3D, which eliminates the need for a dedicated laser scanner; and (iii) zero-shot 6-DoF pose tracking based on FoundationPose, using the SAM~3D-generated mesh directly as the template. The estimated pose drives a Unity-based inverse kinematics planner, whose joint commands are streamed via UDP to a Unitree~G1 humanoid and executed through the Unitree SDK. We demonstrate detection accuracy of mAP@0.5 = 0.995, pose tracking precision of $\sigma < 1.05$ mm, and successful grasping on a real robot at five positions within the workspace. We further verify the generality of the pipeline on an automobile-window glue-application task. The results show that combining foundation models for perception with everyday imaging devices (e.g., smartphones) can substantially lower the deployment barrier for humanoid manipulation tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI