日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2607.18210

ヒューマノイドロボットNICOにおけるシミュレーションから実機への転移の最適化

Optimization of sim-to-real transfer in the humanoid robot NICO

シェア:XThreadsFacebookLINEはてブBluesky

シミュレーションと実機のギャップによる位置誤差を補正するため、キャリブレーションと視覚フィードバックを組み合わせた把持パイプラインを提案し、NICOロボットでのテーブル上物体把持成功率を向上させた。

詳しい要約

1. どんなもの?

本論文は、ヒューマノイドロボットNICOのテーブルトップ物体把持におけるsim-to-real転送の最適化手法を提案する。具体的には、低コストの触覚キャリブレーション法を到達動作から把持動作へ拡張し、YOLOベースの物体・手検出、ロボット内蔵の低解像度fisheyeカメラを用いたステレオ視による位置推定、および把持実行のためのタスク固有補正を統合した、RGB-Dカメラやモーションキャプチャを必要としないキャリブレーションベースの把持パイプラインを構築する。さらに、把持前にロボットの手を検出物体に位置合わせする視覚フィードバックモデルも実装する。

2. 先行研究と比べてどこがすごい?

先行研究(著者らの以前の研究)では、NICOの2D到達精度を向上させる低コスト触覚キャリブレーション法を導入していた。本研究は、このアプローチを到達動作からテーブルトップ物体把持へ拡張し、物体検出、ステレオ視、タスク固有補正を追加した点が新しい。また、RGB-Dカメラや外部トラッキングシステムを必要としない点が、既存のsim-to-real転送手法と比較して優れている。

3. 技術・手法の肝は?

手法の核は、非線形キャリブレーションモデルを用いたsim-to-realギャップの補正と、視覚フィードバックによる手と物体の位置合わせである。具体的には、触覚キャリブレーションで得たデータに基づき、ロボットの運動学マッピングを補正する。さらに、YOLOで物体と手を検出し、fisheyeカメラによるステレオ視で3D位置を推定する。把持実行時には、タスク固有の補正(例えば、手の向きや接近角度)を加える。視覚フィードバックモデルは、検出した物体の位置に手を合わせるための閉ループ制御を提供する。

4. どうやって有効だと検証した?

検証は、NICOロボットを用いたテーブルトップ物体把持実験で行われた。キャリブレーション領域内では完全非線形キャリブレーションモデルが最高性能を示し、テーブルトップ全体のワークスペースでは視覚フィードバックモデルが最高の把持成功率を達成した。具体的な成功率や比較対象の詳細は要旨からは不明。

5. 議論はある?

要旨からは、キャリブレーション領域内と全体ワークスペースで最適なモデルが異なることが示唆される。これは、キャリブレーションモデルが領域外で精度が低下する一方、視覚フィードバックが領域外でも適応できることを意味する。しかし、各モデルのトレードオフや、より広いワークスペースでの性能向上のためのハイブリッド手法の可能性など、詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている先行研究(著者らの以前の低コスト触覚キャリブレーション法に関する論文)が次に読むべき論文として挙げられる。また、関連手法としてYOLOベースの物体検出やステレオ視による位置推定の基礎論文が考えられるが、具体的なタイトルは要旨にないため、同分野の定番である物体検出(YOLO)や視覚フィードバック制御に関する論文を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Juraj Gavura, Igor Farkaš

分類: cs.RO

原文アブストラクト

Robotic grasping requires accurate coordination between visual perception, object localization, inverse kinematics, and hand control. However, when movements planned in simulation are executed on a physical robot, the sim-to-real gap can cause small positioning errors that prevent successful grasping. In our previous work, we introduced a low-cost haptic calibration method that improved 2D reaching accuracy of the humanoid robot NICO. In this paper, we extend this approach from reaching to tabletop object grasping by adding YOLO-based object and hand detection, stereo vision-based localization using the robot's built-in low-resolution fisheye cameras, and task-specific corrections for grasp execution. Together, these components form a novel calibration-based grasping pipeline that does not require RGB-D cameras, motion capture, or external tracking systems. We also implemented a visual feedback model that aligns the robot hand with the detected object before grasping. Our results show that the fully nonlinear calibration model achieved the best performance inside the calibrated area, while the visual feedback model achieved the highest overall grasping success across the full tabletop workspace.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI