日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2607.18197

半人型ロボットNICOによる腕のジェスチャ模倣

Imitation of Arm Gestures by the Semi-Humanoid Robot NICO

シェア:XThreadsFacebookLINEはてブBluesky

RGBカメラ映像からMediaPipeで人体のランドマークを取得し、幾何学的計算で関節角度を求めて半人型ロボットNICOの腕のジェスチャを模倣させるシステムを開発した。

詳しい要約

1. どんなもの?

本論文は、半人型ロボットNICOによる人間の腕のジェスチャ模倣システムを提案する。単眼RGBカメラからの入力フレームごとに、事前学習済みのMediaPipe pose-estimationモデルを用いて人体のランドマーク(腕の関節や手のキーポイントを含む)の3D座標を取得し、解析幾何学に基づく関係式から関節角度を計算する。その後、計算された角度をNICOのモーター構成にマッピングし、事前定義された動作シーケンスで実行する。

2. 先行研究と比べてどこがすごい?

従来のジェスチャ模倣システムは、深度センサやモーションキャプチャスーツなど特別なハードウェアを必要とすることが多いが、本手法は単眼RGB入力のみで動作する点が優れている。また、MediaPipeのような事前学習モデルを利用することで、追加の学習なしにロバストなランドマーク検出が可能であり、解析幾何学による計算は軽量でリアルタイム性に優れる。さらに、半人型ロボットNICOの特性に合わせた関節角度マッピングを実現している。

3. 技術・手法の肝は?

手法の核心は、MediaPipeによる2Dランドマーク検出から3D座標を推定し、それらから幾何学的関係を用いて関節角度を計算する点にある。具体的には、腕の関節(肩、肘、手首)と手のキーポイントの3D座標を取得し、ベクトル間の角度を導出する。その後、ロボットの自由度に合わせて角度を変換し、NICOのモーターに指令を送る。事前定義された動作シーケンスにより、連続的な模倣動作を生成する。

4. どうやって有効だと検証した?

6人の異なる身長の参加者による、いくつかの代表的な腕のジェスチャを用いた予備実験を実施した。実験では、単眼RGB入力のみから意味のある模倣動作が生成できることを示した。また、より複雑なポーズや手首関連の動きにおける限界も明らかにした。

5. 議論はある?

要旨からは、複雑なポーズや手首の動きの模倣が困難であるという限界が示唆されている。これは、MediaPipeの3D推定精度やロボットの自由度の制約による可能性がある。また、参加者の身長差が模倣精度に与える影響についても議論の余地がある。さらに、リアルタイム性やロバスト性の評価が不十分であり、より定量的な評価が必要である。

6. 次に読むべき論文は?

要旨で参照されているMediaPipe pose-estimationモデルに関する論文や、ロボットの模倣学習に関する一般的な研究(例えば、Learning from Demonstration)が関連する。また、半人型ロボットNICOの設計や制御に関する論文も有用である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anastasiya Ihnatovich, Igor Farkaš

分類: cs.RO

原文アブストラクト

Seamless human-robot interaction (HRI) requires a number of perceptual and motor abilities from the robot, one of them being the imitation of human gestures. Humanoid robots have an advantage in HRI thanks to their anthropomorphic features. In this work, we develop a system for imitation of human arm gestures by the semi-humanoid robot NICO based on analytical geometry and a pretrained MediaPipe pose-estimation model. For each input RGB frame, 3D coordinates of relevant human body landmarks, including arm joints and hand keypoints, are obtained using the MediaPipe framework. Joint angles are then computed from these coordinates using derived geometric relations. Finally, the computed angles are properly mapped to NICO's motor configuration and executed in a predefined motion sequence. Preliminary experiments on several representative arm gestures with six participants of different height indicate that the proposed method can produce meaningful imitative motions from monocular RGB input only, while also highlighting limitations in more complex poses and wrist-related movements.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI