日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

HRI/センサ融合arXiv:2603.11809

HiSync: ウェアラブルIMUとロボット搭載カメラによる手の動きの時空間整合を用いた長距離HRIにおけるコマンド発信源識別

HiSync: Spatio-Temporally Aligning Hand Motion from Wearable IMU and On-Robot Camera for Command Source Identification in Long-Range HRI

シェア:XThreadsFacebookLINEはてブBluesky

長距離の人間とロボットのインタラクションにおいて、複数ユーザーの中からコマンドを発した人を特定する手法を提案。手首のIMUとロボットのカメラ映像を融合し、手の動きの類似性から発信源を識別する。

詳しい要約

1. どんなもの?

- 長距離HRIにおけるCommand Source Identification (CSI) を解決する光学・慣性融合フレームワークHiSyncを提案。 - 手の動きを結合手がかりとし、ロボット搭載カメラのオプティカルフローと手装着IMU信号を位置合わせする。 - ユーザ定義(N=12)のジェスチャセットを抽出し、長距離マルチユーザHRIシナリオでマルチモーダルコマンドジェスチャデータセット(N=38)を収集。 - 3人シーン最大34mでCSI精度92.32%を達成し、先行SOTAを48.44%上回る。 - 実ロボット展開でも検証され、公共空間HRIの実用的プリミティブと設計ガイダンスを提供。

2. 先行研究と比べてどこがすごい?

- 長距離HRIは未開拓で、CSIはマルチユーザと距離によるセンサ曖昧性のため特に困難。 - 先行SOTAと比較してCSI精度を48.44%改善。 - 従来手法は距離やマルチユーザに対応できず、HiSyncは光学・慣性融合で頑健なCSIを実現。 - 実ロボット展開も検証し、実用性を示す。

3. 技術・手法の肝は?

- カメラとIMUの両方から周波数領域の手動作特徴を抽出。 - 学習されたCSINetがIMU読み取りをノイズ除去し、モダリティ間の時間的位置合わせを行い、距離対応マルチウィンドウ融合を実行。 - 微妙で自然なジェスチャのクロスモーダル類似度を計算し、頑健なCSIを可能にする。 - 光学・慣性融合により、距離やマルチユーザの曖昧性を克服。

4. どうやって有効だと検証した?

- 3人シーン最大34mでCSI精度92.32%を達成し、先行SOTAを48.44%上回る。 - 実ロボット展開でも検証。 - ユーザ定義(N=12)のジェスチャセットとマルチモーダルコマンドジェスチャデータセット(N=38)を収集し評価。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、IMUとカメラの融合によるHRI、CSI、ジェスチャ認識に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chengwen Zhang, Chun Yu, Borong Zhuang, Haopeng Jin, Qingyang Wan, Zhuojun Li, Zhe He, Zhoutong Ye, Yu Mei, Chang Liu, Weinan Shi, Yuanchun Shi

分類: cs.HC, cs.RO

原文アブストラクト

Long-range Human-Robot Interaction (HRI) remains underexplored. Within it, Command Source Identification (CSI) - determining who issued a command - is especially challenging due to multi-user and distance-induced sensor ambiguity. We introduce HiSync, an optical-inertial fusion framework that treats hand motion as binding cues by aligning robot-mounted camera optical flow with hand-worn IMU signals. We first elicit a user-defined (N=12) gesture set and collect a multimodal command gesture dataset (N=38) in long-range multi-user HRI scenarios. Next, HiSync extracts frequency-domain hand motion features from both camera and IMU data, and a learned CSINet denoises IMU readings, temporally aligns modalities, and performs distance-aware multi-window fusion to compute cross-modal similarity of subtle, natural gestures, enabling robust CSI. In three-person scenes up to 34m, HiSync achieves 92.32% CSI accuracy, outperforming the prior SOTA by 48.44%. HiSync is also validated on real-robot deployment. By making CSI reliable and natural, HiSync provides a practical primitive and design guidance for public-space HRI. https://github.com/OctopusWen/HiSync

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI