日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

HRI意図予測arXiv:2509.22573

MINT-RVAE:RGBカメラデータのみを用いた人間姿勢と感情情報による人とロボットのインタラクション意図のマルチキュー予測

MINT-RVAE: Multi-Cues Intention Prediction of Human-Robot Interaction using Human Pose and Emotion Information from RGB-only Camera Data

シェア:XThreadsFacebookLINEはてブBluesky

RGBカメラ映像のみから人間の姿勢と感情を手がかりに、ロボットとのインタラクション意図をフレーム単位で予測する手法を提案し、データセットのクラス不均衡に対処する合成系列生成と新損失関数でAUROC 0.95を達成した。

詳しい要約

1. どんなもの?

- RGB-onlyカメラデータから人間のロボットへのinteraction intentを予測する新pipelineの研究。 - frame-level precisionで予測し、より速いrobot応答とサービス品質向上を狙う。 - MINT-RVAEと呼ぶsynthetic sequence generation手法と新loss関数・training戦略を提案。 - 実世界HRIデータセットのclass imbalanceに対処する。 - frame-level labeling付きの新datasetを公開。

2. 先行研究と比べてどこがすごい?

- 既存手法の多くはRGB-Dなどmultimodal入力を用い、time-sequence windowをinteractive/non-interactiveに分類。 - 提案法はRGB-only入力のみでframe-levelのonset予測を実現。 - 性能はAUROC 0.95で、先行研究のAUROC 0.90-0.912を上回りstate-of-the-art。 - RGBのみ・frame-level精度という制約下での優位性が主張点。

3. 技術・手法の肝は?

- MINT-RVAEによるsynthetic sequence generationでclass imbalanceに対処。 - 新loss関数とtraining戦略を組み合わせ、out-of-sampleデータへのgeneralizationを強化。 - RGB-only pipelineでframe-levelのinteraction intent予測を実現。 - 詳細なarchitectureやlossの具体的定義は要旨からは不明。

4. どうやって有効だと検証した?

- AUROC 0.95を達成し、先行研究のAUROC 0.90-0.912と比較して有効性を検証。 - out-of-sampleデータでのgeneralizationを評価。 - frame-level labeling付き新datasetを構築・公開。 - 具体的なdataset規模や被験者数、実験設定は要旨からは不明。

5. 議論はある?

- class imbalanceがintent predictionの主要課題であり、MINT-RVAEで対処。 - RGB-onlyかつframe-level予測の利点(高速応答・サービス品質)を議論。 - 限界や失敗事例、計算コスト、実環境での課題は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象であるRGB-DベースのHRI intent prediction手法(先行研究)。 - class imbalance対策としてのsynthetic data generation関連手法(VAE系)。 - frame-level action/intent anticipationやhuman pose・emotion認識の関連研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Farida Mohsen, Ali Safa

分類: cs.RO, cs.CV

原文アブストラクト

Efficiently detecting human intent to interact with ubiquitous robots is crucial for effective human-robot interaction (HRI) and collaboration. Over the past decade, deep learning has gained traction in this field, with most existing approaches relying on multimodal inputs, such as RGB combined with depth (RGB-D), to classify time-sequence windows of sensory data as interactive or non-interactive. In contrast, we propose a novel RGB-only pipeline for predicting human interaction intent with frame-level precision, enabling faster robot responses and improved service quality. A key challenge in intent prediction is the class imbalance inherent in real-world HRI datasets, which can hinder the model's training and generalization. To address this, we introduce MINT-RVAE, a synthetic sequence generation method, along with new loss functions and training strategies that enhance generalization on out-of-sample data. Our approach achieves state-of-the-art performance (AUROC: 0.95) outperforming prior works (AUROC: 0.90-0.912), while requiring only RGB input and supporting precise frame onset prediction. Finally, to support future research, we openly release our new dataset with frame-level labeling of human interaction intent.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI