日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

インタラクション認識arXiv:2607.17342

STAR: 骨格トークンの整列と再配置によるインタラクション認識

STAR: Skeletal Token Alignment and Rearrangement for Interaction Recognition

シェア:XThreadsFacebookLINEはてブBluesky

骨格系列とRGBビデオを共通の潜在空間で整列させ、骨格のみで動作する高精度な人-ロボット/人-人間インタラクション認識手法を提案した。

詳しい要約

1. どんなもの?

STAR (Skeletal Token Alignment and Rearrangement) は、人間とロボット、または人間同士のインタラクション認識のための手法。骨格シーケンスとRGBビデオの両方を学習時に使い、推論時は骨格のみで動作する。骨格エンコーダ、Visual Interaction Encoding、コントラスティブ学習によるアライメントの3要素から構成される。

2. 先行研究と比べてどこがすごい?

既存の骨格ベース手法は、骨格データからインタラクションの手がかりを学習・活用することと、骨格のみに欠ける視覚情報を補うことの2つの課題があった。STARは、骨格とRGB表現を共有潜在空間でアライメントすることで、視覚情報を骨格特徴に取り込み、骨格のみの推論でも視覚情報の利点を活用できる点が新しい。

3. 技術・手法の肝は?

手法の肝は、1) Entity Rearrangement (ER) と Interactive Spatiotemporal Tokens (ISTs) を用いた骨格エンコーダで、細かい依存関係を捉えること、2) Focus on Interactions (FoI) 戦略でRGBビデオのインタラクション関連領域に注意を向けるVisual Interaction Encoding、3) コントラスティブ学習で骨格とRGB表現をアライメントし、refinement headで予測を洗練すること。

4. どうやって有効だと検証した?

Chico、HARPER、NTU Mutual 11、NTU Mutual 26の4つのデータセットで実験し、state-of-the-art手法と比較して優れた性能を示した。

5. 議論はある?

要旨からは、骨格のみの推論時の精度とRGB使用時の差、計算コスト、異なるデータセットでの汎用性などに関する議論は不明。また、骨格とRGBのアライメントがどの程度視覚情報を補完するかについての詳細な分析は要旨に含まれていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、骨格ベースのアクション認識やインタラクション認識の分野で、例えば、骨格データを用いたアクション認識のためのグラフ畳み込みネットワーク(Graph Convolutional Networks)や、マルチモーダル学習のためのコントラスティブ学習を用いた手法などが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhang Wen, Mengyuan Liu, Zixuan Tang, Junsong Yuan, Sirui Li, Beichen Ding

分類: cs.CV, cs.AI

原文アブストラクト

Understanding physical human-robot and human-human interactions is a challenging yet emerging topic in 3D vision. While most existing methods rely on skeleton sequences--effective in low-light and privacy-sensitive environment--they face two major challenges: 1) learning and effectively exploiting interaction cues from skeletal data, and 2) compensating for the lack of visual information absent in skeletons alone. To address these challenges, we propose skeletal token alignment and rearrangement (STAR) for human-robot and human-human interaction recognition. It learns interaction-specific skeleton features and enriches them using visual cues by aligning skeleton and RGB video representations in a shared latent space. Specifically, STAR consists of three key components. First, we design a skeleton encoder that captures fine-grained interdependencies using Entity Rearrangement (ER) and Interactive Spatiotemporal Tokens (ISTs). Second, we present Visual Interaction Encoding that introduces a Focus on Interactions (FoI) strategy to attend to spatiotemporal regions relevant to interactions in RGB videos. Finally, these representations are aligned via a contrastive learning objective, with a refinement head further refines predictions. During training, STAR leverages both skeleton and RGB video data to learn robust, discriminative interaction representations. At inference time, it operates on skeletons alone, retaining visual-informed benefits while preserving skeleton-only efficiency. Extensive experiments on Chico, HARPER, NTU Mutual 11 and 26 datasets consistently validate our approach by demonstrating superior performance over state-of-the-art methods. Our code is publicly available at https://github.com/Necolizer/STAR.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI