日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

姿勢推定arXiv:2509.00649

MV-SSM: 多視点状態空間モデリングによる3D人体姿勢推定

MV-SSM: Multi-View State Space Modeling for 3D Human Pose Estimation

シェア:XThreadsFacebookLINEはてブBluesky

多視点画像から3D人体キーポイントを推定する際、状態空間モデルを用いて関節の空間配置を学習し、新しいカメラ配置への汎化性能を高めた手法を提案。

詳しい要約

1. どんなもの?

- 多視点画像から3D human pose estimationを行う新しいフレームワーク MV-SSM を提案した研究。 - 単視点では進展があるが、多視点は新しいcamera configurationへの汎化が難しいという課題に取り組む。 - attention-based transformersはkeypointの空間配置を正確にモデル化しにくく、occlusion時に弱い。 - 訓練時のcamera arrangementやvisual sceneに過適合し、新設定で性能が大きく落ちる問題を指摘。 - 多視点の特徴量レベルとperson keypointレベルの2段階でjoint spatial sequenceを明示的にモデル化する。

2. 先行研究と比べてどこがすごい?

- 既存のattention-based transformersはoccluded scenarioでのkeypoint空間配置モデル化と新camera configurationへの汎化に弱い。 - MV-SSMはstate space modelingによりjoint spatial arrangementの汎化表現を学習する点が異なる。 - 実験でstate-of-the-artを上回る。 - CMU Panopticの難しいthree-camera設定でAP25 +10.8(+24%)。 - varying camera arrangementsでAP25 +7.0(+13%)。 - cross-dataset評価のCampus A1でPCP +15.3(+38%)。 - 特に新camera configurationやcross-datasetへの汎化性能の向上が主張の中心。

3. 技術・手法の肝は?

- Multi-View State Space Modelingフレームワーク MV-SSM を導入。 - joint spatial sequenceを2レベルで明示的にモデル化する。 - 多視点画像からのfeature level。 - person keypoint level。 - Projective State Space (PSS) blockを提案し、state space modelingでjoint spatial arrangementsの汎化表現を学習。 - Mambaの従来scanningをGrid Token-guided Bidirectional Scanning (GTBS) に変更し、PSS blockの中核として組み込む。 - 詳細なnetwork構成や入力の具体形は要旨からは不明。

4. どうやって有効だと検証した?

- 複数の実験を実施し、MV-SSMが強いgeneralizationを示すと報告。 - CMU Panopticのchallengingなthree-camera設定でAP25 +10.8(+24%)。 - varying camera arrangementsでAP25 +7.0(+13%)。 - cross-dataset評価のCampus A1でPCP +15.3(+38%)。 - 比較対象はstate-of-the-art methods。 - 具体的なdataset構成、評価プロトコル、ablationの詳細は要旨からは不明。

5. 議論はある?

- 要旨では主に汎化性能と新camera configurationへの頑健性を主張。 - occlusion下でのkeypoint空間配置モデル化の改善に言及。 - 限界や失敗事例、計算コスト、Mamba/GTBSの設計選択に関する議論は要旨からは不明。 - cross-dataset評価のCampus A1の詳細条件も要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として示唆されるattention-based transformersによるmulti-view 3D human pose estimationの代表的研究。 - Mamba(state space model)の原論文。 - CMU PanopticおよびCampusのmulti-view 3D pose estimationベンチマークに関する研究。 - occlusionやcamera configuration変化への汎化を扱うmulti-view pose estimation研究。 - 要旨で明示的に参照されている個別論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aviral Chharia, Wenbo Gou, Haoye Dong

分類: cs.CV, cs.RO

原文アブストラクト

While significant progress has been made in single-view 3D human pose estimation, multi-view 3D human pose estimation remains challenging, particularly in terms of generalizing to new camera configurations. Existing attention-based transformers often struggle to accurately model the spatial arrangement of keypoints, especially in occluded scenarios. Additionally, they tend to overfit specific camera arrangements and visual scenes from training data, resulting in substantial performance drops in new settings. In this study, we introduce a novel Multi-View State Space Modeling framework, named MV-SSM, for robustly estimating 3D human keypoints. We explicitly model the joint spatial sequence at two distinct levels: the feature level from multi-view images and the person keypoint level. We propose a Projective State Space (PSS) block to learn a generalized representation of joint spatial arrangements using state space modeling. Moreover, we modify Mamba's traditional scanning into an effective Grid Token-guided Bidirectional Scanning (GTBS), which is integral to the PSS block. Multiple experiments demonstrate that MV-SSM achieves strong generalization, outperforming state-of-the-art methods: +10.8 on AP25 (+24%) on the challenging three-camera setting in CMU Panoptic, +7.0 on AP25 (+13%) on varying camera arrangements, and +15.3 PCP (+38%) on Campus A1 in cross-dataset evaluations. Project Website: https://aviralchharia.github.io/MV-SSM

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI