日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ヒューマン・オブジェクト・インタラクションarXiv:2610.23980

SituHOI:シーンに即した全身ヒューマン・オブジェクト・インタラクションのスケーラブルなキャプチャ

SituHOI: Scalable Capture of Scene-Situated Full-Body Human-Object Interaction

シェア:XThreadsFacebookLINEはてブBluesky

移動RGB-Dカメラと静的シーンスキャンを用いて、全身動作・物体・シーン形状を共通座標系で注釈付けした大規模データセットSituHOIを構築し、目標条件付き動作予測ベンチマークFlexHOI-Benchを提案した論文。

詳しい要約

1. どんなもの?

- SituHOI は実環境での full-body human-object interaction (HOI) を扱う大規模 RGB-D dataset - 16 の indoor rooms からなる 18,429 annotated clips、約 86 時間の quality-screened activity を含む - 単一の moving RGB-D camera による記録と、static scene scans、object geometry、language descriptions、推定された human/object trajectories を組み合わせる - 併せて FlexHOI-Bench を導入 - goal-conditioned joint motion prediction benchmark - 観測長・予測長が可変 - 観測履歴、scene/object geometry、terminal object pose から将来の human/object motion を予測 - 参照 predictor として Share…

2. 先行研究と比べてどこがすごい?

- 既存 dataset は scalable capture と structured/scene-aligned supervision の間でトレードオフがあったと位置づけられる - SituHOI は大規模かつ scene-aligned な幾何アノテーションを両立させる点が特徴 - static scene scans を persistent reference として用い、全 geometric annotations を shared floor-aligned frame に登録 - 単一 moving RGB-D camera の記録から、human mesh、object tracking、scene geometry を統合的に扱う - FlexHOI-Bench により可変長の観測・予測を伴う goal-conditioned joint motion prediction を評価可能にする点が新しい - 具体的な先行 dataset 名との比較は要旨からは不明

3. 技術・手法の肝は?

- static scene scans を persistent references として利用 - pipeline は以下を組み合わせる - camera localization - depth-based metric alignment - human mesh recovery - object tracking - temporal refinement - これらにより全 geometric annotations を shared floor-aligned frame に登録 - FlexHOI-Bench は goal-conditioned joint motion prediction を定式化 - 入力: observed histories、scene/object geometry、terminal object pose - 出力: future human and object motion - 参照 predictor SharedHOI を提供し、world-space accuracy と human-objec…

4. どうやって有効だと検証した?

- MoCap subset での評価 - human G-MPJPE を 195.4 から 68.3 mm に低減 - object translation error を 43.0 から 28.7 mm に低減 - FlexHOI-Bench 上で SharedHOI を評価 - 4 つの adapted baselines を 3 つの aggregate metrics すべてで上回る - dataset は 16 indoor rooms、18,429 annotated clips、約 86 時間の quality-screened activity から構成 - 詳細な被験者数や評価プロトコルは要旨からは不明

5. 議論はある?

- 単一 moving RGB-D camera と static scene scans の組み合わせで scalable capture と scene-aligned supervision を両立させる設計 - 制約や失敗ケース、generalization の議論は要旨からは不明 - dataset の公開は acceptance 後とされている - anonymized code repository が公開されている - FlexHOI-Bench の評価指標の詳細や baselines の内訳は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている個別研究名は記載なし - 関連手法として以下を挙げる - human mesh recovery - object tracking - camera localization - depth-based metric alignment - temporal refinement - 同分野の定番として、scene-aligned HOI dataset や human-object motion prediction の研究を次に読む候補とする - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qifan Wang, Qihang Fang, Boao Shi, Yushi Du, Pei Zhou, Siyan Dong, Yanchao Yang

分類: cs.CV, cs.AI

原文アブストラクト

Modeling human-object interaction (HOI) in real environments requires jointly representing whole-body motion, manipulated objects, and scene geometry, yet existing datasets trade off scalable capture against structured, scene-aligned supervision. We introduce SituHOI, a large-scale RGB-D dataset containing 18,429 annotated clips across 16 indoor rooms and approximately 86 hours of quality-screened activity. It pairs recordings from a single moving RGB-D camera with static scene scans, object geometry, language descriptions, and estimated human and object trajectories. Using the scans as persistent references, our pipeline combines camera localization and depth-based metric alignment with human mesh recovery, object tracking, and temporal refinement to register all geometric annotations in a shared floor-aligned frame. These data support FlexHOI-Bench, a goal-conditioned joint motion prediction benchmark with variable observation and prediction durations. Given observed histories, scene and object geometry, and a terminal object pose, models predict future human and object motion. We provide SharedHOI as a reference predictor and evaluate world-space accuracy and human-object coordination. On a MoCap subset, our pipeline reduces human G-MPJPE from 195.4 to 68.3 mm and object translation error from 43.0 to 28.7 mm. SharedHOI leads four adapted baselines on all three aggregate FlexHOI-Bench metrics. Data will be released upon acceptance. An anonymized code repository is available at https://anonymous.4open.science/r/iclr2027-anonymous-code-1DFB.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI