日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

人間-物体インタラクションarXiv:2509.12250

OnlineHOI: オンライン人間-物体インタラクションの生成と知覚

OnlineHOI: Towards Online Human-Object Interaction Generation and Perception

シェア:XThreadsFacebookLINEはてブBluesky

ロボティクスやAR/VRで重要な人間-物体インタラクション(HOI)を、各時刻で現在と過去の情報のみを使うオンライン設定で生成・知覚する新タスクを提案し、Mambaとメモリ機構に基づくOnlineHOIフレームワークで高精度を達成した。

詳しい要約

1. どんなもの?

- Human-Object Interaction (HOI) の知覚と生成を対象とした研究。 - 従来はオフライン設定(各時刻で全系列の情報を利用可能)でモデル化されていた。 - 実世界では各時刻で現在と履歴のみが利用可能なオンライン設定が現実的。 - オフライン手法はオンライン文脈で性能が低いことを観察。 - そこで Online HOI Generation と Online HOI Perception の2つの新タスクを提案。 - OnlineHOI フレームワーク(Mamba ベース+Memory 機構)を導入。

2. 先行研究と比べてどこがすごい?

- 既存の HOI 研究はオフライン設定で各時刻の情報を全系列から取得できると仮定していた。 - 本研究はオフライン手法がオンライン設定で性能低下することを示した点が新しい。 - オンライン設定に特化した2つの新タスク(Online HOI Generation / Perception)を定義。 - Mamba のストリーミングデータへのモデリング能力と Memory 機構の履歴統合を組み合わせ、Core4D・OAKINK2 のオンライン生成と HOI4D のオンライン知覚で state-of-the-art を達成。

3. 技術・手法の肝は?

- OnlineHOI フレームワーク: Mamba フレームワークに基づくネットワークアーキテクチャ。 - Memory 機構を採用し、履歴情報を効率的に統合。 - Mamba のストリーミングデータに対する強力なモデリング能力を活用。 - 現在時刻と履歴のみを入力とするオンライン設定に対応。 - 詳細な設計・損失・実装は要旨からは不明。

4. どうやって有効だと検証した?

- Core4D と OAKINK2 のオンライン生成タスクで評価。 - HOI4D のオンライン知覚タスクで評価。 - いずれも state-of-the-art の結果を達成したと報告。 - オフライン手法がオンライン文脈で性能が低いことも観察。 - 具体的な指標・比較手法・実験設定は要旨からは不明。

5. 議論はある?

- オフライン設定とオンライン設定のギャップを指摘し、オンライン設定の重要性を議論。 - 実世界のロボティクス・AR/VR・人間行動理解への応用可能性に言及。 - Memory 機構による履歴統合の有効性を示唆。 - 限界・失敗事例・計算コスト・リアルタイム性などの詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- Mamba(State Space Model ベースの系列モデリング手法) - Memory 機構を用いたストリーミング系列処理の関連研究 - HOI 生成・知覚のオフライン手法(比較対象として言及される既存研究) - Core4D / OAKINK2 / HOI4D を用いた HOI 研究 - 具体的な参照論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yihong Ji, Yunze Liu, Yiyao Zhuo, Weijiang Yu, Fei Ma, Joshua Huang, Fei Yu

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

The perception and generation of Human-Object Interaction (HOI) are crucial for fields such as robotics, AR/VR, and human behavior understanding. However, current approaches model this task in an offline setting, where information at each time step can be drawn from the entire interaction sequence. In contrast, in real-world scenarios, the information available at each time step comes only from the current moment and historical data, i.e., an online setting. We find that offline methods perform poorly in an online context. Based on this observation, we propose two new tasks: Online HOI Generation and Perception. To address this task, we introduce the OnlineHOI framework, a network architecture based on the Mamba framework that employs a memory mechanism. By leveraging Mamba's powerful modeling capabilities for streaming data and the Memory mechanism's efficient integration of historical information, we achieve state-of-the-art results on the Core4D and OAKINK2 online generation tasks, as well as the online HOI4D perception task.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI