日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2512.04884

Hoi!:力に基づくクロスビュー関節物体操作のマルチモーダルデータセット

Hoi! - A Multimodal Dataset for Force-Grounded, Cross-View Articulated Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

人間とロボットの4つの操作形態で関節物体を操作した3048シーケンスを収録し、視覚・力・触覚を統合したデータセットを構築した。

詳しい要約

1. どんなもの?

- 実世界の人間と物体の関節操作を「見たもの・やったこと・感じた力」で結びつけたマルチモーダルデータセット。 - 381個の articulated objects、38環境、3048シーケンスを含む。 - 各物体を4つの embodiment で操作: (i) human hand、(ii) wrist-mounted camera 付き human hand、(iii) handheld UMI gripper、(iv) 独自の Hoi! gripper。 - tool embodiment では end-effector forces と tactile sensing を提供。 - 動画からの interaction understanding を人間視点とロボット視点間で評価できる。

2. 先行研究と比べてどこがすごい?

- 要旨からは先行研究との具体的比較は不明。 - 特徴として、同一物体を human hand から UMI gripper、Hoi! gripper まで複数 embodiment で操作した cross-view データを揃える点を強調。 - interaction forces や tactile sensing など、従来あまり検討されていない modality の研究を可能にする点を主張。

3. 技術・手法の肝は?

- 同一の articulated objects を4種類の embodiment で操作し、視点・操作・力覚を対応付けて収集。 - wrist-mounted camera により人間視点の動画を取得。 - UMI gripper と Hoi! gripper によりロボット視点の操作データを取得。 - Hoi! gripper は end-effector forces と tactile sensing を提供。 - 詳細な収集プロトコルや同期方法は要旨からは不明。

4. どうやって有効だと検証した?

- 要旨からは不明。 - データセットの規模(3048 sequences、381 objects、38 environments、4 embodiments)を示しているが、ベンチマーク実験や定量評価の記述はない。

5. 議論はある?

- 要旨からは不明。 - 人間とロボットの視点間で手法がどの程度転移するかを評価できると述べている。 - interaction forces など未探索 modality の研究を可能にするとしている。 - 限界や課題についての具体的議論は要旨に含まれない。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている研究はない。 - 関連手法として UMI gripper(handheld UMI gripper)が挙げられる。 - 同分野の定番として articulated object manipulation、cross-embodiment learning、tactile sensing、force-based manipulation に関する論文が次に読む候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tim Engelbracht, René Zurbrügg, Matteo Wohlrapp, Martin Büchner, Abhinav Valada, Marc Pollefeys, Hermann Blum, Zuria Bauer

分類: cs.RO

原文アブストラクト

We present a dataset for force-grounded, cross-view articulated manipulation that couples what is seen with what is done and what is felt during real human interaction. The dataset contains 3048 sequences across 381 articulated objects in 38 environments. Each object is operated in four embodiments - (i) human hand, (ii) human hand with a wrist-mounted camera, (iii) handheld UMI gripper, and (iv) a custom Hoi! gripper, where the tool embodiment provides end-effector forces and tactile sensing. Our dataset offers a holistic view of interaction understanding from video, enabling researchers to evaluate how well methods transfer between human and robotic viewpoints, but also investigate underexplored modalities such as interaction forces. The Project Website can be found at https://timengelbracht.github.io/Hoi-Dataset-Website/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI