マニピュレーション2026/2/1arXiv:2602.13444

FlowHOI: 巧みなロボット操作のためのフロー型意味論に基づく手と物体のインタラクション生成

FlowHOI: Flow-based Semantics-Grounded Generation of Hand-Object Interactions for Dexterous Robot Manipulation

言語指示と3Dシーン再構成を条件に、フローマッチングで手姿勢・物体姿勢・接触状態からなる手と物体のインタラクション系列を生成し、ロボット操作へ転移可能にする手法を提案。

詳しい要約

1. どんなもの？

- 視覚言語行動(VLA)モデルはエンドエフェクタ動作を生成できるが、長期的で接触の多いタスクではHOI構造が明示されず失敗しやすい。 - 本論文はFlowHOIを提案する。 - 2段階のflow-matchingフレームワーク。 - 自我中心観察、言語指示、3D Gaussian splatting(3DGS)シーン再構成を条件に、意味的に根拠づけられた時間的に一貫したHOI系列(手姿勢、物体姿勢、接触状態)を生成。 - 身体性に依存しない相互作用表現を目指す。

2. 先行研究と比べてどこがすごい？

- 従来のVLAモデルはエンドエフェクタ動作生成に留まり、HOI構造を明示しない。 - FlowHOIはHOI構造を明示的に表現し、長期的・接触豊富なタスクでの検証と転移を容易にする。 - 拡散ベースの最強ベースラインと比較し、GRABとHOT3Dで最高の行動認識精度、物理シミュレーション成功率1.7倍、推論速度40倍を達成。

3. 技術・手法の肝は？

- 2段階のflow-matchingフレームワーク。 - 幾何中心の把持と意味中心の操作を分離。 - 後者をコンパクトな3Dシーントークンと言語指示に条件付け。 - motion-text alignment lossで生成相互作用を物理シーン配置と言語指示に意味的に根拠づけ。 - 高忠実度HOI監督の不足に対処するため、大規模自我中心動画から整列した手-物体軌跡とメッシュを復元する再構成パイプラインを導入し、HOI priorを得る。

4. どうやって有効だと検証した？

- GRABとHOT3Dベンチマークで評価。 - 最高の行動認識精度。 - 最強の拡散ベースライン比で物理シミュレーション成功率1.7倍。 - 推論速度40倍。 - 4つの器用な操作タスクで実ロボット実行を実証し、生成HOI表現を実ロボット実行パイプラインに再ターゲットする実現可能性を示す。

5. 議論はある？

- 要旨からは不明。 - 限界や失敗事例、計算コスト、一般化可能性についての議論は要旨に記載なし。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: 拡散ベースのベースライン(具体的名称は要旨に記載なし)。 - 関連手法: vision-language-action (VLA) models, 3D Gaussian splatting (3DGS), flow-matching。 - 同分野の定番: GRAB, HOT3Dベンチマーク。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Huajian Zeng, Lingyun Chen, Jiaqi Yang, Yuantai Zhang, Fan Shi, Peidong Liu, Xingxing Zuo

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Recent vision-language-action (VLA) models can generate plausible end-effector motions, yet they often fail in long-horizon, contact-rich tasks because the underlying hand-object interaction (HOI) structure is not explicitly represented. An embodiment-agnostic interaction representation that captures this structure would make manipulation behaviors easier to validate and transfer across robots. We propose FlowHOI, a two-stage flow-matching framework that generates semantically grounded, temporally coherent HOI sequences, comprising hand poses, object poses, and hand-object contact states, conditioned on an egocentric observation, a language instruction, and a 3D Gaussian splatting (3DGS) scene reconstruction. We decouple geometry-centric grasping from semantics-centric manipulation, conditioning the latter on compact 3D scene tokens and employing a motion-text alignment loss to semantically ground the generated interactions in both the physical scene layout and the language instruction. To address the scarcity of high-fidelity HOI supervision, we introduce a reconstruction pipeline that recovers aligned hand-object trajectories and meshes from large-scale egocentric videos, yielding an HOI prior for robust generation. Across the GRAB and HOT3D benchmarks, FlowHOI achieves the highest action recognition accuracy and a 1.7$\times$ higher physics simulation success rate than the strongest diffusion-based baseline, while delivering a 40$\times$ inference speedup. We further demonstrate real-robot execution on four dexterous manipulation tasks, illustrating the feasibility of retargeting generated HOI representations to real-robot execution pipelines.

arXivで原文を読む →arXiv概要ページ

FlowHOI: 巧みなロボット操作のためのフロー型意味論に基づく手と物体のインタラクション生成

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

OZ GAMING（GPU搭載BTOゲーミングPC）

双腕モバイルマニピュレーター OpenShell