日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2510.25268

SynHLMA:離散的な人-物体インタラクション表現による関節物体の手言語操作の合成

SynHLMA:Synthesizing Hand Language Manipulation for Articulated Object with Discrete Human Object Interaction Representation

シェア:XThreadsFacebookLINEはてブBluesky

関節物体に対する言語指示付きの手の把持・操作系列を生成するフレームワークSynHLMAを提案し、生成・予測・補間タスクで高性能を示した。

詳しい要約

1. どんなもの?

- 本論文は、articulated object(関節物体)に対する手と物体の相互作用(HAOI: hand articulated object interaction)系列を、自然言語指示から生成するフレームワーク SynHLMA を提案する。 - 入力として articulated object の完全な point cloud と言語指示を与え、HAOI 系列を合成する。 - HAOI generation、HAOI prediction、HAOI interpolation の3タスクを扱う。 - 構築した HAOI-lang dataset 上で評価し、ロボティクス把持への応用も示す。

2. 先行研究と比べてどこがすごい?

- 従来の言語指示による hand grasp 生成は主に静的な把持を対象としていたのに対し、本手法は articulated object の変形に沿った長期的な manipulation sequence を扱う点が異なる。 - 物体の functionality だけでなく、object deformation に沿う系列生成を要求する HAOI へ拡張している。 - 実験では state-of-the-art と比較して優れた hand grasp sequence 生成性能を示したと述べられている。 - 具体的な比較対象手法名は要旨からは不明。

3. 技術・手法の肝は?

- articulated object の完全な point cloud を入力とし、各 hand object interaction frame を discrete HAOI representation でモデル化する。 - 自然言語 embeddings と組み合わせ、HAOI manipulation language model により、把持過程と言語記述を shared representation space 上で整合させる。 - joint-aware loss を導入し、hand grasps が articulated object の joint の動的変化に追従するよう制約する。 - これにより HAOI generation、prediction、interpolation の3タスクを実現する。

4. どうやって有効だと検証した?

- 構築した HAOI-lang dataset 上で SynHLMA を評価している。 - state-of-the-art と比較し、優れた hand grasp sequence 生成性能を示したと報告している。 - ロボティクス把持応用として、SynHLMA が提供する manipulation sequence を用いた imitation learning による dexterous grasps 実行を示している。 - 定量的指標や被験者評価の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗ケース、joint-aware loss の寄与の詳細な分析については要旨に記述がない。 - データセットの規模や多様性、実機での汎化性に関する議論も要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究名は不明。 - 関連手法として、言語指示による hand grasp 生成、HAOI、discrete representation を用いた human object interaction 生成、imitation learning による dexterous grasp の研究を挙げる。 - articulated object の manipulation に関する定番研究や、HAOI-lang dataset を用いる後続研究も次に読む候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wang zhi, Yuyan Liu, Liu Liu, Li Zhang, Ruixuan Lu, Dan Guo

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Generating hand grasps with language instructions is a widely studied topic that benefits from embodied AI and VR/AR applications. While transferring into hand articulatied object interaction (HAOI), the hand grasps synthesis requires not only object functionality but also long-term manipulation sequence along the object deformation. This paper proposes a novel HAOI sequence generation framework SynHLMA, to synthesize hand language manipulation for articulated objects. Given a complete point cloud of an articulated object, we utilize a discrete HAOI representation to model each hand object interaction frame. Along with the natural language embeddings, the representations are trained by an HAOI manipulation language model to align the grasping process with its language description in a shared representation space. A joint-aware loss is employed to ensure hand grasps follow the dynamic variations of articulated object joints. In this way, our SynHLMA achieves three typical hand manipulation tasks for articulated objects of HAOI generation, HAOI prediction and HAOI interpolation. We evaluate SynHLMA on our built HAOI-lang dataset and experimental results demonstrate the superior hand grasp sequence generation performance comparing with state-of-the-art. We also show a robotics grasp application that enables dexterous grasps execution from imitation learning using the manipulation sequence provided by our SynHLMA. Our codes and datasets will be made publicly available.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI