日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

器用操作/VLAarXiv:2603.00732

UniHM: 視覚言語モデルによる統合器用手操作

UniHM: Unified Dexterous Hand Manipulation with Vision Language Model

シェア:XThreadsFacebookLINEはてブBluesky

自由形式の言語指示に基づいて物理的に実現可能な器用な手の操作を生成する統合フレームワークを提案。異なる手の形態を共通コードブックにマッピングし、人間の物体操作データのみで学習することで、実世界の遠隔操作データなしに汎用性の高い操作シーケンスを生成する。

詳しい要約

1. どんなもの?

- 自由形式の言語命令で操作可能な、統合型 dexterous hand manipulation フレームワーク UniHM を提案。 - 異種の dexterous hand 形態を単一の共有 codebook に写像する Unified Hand-Dexterous Tokenizer を導入。 - Vision Language Action model を human-object interaction データのみで学習し、大規模 teleoperation データを不要とする。 - 物理的実現性を担保する physics-guided dynamic refinement module を備える。 - 複数データセットと実世界評価で seen/unseen 物体・軌道に対し SOTA を達成。

2. 先行研究と比べてどこがすごい?

- 従来は object-centric cues や hand-object interaction の精密な系列に依存し、open-vocabulary instruction の豊かな compositional guidance を活用していなかった。 - UniHM は初の free-form language commands で導かれる unified dexterous hand manipulation フレームワーク。 - 異種 dexterous hand 形態を単一 codebook に統合し、cross-dexterous hand generalization と新形態への scalability を改善。 - human-object interaction データのみで学習し、大規模 real-world teleoperation データセットを排除。 - open-ended language instructions から human-like manipulation sequences を生成する強い generalizability を示す。

3. 技術・手法の肝は?

- Unified Hand-Dexterous Tokenizer により異種 dexterous-hand morphologies を単一の共有 codebook へ写像。 - Vision Language Action model を human-object interaction データのみで学習。 - physics-guided dynamic refinement module が generative および temporal priors の下で segment-wise joint optimization を実行。 - これにより滑らかで物理的に feasible な manipulation sequences を生成。 - 詳細なアーキテクチャや損失関数は要旨からは不明。

4. どうやって有効だと検証した?

- 複数のデータセットおよび実世界評価を実施。 - seen および unseen の物体と軌道の両方で state-of-the-art 結果を達成。 - 強い generalization と高い physical feasibility を実証。 - 具体的な評価指標やベースラインは要旨からは不明。

5. 議論はある?

- 物理的実現性を確保するため physics-guided dynamic refinement module を導入している点が議論の焦点。 - human-object interaction データのみでの学習が実世界 teleoperation データセットの必要性を排除する点も議論。 - 異種 dexterous hand 形態への統合が cross-dexterous hand generalization と scalability に寄与する点が議論。 - 限界や失敗事例、計算コスト、リアルタイム性などは要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として object-centric manipulation、hand-object interaction sequence modeling、Vision Language Action model、dexterous hand tokenization、physics-guided refinement などが挙げられる。 - 同分野の定番として dexterous manipulation の learning-based 手法や human-object interaction データセットを用いた研究を読むと良い。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenhao Zhang, Jiaxin Liu, Ye Shi, Jingya Wang

分類: cs.RO, cs.CV

原文アブストラクト

Planning physically feasible dexterous hand manipulation is a central challenge in robotic manipulation and Embodied AI. Prior work typically relies on object-centric cues or precise hand-object interaction sequences, foregoing the rich, compositional guidance of open-vocabulary instruction. We introduce UniHM, the first framework for unified dexterous hand manipulation guided by free-form language commands. We propose a Unified Hand-Dexterous Tokenizer that maps heterogeneous dexterous-hand morphologies into a single shared codebook, improving cross-dexterous hand generalization and scalability to new morphologies. Our vision language action model is trained solely on human-object interaction data, eliminating the need for massive real-world teleoperation datasets, and demonstrates strong generalizability in producing human-like manipulation sequences from open-ended language instructions. To ensure physical realism, we introduce a physics-guided dynamic refinement module that performs segment-wise joint optimization under generative and temporal priors, yielding smooth and physically feasible manipulation sequences. Across multiple datasets and real-world evaluations, UniHM attains state-of-the-art results on both seen and unseen objects and trajectories, demonstrating strong generalization and high physical feasibility. Our project page at \href{https://unihm.github.io/}{https://unihm.github.io/}.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI