日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

画像編集/ロボティクスarXiv:2608.12122

HandEdit: 身体性を考慮した人間からロボットへの器用な手の画像編集のための統一ベンチマーク

HandEdit: A Unified Benchmark for Egocentric Human-to-Robot Dexterous Hand Image Editing

シェア:XThreadsFacebookLINEはてブBluesky

人間の手の画像を様々なロボットハンドに変換する大規模な画像編集データセットとベンチマークを構築し、既存の編集モデルの評価と身体性を考慮した編集モデルの発展を目指した。

詳しい要約

1. どんなもの?

HandEditは、人間の手と腕を、一人称視点(egocentric)のフレーム内で多様な器用なロボットの身体(embodiment)に変換するための、大規模で統一されたembodiment-aware画像編集データセットおよびベンチマークである。5つの異なるソースデータセットから派生した2億以上の編集インスタンスを含み、26の異なるURDF(13の手のみ、13の手と腕の構成)をカバーする。データセットに加えて、Hand-onlyとHand-Armの2つのトラックを持つ統一ベンチマークプロトコルを確立し、URDF条件付き評価をサポートする。

2. 先行研究と比べてどこがすごい?

既存の一般的な画像編集モデルは強力な能力を示すが、人間とロボットのデータ間の外観、関節構造、カメラ視点の大きな差異を埋めるために必要なembodiment固有の事前知識を欠いている。HandEditは、このギャップを埋めるために特別に設計された、embodiment-aware画像編集のための大規模な統一データセットとベンチマークを提供する点で先行研究より優れている。

3. 技術・手法の肝は?

HandEditは、多様なソースデータセットから編集インスタンスを生成し、26の異なるURDF(手のみ13、手と腕13)をカバーする。ベンチマークはHand-onlyとHand-Armの2つのトラックで構成され、URDF条件付き評価をサポートする。評価には、一般的な類似度メトリクス、VLMベースの判断、embodiment-awareメトリクスを含む多次元メトリクススイートを使用する。

4. どうやって有効だと検証した?

HandEditの有効性は、11の代表的な画像編集ベースラインを、一般的な類似度メトリクス、VLMベースの判断、embodiment-awareメトリクスを含む多次元メトリクススイートを用いて広範に評価することにより検証された。

5. 議論はある?

要旨からは、HandEditがembodiment-aware編集モデルを前進させ、豊富な人間のビデオデータからスケーラブルな器用なロボット学習を可能にし、より一般化可能なEmbodied AIへの道を開くと述べられている。しかし、具体的な議論や限界については要旨からは不明である。

6. 次に読むべき論文は?

要旨で参照されている関連研究は、既存の一般的な画像編集モデルと、egocentricビデオデータセット(5つのソースデータセット)である。次に読むべき論文としては、これらのソースデータセットや、画像編集モデルのベースライン、embodiment-aware編集に関する研究が考えられるが、具体的なタイトルは要旨からは不明である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenjie Yang, Xingyu Jiao, Guopeng Zhong, Shuzhe Yang, Shi Che, Chao Wu, Chenyu Jiang, Dongjie Zhang, Yideng Zhang, Zheng Zhang, Muyun Jiang, Haisheng Su, Shuang Jin, Donghang Zhang, Chao Yang, Li Chen, Hongyang Li, Zuxuan Wu, Yu-Gang Jiang, Xiaosong Jia, Junchi Yan

分類: cs.RO, cs.CV

原文アブストラクト

Robotic manipulation with dexterous hands is a cornerstone of Embodied AI, yet its progress is stifled by the high cost of collecting embodiment-aware teleoperation data. While abundant egocentric videos of human hands offer a scalable alternative, the profound discrepancies in appearance, articulation, and camera viewpoints between human and robotic data raise significant challenges for co-training. Though existing general image-editing models demonstrate strong capabilities, they lack necessary embodiment-specific priors to fully bridge this gap. In this work, we present HandEdit, a unified large-scale embodiment-aware image-editing dataset and benchmark specifically designed to transform human hands and arms into various dexterous robotic embodiments within egocentric frames. HandEdit comprises over 200M editing instances derived from five diverse source datasets, covering 26 distinct URDFs, including 13 hand-only and 13 hand-arm configurations. Alongside the dataset, we establish a unified benchmark protocol with two tracks: Hand-only and Hand-Arm, supporting URDF-conditioned evaluation. We conduct extensive evaluations of 11 representative image-editing baselines using a multi-dimensional metric suite, including generic similarity metrics, VLM-based judgment, and embodiment-aware metrics. HandEdit serves as a critical resource at the intersection of image editing and robotics: it advances embodiment-aware editing models while enabling scalable dexterous robotic learning from abundant human video data, paving the way for more generalizable Embodied AI.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI