DexJoCo-X: 多様なロボットハンド操作のための行動表現ベンチマーク

- 複数の dexterous hand を対象とした cross-embodiment learning のための benchmark と toolkit である DexJoCo-X を提案 - 7種類の代表的な dexterous hand、6つの single-arm および bimanual タスク、2,100の balanced demonstrations を提供 - 共通の scene、success criteria、execution interface を備えた multi-hand, multi-task protocol を整備 - glove-to-hand mapping を再設計し、reviewed demonstrations を randomized scene に拡張する自動 pipeline を構築 - π_{0.5}, Ego-Pi, Being-H0.5 を用いて、shared action interface が multi-hand learning に十分かを検証

- 既存研究では hand、task、dataset、control interface の違いにより、representation、pretraining、architecture の効果を分離できなかった - DexJoCo-X は共通 scene、success criteria、execution interface を備えた matched multi-hand, multi-task protocol を提供し、制御された比較を可能にする - 7種類の hand と 6タスク、2,100 demonstrations を揃え、cross-embodiment 表現の効果を分離して評価できる点が新しい - 単一の policy で全7 hand を制御できるかを体系的に検証する benchmark はこれまでにない

- 共通の scene、success criteria、execution interface を備えた multi-hand, multi-task protocol を設計 - glove-to-hand mapping を再設計し、reviewed demonstrations を randomized scene に拡張する自動 pipeline を構築 - π_{0.5} を 80次元 bimanual output に拡張して評価 - Ego-Pi は interleaved prediction で pretrained action head を保持し、per-hand multi-task learning を実現 - Being-H0.5 は cross-embodiment pretraining、unified action space、embodiment-aware experts を組み合わせ、function-aligned action slots を導入

- π_{0.5} を 80次元 bimanual output に拡張すると success がほぼゼロになることを確認 - Ego-Pi は per-hand multi-task learning を支えるが、7 hand の joint training には不十分であることを確認 - Being-H0.5 は cross-embodiment pretraining、unified action space、embodiment-aware experts により、1つの policy で全7 hand を制御できることを確認 - function-aligned action slots は mean success 47.7% を達成し、native coordinates の 47.0%、DexLatent の 33.1% と比較して有効性を検証

- cross-embodiment representation は action coordinates、pretraining、architecture が共同で shared manipulation structure と embodiment-specific control を分離することに依存する - shared action interface だけでは multi-hand learning に不十分である可能性を示唆 - 7 hand の joint training には architecture や pretraining の工夫が不可欠であることを議論 - ただし、各手法の詳細な限界や failure case の分析は要旨からは不明

- π_{0.5} (pi-zero-point-five) - Ego-Pi - Being-H0.5 - DexLatent - 関連する cross-embodiment learning や dexterous manipulation の研究