VLA/異機種間転移2026/6/1arXiv:2606.22836

Cloak: エンドエフェクタをVLAからマスクすることで実現するゼロショット異機種間操作

Cloak: Zero-Shot Cross-Embodiment Manipulation by Masking the End-Effector from the VLA

手首カメラ画像からエンドエフェクタをマスクする訓練手法Cloakを提案し、単一グリッパのデータのみで訓練したVLAが、未見の異なるロボット構成へゼロショットで転移できることを示した。

詳しい要約

1. どんなもの？

- 本論文は、Vision-Language-Action (VLA) モデルにゼロショットのクロスエンボディメント転移を可能にする訓練手法「Cloak」を提案する。 - エンドエフェクタをリストカメラから隠す（マスクする）ことで、エンボディメントに依存しない視覚推論を実現する。 - シミュレーションで既知のロボット形状からマスクをリアルタイムに生成し、訓練時にマスクを拡張して未知のエンボディメントに汎化させる。 - Cloak-VLAは単一の平行グリッパデータセットで訓練され、新しいエンボディメントのデータを一切収集せずに、別のグリッパ、別のアーム、五指ハンドなどにゼロショット転移する。

2. 先行研究と比べてどこがすごい？

- 従来のVLAモデルは訓練時と同じエンボディメントにしか適用できないことが多いが、Cloakはゼロショットで未知のエンボディメントに転移できる。 - セグメンテーションや生成モデルを使わず、シミュレーションで正確かつリアルタイムにマスクを生成する点が新しい。 - 訓練時にマスクを拡張することで、訓練時に見ていないエンボディメントへの汎化を実現する。 - ソースエンボディメントの性能を維持しつつ、データがハードウェアより長生きすることを可能にする。

3. 技術・手法の肝は？

- リストカメラの視野でエンドエフェクタが占める領域をマスクする。 - シミュレーションでロボットの既知の形状からマスクをレンダリングし、セグメンテーションや生成モデルを使わない。 - 訓練中にマスクを拡張し、未知のエンボディメントへの汎化を促す。 - Cloak-VLAは単一の平行グリッパデータセットで訓練される。

4. どうやって有効だと検証した？

- Cloak-VLAを単一の平行グリッパデータセットで訓練し、別のグリッパ、別のアーム、五指ハンドを含む様々な未知のエンボディメントにゼロショット転移することを実証。 - ソースエンボディメントの性能が維持されることも確認。 - 新しいエンボディメントのデータは一切収集していない。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。関連手法としてVision-Language-Action (VLA) モデル、クロスエンボディメント転移、ゼロショット学習の定番論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Michael Piseno, Guy Tevet, C. Karen Liu

分類: cs.RO

原文アブストラクト

We present Cloak, a training recipe that endows a Vision-Language-Action (VLA) model with zero-shot cross-embodiment transfer by cloaking the end-effector from its own wrist camera. The end-effector occupies a large and consistent region of the wrist view and masking it allows for embodiment-agnostic visual reasoning. Cloak renders a mask in simulation from the robot's known geometry, accurately and in real time, with no segmentation or generative models. During training, we augment the mask so the model generalizes to embodiments unseen at training time. We demonstrate the recipe with Cloak-VLA, a VLA trained with Cloak on a single parallel-jaw gripper dataset. No data of new embodiments is ever collected. Cloak-VLA transfers zero-shot to various unseen embodiments, including another gripper, another arm, and a five-fingered hand, while preserving the source embodiment's performance. By decoupling the wrist view from its own embodiment, Cloak allows data to outlive the hardware it was collected on.

arXivで原文を読む →arXiv概要ページ

← 論文一覧