日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

全身マニピュレーションarXiv:2610.12558

PanTact: ウェアラブル接触インターフェースで全身器用さを教える

PanTact: Teaching Whole-Body Dexterity with a Wearable Contact Interface

シェア:XThreadsFacebookLINEはてブBluesky

ロボットを使わない人間のデモンストレーションから、接触情報を介してヒューマノイドの全身マニピュレーションを学習するシステムを提案。

詳しい要約

1. どんなもの?

- 人型ロボットの全身器用さ(whole-body dexterity)を、ロボット不要の人間実演から学習するシステム PanTact を提案。 - 手だけでなく任意の身体表面で操作する能力を対象とし、接触を操作中心の情報としてembodiment間で転移。 - 接触位置とタイミングがタスク達成に必要な相互作用を指定し、ロボットは自身の物理制約内で身体協調を選択。 - 装着型データ収集interface、visuomotor policy、contact-aware whole-body control の3要素で構成。 - Unitree G1 humanoid に追加の身体接触センサなしで実装し、body support、pushing、sweeping、load-sharing を実証。

2. 先行研究と比べてどこがすごい?

- 従来の loco-manipulation 研究は操作を手に限定し、環境との他の身体接触を避ける傾向があった。 - PanTact は操作を手の外へ拡張し、任意の適切な身体表面で操作する全身器用さを学習。 - ロボット不要の人間実演から直接学習する点が特徴で、embodiment 間で転移する接触情報を利用。 - 追加の身体接触センサなしで Unitree G1 に展開できる点も従来と異なる。 - 具体的な先行研究名や比較数値は要旨からは不明。

3. 技術・手法の肝は?

- 装着型・ロボット不要のデータ収集interface:egocentric vision と bimanual UMI grippers に whole-body modular contact patches を追加し、身体接触位置と状態を記録。 - visuomotor policy:egocentric observation gap を緩和し、whole-body contact goals を予測。 - contact-aware whole-body control formulations:適切なロボット表面を用いて active contact goals を実現。 - 接触位置とタイミングを操作中心情報として扱い、ロボットが物理制約内で身体協調を選択。 - 追加の身体接触センサなしで Unitree G1 に展開。

4. どうやって有効だと検証した?

- Unitree G1 humanoid 上に PanTact を展開し、追加の身体接触センサなしで評価。 - body support、pushing、sweeping、load-sharing を含む whole-body dexterity を実証。 - 定量的な評価指標や比較実験の詳細は要旨からは不明。 - プロジェクトサイト https://pantact.github.io が提示されている。

5. 議論はある?

- 接触を embodiment 間で転移する操作中心情報として用いる有効性を示唆。 - ロボットが自身の物理制約内で身体協調を選択する枠組みを提示。 - 限界、失敗事例、定量的な議論は要旨からは不明。 - 追加の身体接触センサなしで実現できる点が議論の対象となり得る。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究は明示されていない。 - 関連手法として UMI grippers、egocentric vision、visuomotor policy、whole-body control が挙げられる。 - 同分野の定番として humanoid loco-manipulation、whole-body manipulation、contact-rich manipulation の研究を読むべき。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaomeng Xu, Han Zhang, Zhian Ruan, Xiaofeng Guo, Jinkun Cao, Ruihan Yang, Carmelo Sferrazza, Shuran Song, Guanya Shi

分類: cs.RO

原文アブストラクト

Humanoid robots have many degrees of freedom and contact surfaces, yet most loco-manipulation research restricts manipulation to the hands and avoids other body contacts with the environment. To extend manipulation beyond the hands, we present PanTact, a system that learns humanoid whole-body dexterity, the capability to manipulate with any suitable body surface, directly from robot-free human demonstrations. Our key idea is to use contact as manipulation-centric information that transfers across embodiments. Contact locations and timing specify the interactions needed to accomplish a task, while the robot chooses how to coordinate its body to realize them within its own physical constraints. Specifically, PanTact captures, learns, and executes whole-body contact via: 1) a wearable, robot-free data collection interface that augments egocentric vision and bimanual UMI grippers with whole-body modular contact patches to record body contact locations and states; 2) a visuomotor policy that mitigates the egocentric observation gap and predicts whole-body contact goals; and 3) contact-aware whole-body control formulations that realize active contact goals using suitable robot surfaces. We deploy PanTact on a Unitree G1 humanoid without additional body contact sensors, demonstrating whole-body dexterity involving body support, pushing, sweeping, and load-sharing. Website: https://pantact.github.io

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI