日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

両手操作arXiv:2507.19817

Ag2x2: ゼロショット両手操作のためのロバストなエージェント非依存視覚表現

Ag2x2: Robust Agent-Agnostic Visual Representations for Zero-Shot Bimanual Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

物体状態と手の動きを協調的にエンコードする視覚表現を提案し、人間の動画から両手操作スキルをゼロショット学習。13タスクで73.5%の成功率を達成。

詳しい要約

1. どんなもの?

- 両手(bimanual)マニピュレーションのための計算フレームワーク「Ag2x2」を提案する研究。 - 物体状態と手の運動パターンを同時に符号化する coordination-aware な視覚表現を用いる。 - agent-agnostic 性を保ちつつ、両手協調に必要な情報を扱うことを狙う。 - Bi-DexHands と PerAct2 の13タスクで評価し、73.5%の成功率を報告。

2. 先行研究と比べてどこがすごい?

- 先行研究は人間動画由来の agent-agnostic 視覚表現で単腕の zero-shot 技能学習を実現したが、両手協調に必要な end-effector 位置などの agent-specific 情報を無視していた。 - Ag2x2 は object states と hand motion patterns を jointly encode しつつ agent-agnosticism を維持する点が新しい。 - 専門家設計の reward で訓練した policy の成功率を上回ったと報告。

3. 技術・手法の肝は?

- coordination-aware visual representations により、物体状態と手の運動パターンを同時に符号化する。 - agent-agnostic 性を保つ設計を維持する。 - 具体的なネットワーク構成や学習手順の詳細は要旨からは不明。 - 学習した表現を imitation learning に活用できる点も示す。

4. どうやって有効だと検証した?

- Bi-DexHands と PerAct2 由来の13の多様な両手タスクで実験。 - ロープのような deformable objects を含む難タスクも対象。 - 成功率73.5%を達成し、baseline 手法を上回り、expert-engineered rewards で訓練した policy も上回った。 - 表現が imitation learning に有効であることも示した。

5. 議論はある?

- 人間の demonstration や engineered rewards なしで多様なタスクに頑健な性能を維持できると主張。 - 複雑な両手ロボット技能のスケーラブルな学習への一歩と位置づける。 - 限界や失敗事例、計算コストなどの詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- Bi-DexHands - PerAct2 - 人間動画から agent-agnostic 視覚表現を学ぶ単腕 zero-shot マニピュレーションの先行研究(具体名は要旨からは不明) - imitation learning 関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziyin Xiong, Yinghan Chen, Puhao Li, Yixin Zhu, Tengyu Liu, Siyuan Huang

分類: cs.RO

原文アブストラクト

Bimanual manipulation, fundamental to human daily activities, remains a challenging task due to its inherent complexity of coordinated control. Recent advances have enabled zero-shot learning of single-arm manipulation skills through agent-agnostic visual representations derived from human videos; however, these methods overlook crucial agent-specific information necessary for bimanual coordination, such as end-effector positions. We propose Ag2x2, a computational framework for bimanual manipulation through coordination-aware visual representations that jointly encode object states and hand motion patterns while maintaining agent-agnosticism. Extensive experiments demonstrate that Ag2x2 achieves a 73.5% success rate across 13 diverse bimanual tasks from Bi-DexHands and PerAct2, including challenging scenarios with deformable objects like ropes. This performance outperforms baseline methods and even surpasses the success rate of policies trained with expert-engineered rewards. Furthermore, we show that representations learned through Ag2x2 can be effectively leveraged for imitation learning, establishing a scalable pipeline for skill acquisition without expert supervision. By maintaining robust performance across diverse tasks without human demonstrations or engineered rewards, Ag2x2 represents a step toward scalable learning of complex bimanual robotic skills.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI