日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.19958

行動ラベルなしデータを活用した汎用ロボットマニピュレーション

Generalist Robot Manipulation beyond Action Labeled Data

シェア:XThreadsFacebookLINEはてブBluesky

人間やロボットの行動動画から3D点群の動きを自己教師あり学習し、少数のラベル付きデータで行動予測器に調整することで、ラベルなしでも新しいタスクを学習できる汎用マニピュレーション手法を提案。

詳しい要約

1. どんなもの?

- アクションラベル付きロボット実演データに依存せず、人間やロボットの行動動画(ラベルなし)を活用する generalist robot manipulation 手法の提案。 - 手または gripper 位置の密で動的な 3D point clouds を抽出し、3D dynamics predictor を自己教師ありで学習。 - その後、より小規模なラベル付きデータセットで action predictor にチューニングし、action alignment を行う。 - 未ラベルの人間・ロボット実演から学習し、下流の generalist robot policies を改善。 - 実世界とシミュレーションの両方で、action labels なしに新規タスクを学習する out-of-action generalization を可能にする。

2. 先行研究と比べてどこがすごい?

- 既存の generalist robot manipulation は pre-trained Vision-Language Models (VLMs) と大規模ロボット実演に依存し、zero-shot で多様なタスクに取り組む。 - しかし高品質な action-labeled robot demonstration data のスケーリングが主要な課題であり、既存手法は robustness と generalization をこのデータに依存している。 - 提案手法は action labels のない動画(人間および/またはロボットの行動)を活用できる点で異なる。 - これにより open-vocabulary 性能を高め、新規タスクの data-efficient learning を可能にする。 - ラベルなしデータから学習しつつ、下流の generalist robot policies を改善できる点が先行研究との差分として示されている。

3. 技術・手法の肝は?

- 手または gripper 位置において、密で動的な 3D point clouds を抽出する。 - 抽出した 3D point clouds に対し、提案する 3D dynamics predictor を用いて自己教師あり学習(self-supervision)を行う。 - 次に、より小規模なラベル付きデータセットを用いて 3D dynamics predictor を action predictor にチューニングし、action alignment を実現する。 - ラベルなしの人間・ロボット実演動画から学習した表現を、下流の generalist robot policies に活用する。 - ラベル付きデータへの依存を減らしつつ、action prediction へ橋渡しするパイプラインが肝。

4. どうやって有効だと検証した?

- ラベルなしの人間およびロボット実演から学習できることを示し、下流の generalist robot policies の改善を確認。 - action labels なしで新規タスクを学習する out-of-action generalization を、実世界(real-world)とシミュレーション(simulated)の両設定で検証。 - 具体的なデータセット名、タスク数、評価指標、ベースライン比較の詳細は要旨からは不明。

5. 議論はある?

- 高品質な action-labeled robot demonstration data のスケーリング課題に対し、ラベルなし動画活用という方向性を提示。 - ラベルなしデータから open-vocabulary 性能向上と data-efficient learning が可能であると主張。 - 小規模ラベル付きデータでの action alignment に依存するため、その量・質の影響に関する議論は要旨からは不明。 - 実世界・シミュレーション双方での検証が示されるが、限界や失敗事例、計算コスト、3D point clouds 抽出のロバスト性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別論文は明示されていない。 - 関連手法として、pre-trained Vision-Language Models (VLMs) を用いた generalist robot manipulation、大規模ロボット実演による zero-shot 手法、action-labeled robot demonstration data に依存する既存研究を挙げる。 - 自己教師あり学習の関連として 3D dynamics predictor を用いる表現学習、動画からのロボット学習(ラベルなし動画活用)に関する研究が次に読む候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Alexander Spiridonov, Jan-Nico Zaech, Nikolay Nikolov, Luc Van Gool, Danda Pani Paudel

分類: cs.RO

原文アブストラクト

Recent advances in generalist robot manipulation leverage pre-trained Vision-Language Models (VLMs) and large-scale robot demonstrations to tackle diverse tasks in a zero-shot manner. A key challenge remains: scaling high-quality, action-labeled robot demonstration data, which existing methods rely on for robustness and generalization. To address this, we propose a method that benefits from videos without action labels - featuring humans and/or robots in action - enhancing open-vocabulary performance and enabling data-efficient learning of new tasks. Our method extracts dense, dynamic 3D point clouds at the hand or gripper location and uses a proposed 3D dynamics predictor for self-supervision. This predictor is then tuned to an action predictor using a smaller labeled dataset for action alignment. We show that our method not only learns from unlabeled human and robot demonstrations - improving downstream generalist robot policies - but also enables robots to learn new tasks without action labels (i.e., out-of-action generalization) in both real-world and simulated settings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI