日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2509.11125

ManiVID-3D: 分離された3D表現による視点不変なロボットマニピュレーションのための汎化可能な強化学習

ManiVID-3D: Generalizable View-Invariant Reinforcement Learning for Robotic Manipulation via Disentangled 3D Representations

シェア:XThreadsFacebookLINEはてブBluesky

カメラ視点が変わっても頑健に動作するロボットマニピュレーションのための3D強化学習手法を提案し、視点変化下で成功率を大幅に向上させた。

詳しい要約

1. どんなもの？

- 視点変化に頑健なロボットマニピュレーション向け3D強化学習(RL)アーキテクチャ「ManiVID-3D」の提案。 - 自己教師ありのdisentangled feature learningによりview-invariant表現を学習。 - ViewNetで任意視点のpoint cloudを外部キャリブレーション無しで統一座標系に整列。 - GPU高速batch rendering(5000 frames/秒超)で大規模3D visual RL訓練を可能に。

2. 先行研究と比べてどこがすごい？

- 既存手法は精密なcamera calibrationに依存、または大きなperspective変化に弱い。 - 提案は外部キャリブレーション不要で任意視点のpoint cloudを整列可能。 - 視点変化下でstate-of-the-art比40.6%高い成功率、パラメータは80%削減。 - 5000 frames/秒超のrenderingで従来にない速度の大規模3D visual RL訓練を実現。

3. 技術・手法の肝は？

- 自己教師ありdisentangled feature learningでview-invariant表現を獲得。 - ViewNet: 任意視点のpoint cloud観測を外部extrinsic calibration無しで統一空間座標系へ自動整列する軽量モジュール。 - GPU加速batch renderingモジュール(5000 frames/秒超)で3D visual RLの大規模訓練を高速化。 - 幾何的に一貫した表現学習により視点変化への頑健性を狙う。

4. どうやって有効だと検証した？

- 10のsimulatedタスクと5のreal-worldタスクで広範に評価。 - 視点変化条件下でstate-of-the-art比40.6%高い成功率を達成。 - パラメータ数を80%削減。 - severeなperspective変化への頑健性と強いsim-to-real性能を確認。

5. 議論はある？

- 視点変化は実環境で避け難く、固定front-facing camera訓練ポリシーの失敗が動機。 - 外部キャリブレーション不要の整列と幾何一貫表現が非構造環境でのスケーラブルな操作に有効と主張。 - 限界や失敗事例、計算コストの詳細は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されているstate-of-the-art手法の具体名は要旨からは不明。 - 関連手法としてpoint cloudベース3D visual RL、view-invariant representation learning、sim-to-real転移の代表的研究を次に読む候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zheng Li, Pei Qu, Yufei Jia, Shihui Zhou, Haizhou Ge, Jiahang Cao, Jinni Zhou, Guyue Zhou, Jun Ma

分類: cs.RO, cs.CV

原文アブストラクト

Deploying visual reinforcement learning (RL) policies in real-world manipulation is often hindered by camera viewpoint changes. A policy trained from a fixed front-facing camera may fail when the camera is shifted -- an unavoidable situation in real-world settings where sensor placement is hard to manage appropriately. Existing methods often rely on precise camera calibration or struggle with large perspective changes. To address these limitations, we propose ManiVID-3D, a novel 3D RL architecture designed for robotic manipulation, which learns view-invariant representations through self-supervised disentangled feature learning. The framework incorporates ViewNet, a lightweight yet effective module that automatically aligns point cloud observations from arbitrary viewpoints into a unified spatial coordinate system without the need for extrinsic calibration. Additionally, we develop an efficient GPU-accelerated batch rendering module capable of processing over 5000 frames per second, enabling large-scale training for 3D visual RL at unprecedented speeds. Extensive evaluation across 10 simulated and 5 real-world tasks demonstrates that our approach achieves a 40.6% higher success rate than state-of-the-art methods under viewpoint variations while using 80% fewer parameters. The system's robustness to severe perspective changes and strong sim-to-real performance highlight the effectiveness of learning geometrically consistent representations for scalable robotic manipulation in unstructured environments.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING（GPU搭載BTOゲーミングPC）

OZ GAMING（GPU搭載BTOゲーミングPC）の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →