日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2507.02600

ArtGS: 3Dガウシアンスプラッティングによる関節物体の視覚・物理モデリングと操作

ArtGS:3D Gaussian Splatting for Interactive Visual-Physical Modeling and Manipulation of Articulated Objects

シェア:XThreadsFacebookLINEはてブBluesky

3Dガウシアンスプラッティングに視覚言語モデルと微分可能レンダリングを組み合わせ、関節物体の構造を推定して操作方策を最適化するフレームワークを提案。

詳しい要約

1. どんなもの？

- 関節物体(articulated objects)の理解と操作のための新しいフレームワーク ArtGS を提案 - 3D Gaussian Splatting (3DGS) を拡張し、視覚的・物理的モデリングを統合 - 多視点 RGB-D 再構成から始め、vision-language model (VLM) で意味・構造情報(特に articulated bones)を抽出 - 動的で微分可能な 3DGS ベースのレンダリングを通じて articulated bones のパラメータを最適化 - 物理的に整合した運動制約と操作ポリシーの改善を目指す

2. 先行研究と比べてどこがすごい？

- 既存手法は複雑な運動学的制約と限られた物理推論が課題 - ArtGS は 3DGS に視覚-物理モデリングを統合することでこれに対処 - dynamic Gaussian splatting、cross-embodiment 適応性、closed-loop 最適化を活用 - シミュレーションと実環境の両方で、関節推定精度と操作成功率が従来手法を大幅に上回ると報告 - 効率的・スケーラブル・汎化可能な枠組みを確立すると主張

3. 技術・手法の肝は？

- 多視点 RGB-D 再構成を実施 - VLM による推論で意味・構造情報、特に articulated bones を抽出 - 動的・微分可能な 3DGS ベースレンダリングで articulated bones のパラメータを最適化 - 物理的に整合した運動制約を課し、操作ポリシーを強化 - dynamic Gaussian splatting、cross-embodiment 適応性、closed-loop 最適化を組み合わせる

4. どうやって有効だと検証した？

- シミュレーション環境と実世界環境の両方で実験を実施 - 多様な関節物体において joint estimation accuracy と manipulation success rates を評価 - 結果として ArtGS が従来手法を大幅に上回ることを示す - 詳細な実験設定・指標・被験物体の内訳は要旨からは不明

5. 議論はある？

- 要旨からは不明 - 想定される論点(運動学的制約の一般性、VLM 推論の誤り、実環境でのロバスト性など)は要旨に明記されていない

6. 次に読むべき論文は？

- 3D Gaussian Splatting (3DGS) の原論文 - vision-language model (VLM) を用いたロボット操作に関する研究 - articulated object manipulation の既存手法(比較対象として言及される previous methods) - dynamic Gaussian splatting や closed-loop optimization に関する関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qiaojun Yu, Xibin Yuan, Yu jiang, Junting Chen, Dongzhe Zheng, Ce Hao, Yang You, Yixing Chen, Yao Mu, Liu Liu, Cewu Lu

分類: cs.RO

原文アブストラクト

Articulated object manipulation remains a critical challenge in robotics due to the complex kinematic constraints and the limited physical reasoning of existing methods. In this work, we introduce ArtGS, a novel framework that extends 3D Gaussian Splatting (3DGS) by integrating visual-physical modeling for articulated object understanding and interaction. ArtGS begins with multi-view RGB-D reconstruction, followed by reasoning with a vision-language model (VLM) to extract semantic and structural information, particularly the articulated bones. Through dynamic, differentiable 3DGS-based rendering, ArtGS optimizes the parameters of the articulated bones, ensuring physically consistent motion constraints and enhancing the manipulation policy. By leveraging dynamic Gaussian splatting, cross-embodiment adaptability, and closed-loop optimization, ArtGS establishes a new framework for efficient, scalable, and generalizable articulated object modeling and manipulation. Experiments conducted in both simulation and real-world environments demonstrate that ArtGS significantly outperforms previous methods in joint estimation accuracy and manipulation success rates across a variety of articulated objects. Additional images and videos are available on the project website: https://sites.google.com/view/artgs/home

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING（GPU搭載BTOゲーミングPC）

OZ GAMING（GPU搭載BTOゲーミングPC）の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →