日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2511.06378

ArtReg: 未知の関節物体に対する視触覚融合による姿勢追跡と操作

ArtReg: Visuo-Tactile based Pose Tracking and Manipulation of Unseen Articulated Objects

シェア:XThreadsFacebookLINEはてブBluesky

視覚と触覚の点群をアンセンテッドカルマンフィルタで統合し、未知の関節物体の関節を検出して目標姿勢へ操作する手法を提案。

詳しい要約

1. どんなもの?

- 未知の物体(単体・複数・articulated object)を事前知識なしで操作しながら追跡する新手法 - 視覚と触覚の point cloud を統合し、SE(3) Lie Group 上の unscented Kalman Filter で pose tracking を行う ArtReg(Articulated Registration)を提案 - 2台のロボットチームで pushing や hold-pulling を行い articulated joint を検出 - ArtReg を用いた closed-loop controller で目標 pose への操作を実現 - 実ロボット実験と標準データセットで評価

2. 先行研究と比べてどこがすごい?

- 物体の形状や運動学的性質の事前知識を仮定せず未知の articulated object を扱える点 - 視覚のみでなく触覚 point cloud を統合する点 - SE(3) Lie Group 上の unscented Kalman Filter による registration を pose tracking に用いる点 - 標準的な articulated object データセットで state-of-the-art と比較し pose accuracy が向上したと報告 - 具体的な比較対象手法名は要旨からは不明

3. 技術・手法の肝は?

- ArtReg は visuo-tactile point cloud を SE(3) Lie Group 上の unscented Kalman Filter に統合する point cloud registration 手法 - 意図的な manipulation maneuver(pushing、hold-pulling)により articulated joint を検出 - 2台のロボットチームで操作 - ArtReg を基に closed-loop controller を構築し goal-driven に articulated object を目標 pose へ操作 - revolute joint と prismatic joint の両方を対象

4. どうやって有効だと検証した?

- 実ロボット実験で多種類の未知物体を評価 - 重心の異なる物体、低照度条件、難しい視覚背景で robustness を評価 - articulated object の標準データセットでベンチマークし state-of-the-art と比較して pose accuracy の改善を示した - 具体的なデータセット名や評価指標は要旨からは不明

5. 議論はある?

- 視覚と触覚の統合により未知の複雑な articulated object の robust かつ accurate な pose tracking が可能と主張 - revolute/prismatic joint を持つ物体への有効性を示唆 - 限界や失敗事例、計算コスト、一般化可能性についての具体的議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究名は不明 - 関連手法として articulated object の pose tracking/registration、unscented Kalman Filter を用いた point cloud registration、visuo-tactile 融合、articulated object の標準データセットに関する論文を次に読むべき - 同分野の定番として articulated object manipulation や object pose estimation の研究を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Prajval Kumar Murali, Mohsen Kaboli

分類: cs.RO, cs.CV

原文アブストラクト

Robots operating in real-world environments frequently encounter unknown objects with complex structures and articulated components, such as doors, drawers, cabinets, and tools. The ability to perceive, track, and manipulate these objects without prior knowledge of their geometry or kinematic properties remains a fundamental challenge in robotics. In this work, we present a novel method for visuo-tactile-based tracking of unseen objects (single, multiple, or articulated) during robotic interaction without assuming any prior knowledge regarding object shape or dynamics. Our novel pose tracking approach termed ArtReg (stands for Articulated Registration) integrates visuo-tactile point clouds in an unscented Kalman Filter formulation in the SE(3) Lie Group for point cloud registration. ArtReg is used to detect possible articulated joints in objects using purposeful manipulation maneuvers such as pushing or hold-pulling with a two-robot team. Furthermore, we leverage ArtReg to develop a closed-loop controller for goal-driven manipulation of articulated objects to move the object into the desired pose configuration. We have extensively evaluated our approach on various types of unknown objects through real robot experiments. We also demonstrate the robustness of our method by evaluating objects with varying center of mass, low-light conditions, and with challenging visual backgrounds. Furthermore, we benchmarked our approach on a standard dataset of articulated objects and demonstrated improved performance in terms of pose accuracy compared to state-of-the-art methods. Our experiments indicate that robust and accurate pose tracking leveraging visuo-tactile information enables robots to perceive and interact with unseen complex articulated objects (with revolute or prismatic joints).

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI