日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2608.01083

疎と密の融合：剛体-変形体相互作用を伴うロボット操作の対応関係に基づく手法

Sparse Meets Dense: Correspondence Guided Robotic Manipulation with Rigid-Deformable Interactions

シェア:XThreadsFacebookLINEはてブBluesky

剛体と変形体が相互作用する操作タスク（衣類掛けや着衣補助など）のために、タスク固有の疎なキーポイントと変形体上の密な対応関係を組み合わせたハイブリッド表現を提案し、正確なキーポイント追跡と汎化を実現する。

詳しい要約

1. どんなもの？

本論文は、剛体と変形体が相互作用する操作タスク（例：衣類を掛ける、人間に服を着せる）のための、対応関係に基づくハイブリッド表現を提案する。構造・タスク・相互作用を考慮したスパースなkeypointsと、変形体上のデンスな対応関係を組み合わせることで、複雑な多点接触と変形体のダイナミクスを扱う。

2. 先行研究と比べてどこがすごい？

従来のオブジェクト中心表現（6Dポーズや構造点）はタスク固有情報が不足し、剛体-変形体相互作用には不十分である。本手法は、スパースなkeypointsでタスク固有の詳細な情報を捉えつつ、デンスな対応関係で追跡と一般化を実現する点が新しい。

3. 技術・手法の肝は？

手法の肝は、剛体と変形体のグローバル構造に基づいてkeypointsを生成し、局所的な相互作用接触でフィルタリングすること。さらに、変形体上のデンスな対応関係を構築し、操作中のkeypointsの正確な追跡を可能にする。このハイブリッド設計により、スパース表現の利点とデンス表現の利点を組み合わせる。

4. どうやって有効だと検証した？

広範な実験により、提案手法の有効性と適用可能性を示した。具体的な実験設定や比較対象は要旨からは不明だが、新しいタスクへのワンショット転移が最小限のデモンストレーションで可能であることを実証している。

5. 議論はある？

要旨からは、提案手法の限界や議論点は明示されていない。ただし、デンスな対応関係の構築には計算コストがかかる可能性や、非常に複雑な変形への一般化の限界が考えられるが、これらは要旨の範囲外である。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていないが、剛体-変形体操作や対応関係ベースの操作に関する既存研究が考えられる。具体的には、deformable object manipulationやkeypoint detection、dense correspondence estimationに関する論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziyu Zhu, Yue Chen, Xirui Liang, Hojin Bae, Yuran Wang, Zhen Yuan, Ruihai Wu, Hao Dong

分類: cs.RO

原文アブストラクト

Manipulation involving rigid-deformable interactions, such as hanging clothes or dressing humans, is common in daily life, making it essential for household robots. Compared to single-object manipulation or interactions between rigid bodies, these tasks are particularly challenging due to the rich multi-point contacts and the complex dynamics of the deformable bodies during interaction. Therefore, object-centric representations such as 6D poses or structural points without task-specific information become insufficient for these interactions. In this work, we propose a hybrid correspondence-based representation tailored for rigid-deformable interactions. First, to capture intricate interaction information, we introduce structure-, task-, and interaction-aware sparse keypoints. The keypoints are generated based on the global structures of both rigid and deformable objects, and filtered by their local interaction contacts. However, tracking these sparse keypoints through the interaction remains difficult due to the high-dimensional dynamics of deformable objects. Therefore, we further construct dense correspondences on the deformable objects for accurate keypoint tracking throughout the manipulation. This hybrid design combines the advantages of both representations: sparse keypoints encode rich, task-specific information for fine-grained manipulation, while dense correspondences ensure efficient tracking and generalization to novel deformations, shapes, and scenarios. Together, they enable one-shot transfer to new tasks with minimal demonstrations. Extensive experiments demonstrate the effectiveness and broad applicability of our method.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →