日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2510.05662

DeLTa: 実演と言語ガイドによる新規透明物体の操作

DeLTa: Demonstration and Language-Guided Novel Transparent Object Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

透明物体の長期的な精密操作を実現するため、深度推定・6D姿勢推定・視覚言語計画を統合し、1回の実演から新規物体へ汎化するフレームワークを提案。

詳しい要約

1. どんなもの?

- 透明物体を対象としたロボットマニピュレーションの新フレームワーク DeLTa を提案 - depth estimation、6D pose estimation、vision-language planning を統合 - 自然言語のタスク指示に導かれ、長期的(long-horizon)かつ精密な操作を目指す - 単一の demonstration から新規透明物体へ汎化する点を特徴とする

2. 先行研究と比べてどこがすごい?

- 従来の透明物体操作研究は短期的タスクや基本的把持に限定されていた - 既存手法は新規物体への汎化が不十分で、精密な長期的操作に弱い - DeLTa は category-level prior や追加学習なしで新規透明物体へ6D軌道を汎化 - 長期的で精密操作が求められる場面で既存手法を大きく上回ると報告

3. 技術・手法の肝は?

- depth estimation と 6D pose estimation を組み合わせて透明物体を認識 - vision-language planning により自然言語指示から操作計画を生成 - 単一 demonstration の6D軌道を新規透明物体へ汎化する仕組みが核 - VLM 生成計画を single-arm, eye-in-hand ロボットの制約に合わせて精錬する task planner を提案

4. どうやって有効だと検証した?

- 包括的な評価(comprehensive evaluation)を実施したと記載 - 既存の透明物体操作手法との比較で優位性を示したと報告 - 特に精密操作を要する長期的シナリオで有効性を確認 - 具体的なデータセット名・評価指標・被験物体数は要旨からは不明

5. 議論はある?

- 単一 demonstration で汎化する点の限界や失敗条件は要旨からは不明 - depth/6D pose estimation の誤差が操作精度へ与える影響は要旨からは不明 - VLM 計画の精錬がどの程度ロバストかは要旨からは不明 - 実機 vs シミュレーションの検証範囲は要旨からは不明

6. 次に読むべき論文は?

- 透明物体の depth estimation / 6D pose estimation に関する研究(例: 透明物体向け pose estimation 手法) - VLM を用いた vision-language planning / task planning の関連研究 - demonstration からの軌道汎化(imitation learning / trajectory transfer)関連研究 - 透明物体 grasping / manipulation の既存ベースライン手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Taeyeop Lee, Gyuree Kang, Bowen Wen, Youngho Kim, Seunghyeok Back, In So Kweon, David Hyunchul Shim, Kuk-Jin Yoon

分類: cs.RO, cs.CV

原文アブストラクト

Despite the prevalence of transparent object interactions in human everyday life, transparent robotic manipulation research remains limited to short-horizon tasks and basic grasping capabilities. Although some methods have partially addressed these issues, most of them have limitations in generalization to novel objects and are insufficient for precise long-horizon robot manipulation. To address this limitation, we propose DeLTa (Demonstration and Language-Guided Novel Transparent Object Manipulation), a novel framework that integrates depth estimation, 6D pose estimation, and vision-language planning for precise long-horizon manipulation of transparent objects guided by natural language task instructions. A key advantage of our method is its single-demonstration approach, which generalizes 6D trajectories to novel transparent objects without requiring category-level priors or additional training. Additionally, we present a task planner that refines the VLM-generated plan to account for the constraints of a single-arm, eye-in-hand robot for long-horizon object manipulation tasks. Through comprehensive evaluation, we demonstrate that our method significantly outperforms existing transparent object manipulation approaches, particularly in long-horizon scenarios requiring precise manipulation capabilities. Project page: https://sites.google.com/view/DeLTa25/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI