日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習/操作arXiv:2604.23609

チューブ拡散ポリシー:接触を伴う操作のための反応的視覚触覚ポリシー学習

Tube Diffusion Policy: Reactive Visual-Tactile Policy Learning for Contact-rich Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

接触を伴う操作において、視覚と触覚のフィードバックに基づいて即座に適応できるよう、拡散モデルとチューブベースのフィードバック制御を組み合わせた新しいポリシー学習フレームワークを提案した。

詳しい要約

1. どんなもの?

本論文は、接触を伴う操作(contact-rich manipulation)のための反応的な視覚・触覚ポリシー学習フレームワーク「Tube Diffusion Policy (TDP)」を提案する。 - 目的 - 接触の不確実性や外乱に継続的に適応する操作を実現する。 - vision と tactile のマルチモーダル知覚を活用する。 - 課題 - 既存の模倣学習(imitation learning)は action chunking に依存し、実行中の予期せぬ観測に反応しにくい。 - 接触を伴う場面では高頻度な tactile フィードバックと即時反応が求められる。 - 提案 - diffusion-based imitation learning と tube-based feedback control を橋渡しする。 - 名目 action chunk 周辺の観測条件付き feedback flow を学習し、action tube を形成する。 - 効果 - 実行中の高速かつ適応的な反応を可能にする。 - ノイズ除去ステップを大幅に削減…

2. 先行研究と比べてどこがすごい?

既存の模倣学習との違いが主張されている。 - 既存手法 - 多くの模倣学習は action chunking に依存する。 - そのため実行中に予期しない観測へ反応する能力が根本的に制限される。 - 提案手法の優位性 - diffusion-based imitation learning と tube-based feedback control を組み合わせる。 - 名目 action chunk 周辺に観測条件付き feedback flow を学習し action tube を形成する。 - これにより実行中の高速で適応的な反応を可能にする。 - 接触を伴う操作で重要となる物理的不確実性や高頻度 tactile フィードバックに対応する。 - 性能 - Push-T benchmark と3つの視覚・触覚巧緻操作タスクで、state-of-the-art の模倣学習ベースラインを一貫して上回る。 - 実世界実験2件で接触不確実性や外乱下のロバストな反応性を検証する。 - action tube による step-wise correction…

3. 技術・手法の肝は?

技術の肝は、生成モデルとフィードバック制御の統合にある。 - 基本構成 - diffusion-based imitation learning を基盤とする。 - tube-based feedback control を橋渡しする。 - 学習対象 - 名目 action chunk の周辺に、観測条件付き feedback flow を学習する。 - これにより action tube を形成する。 - 反応機構 - action tube により実行中の高速かつ適応的な反応を可能にする。 - step-wise correction 機構を備える。 - 効率化 - step-wise correction により必要な denoising steps を大幅に削減する。 - リアルタイム・高頻度フィードバック制御に適する。 - 入力 - vision と tactile のマルチモーダル知覚を用いる。 - 詳細なネットワーク構造や学習アルゴリズムは要旨からは不明。

4. どうやって有効だと検証した?

複数のベンチマークと実世界実験で検証している。 - ベンチマーク - 広く使われる Push-T benchmark を使用する。 - さらに3つの挑戦的な視覚・触覚巧緻操作タスクを追加する。 - 比較 - すべてのベンチマークで state-of-the-art の模倣学習ベースラインを一貫して上回る。 - 実世界検証 - 実世界実験2件を実施する。 - 接触不確実性と外部外乱下でのロバストな反応性を検証する。 - 効率検証 - action tube による step-wise correction が denoising steps を大幅に削減することを示す。 - 具体的な評価指標や被験者数、統計手法は要旨からは不明。

5. 議論はある?

要旨で述べられている議論・限界は以下の通り。 - 問題意識 - 接触を伴う操作では物理的不確実性と高頻度 tactile フィードバックへの即時反応が不可欠。 - 既存の action chunking 依存の模倣学習は実行中の予期せぬ観測への反応が根本的に制限される。 - 提案の意義 - TDP は action tube により実行中の高速・適応的反応を可能にする。 - step-wise correction により denoising steps を削減し、リアルタイム高頻度制御に適する。 - 検証結果 - Push-T と3つの視覚・触覚タスクで SOTA ベースラインを上回る。 - 実世界2実験で接触不確実性・外乱下のロバスト反応性を確認する。 - 限界や失敗事例、計算コスト、一般化性に関する明示的な議論は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照・比較されている研究や関連手法を挙げる。 - 比較対象 - state-of-the-art imitation learning baselines(具体的名称は要旨からは不明)。 - 関連手法 - action chunking を用いる模倣学習。 - diffusion-based imitation learning。 - tube-based feedback control。 - ベンチマーク - Push-T benchmark。 - 同分野の定番 - vision-tactile manipulation に関する模倣学習研究。 - contact-rich manipulation のための reactive policy learning。 - 具体的な論文名は要旨に明記されていないため、これら関連手法の原典を次に読むべき候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Teng Xue, Alberto Rigo, Bingjian Huang, Jiayi Shen, Zhengtong Xu, Nick Colonnese, Amirhossein H. Memar

分類: cs.RO

原文アブストラクト

Contact-rich manipulation is central to many everyday human activities, requiring continuous adaptation to contact uncertainty and external disturbances through multi-modal perception, particularly vision and tactile feedback. While imitation learning has shown strong potential for learning complex manipulation behaviors, most existing approaches rely on action chunking, which fundamentally limits their ability to react to unforeseen observations during execution. This limitation becomes especially critical in contact-rich scenarios, where physical uncertainty and high-frequency tactile feedback demand rapid, reactive control. To address this challenge, we propose Tube Diffusion Policy (TDP), a novel reactive visual-tactile policy learning framework that bridges diffusion-based imitation learning with tube-based feedback control. By leveraging the expressive power of generative models, TDP learns an observation-conditioned feedback flow around nominal action chunks, forming an action tube that enables fast and adaptive reactions during execution. We evaluate TDP on the widely used Push-T benchmark and three additional challenging visual-tactile dexterous manipulation tasks. Across all benchmarks, TDP consistently outperforms state-of-the-art imitation learning baselines. Two real-world experiments further validate its robust reactivity under contact uncertainty and external disturbances. Moreover, the step-wise correction mechanism enabled by action tube significantly reduces the required denoising steps, making TDP well suited for real-time, high-frequency feedback control in contact-rich manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI