日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚/強化学習arXiv:2607.03723

OmniTacTune: 視覚ポリシーへの触覚残差適応のためのポリシー非依存な実世界強化学習

OmniTacTune: Policy-Agnostic Real-World RL for Tactile Residual Adaptation of Visual Policies

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みの視覚ポリシーに触覚フィードバックを残差補正として適応させる、ポリシー非依存の実世界RLパイプラインを提案。接触を伴う多様なタスクで成功率を大幅に向上させる。

詳しい要約

1. どんなもの?

- 視覚ベースの事前学習済みポリシーに対し、触覚フィードバックを残差補正として適応させる、policy-agnosticな実世界RLパイプライン。 - 接触が重要なmanipulationで、視覚ポリシーが失敗する問題を触覚で補う。 - 2段階設計:まずbase-policyの自律rolloutから触覚認識学習をbootstrappingし、次にオンライン相互作用で軽量なtactile residual policyを学習。 - 4つの実世界contact-richタスクで、視覚base policyを5-40%から85-100%成功へ改善。 - 所要時間は40-80分。

2. 先行研究と比べてどこがすごい?

- 触覚データは収集コストが高く、sensor・robot・task間の汎化が難しいという課題があった。 - 本手法は触覚をゼロから学習せず、既存の視覚ポリシーに残差として適応させる。 - policy-agnosticであり、多様なvisual base policyやtactile representationに汎化。 - 実世界で40-80分という短時間で大幅な成功率改善を達成。 - 具体的な先行研究名は要旨からは不明。

3. 技術・手法の肝は?

- 2段階設計を採用。 - 第1段階:autonomous base-policy rolloutsから触覚認識学習をbootstrapping。 - 第2段階:online interactionを通じて軽量なtactile residual policyを学習。 - 視覚ポリシーを直接変更せず、残差補正として触覚フィードバックを適応。 - これにより触覚データ収集コストを抑えつつ、接触リッチな操作を改善。

4. どうやって有効だと検証した?

- 4つの実世界contact-richタスクで実験。 - 視覚base policyの成功率を5-40%から85-100%へ改善。 - 40-80分以内で適応が完了。 - 多様なcontact-richタスク、visual base policy、tactile representation間での汎化を実証。 - 詳細な評価指標やベースラインは要旨からは不明。

5. 議論はある?

- 触覚データの収集コストと汎化の難しさを、残差適応で緩和する点を主張。 - 実世界での効率的な適応経路を示すと結論。 - 限界や失敗事例、ablationの有無は要旨からは不明。 - 他センサやsim-to-realへの適用可能性は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、visual policy learning、residual RL、tactile representation learning、contact-rich manipulationの定番研究を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kelin Yu, Haode Zhang, Harish Ravichandar, Yunhai Han, Ruohan Gao

分類: cs.RO, cs.AI

原文アブストラクト

Visual policies learned from human videos, teleoperation, and robot demonstrations offer scalable motion priors, but often fail in contact-rich manipulation, where success significantly depends on local force and contact geometry. Tactile sensing provides these complementary signals, yet tactile data remain costly to collect and hard to generalize across sensors, robots, and tasks. We introduce OmniTacTune, a policy-agnostic real-world RL pipeline that adapts tactile feedback to pretrained visual policies through residual correction. OmniTacTune uses a two-stage design: it first bootstraps tactile-aware learning from autonomous base-policy rollouts, then learns a lightweight tactile residual policy through online interaction. Extensive experiments show that OmniTacTune generalizes across diverse contact-rich tasks, visual base policies, and tactile representations. Across four real-world contact-rich tasks, it improves visual base policies from 5-40% success to 85-100% within 40-80 minutes, demonstrating an efficient path for adapting tactile feedback to scalable visual robot policies. Project page: https://colinyu1.github.io/omnitactune-site/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI