日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2606.14981

視覚と触覚による推論時ポリシー誘導

Inference-time Policy Steering via Vision and Touch

シェア:XThreadsFacebookLINEはてブBluesky

接触を伴う操作タスクにおいて、視覚と触覚の両方を用いて生成ロボットポリシーの候補行動を検証・編集する推論時誘導フレームワークViTaLを提案し、実世界の3つのタスクで成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

- 事前学習済み生成ロボットポリシーを実行前に検証し適応させる inference-time steering の枠組み。 - 視覚と触覚を統合した ViTaL を提案。 - 接触を伴う manipulation を対象とし、二段階最適化で多モーダル誘導を行う。

2. 先行研究と比べてどこがすごい?

- 従来の steering は視覚のみで検証するため contact-rich タスクで不十分。 - ViTaL は触覚を導入し、大域的タスク進捗と局所的接触力を両立。 - 実世界3タスクで base policy 比 +51%、単一モーダル steering 比 +33%以上、単純な多モーダル融合比 +20%以上を達成。

3. 技術・手法の肝は?

- 多モーダル誘導を bi-level optimization として定式化。 - 高レベル: 視覚による sampling-and-verification で長期的モード選択。 - 低レベル: tactile-guided diffusion editing で短期的に行動列を修正し接触要件を満たす。 - 視触覚 latent world model を学習し、意味的に整合した視覚・触覚 verifier を利用。 - 新規の text-conditioned tactile reward が予測触覚未来を latent space で評価。

4. どうやって有効だと検証した?

- 実世界の contact-rich manipulation 3タスクで評価。 - base policy 比で成功率 +51%、単一モーダル steering 比で +33%以上、単純な多モーダル融合比で +20%以上を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として diffusion policy、inference-time steering、vision-language model ベースの verifier、tactile representation learning などが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yilin Wu, Zilin Si, Zeynep Temel, Oliver Kroemer, Andrea Bajcsy

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Inference-time steering adapts pre-trained generative robot policies during deployment by verifying candidate actions before execution. While prior methods typically perform this verification only with visual observations, vision alone is often insufficient for contact-rich manipulation, where success depends on both global task progress and subtle local interactions such as contact force. We introduce ViTaL, a visuo-tactile inference-time steering framework that formulates multimodal guidance as a bi-level optimization problem. At the high level, visual sampling-and-verification performs long-horizon mode selection, deciding what behavior the robot should execute. At the low level, tactile-guided diffusion editing refines the selected action sequence over a shorter horizon to satisfy local contact requirements. To support outcome-based steering, ViTaL learns a visuo-tactile latent world model and employs semantically aligned visual and tactile verifiers, including a novel text-conditioned tactile reward that scores predicted tactile futures directly in latent space. Across three real-world contact-rich manipulation tasks, ViTaL improves overall success by 51% over the base policy, outperforms unimodal steering by at least 33%, and exceeds naive multimodal fusion by at least 20%. Website: https://yilin-wu98.github.io/vital_website.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI