日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚/VLA/sim2realarXiv:2606.11743

TacCoRL: シミュレーションによる触覚フィードバックのVLAへの統合

TacCoRL: Integrating Tactile Feedback into VLA via Simulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚と言語と行動の事前知識を持つVLAモデルに触覚フィードバックを注入し、シミュレーションと実機の共学習と強化学習で接触を要するタスクの成功率を向上させるフレームワークを提案した。

詳しい要約

1. どんなもの?

- VLAモデルに触覚フィードバックを組み込むフレームワークTacCoRLを提案。 - 大規模な触覚事前学習や実機での接触探索を必要とせず、sim-real co-trainingとシミュレーションRLで方策を改善。 - 接触リッチな双腕タスク4種で平均成功率72.5%(ベースライン50.0%)を達成。

2. 先行研究と比べてどこがすごい?

- 従来のVLAは視覚・言語・行動の事前知識を持つが、視覚だけでは接触状態を捉えにくい。 - 触覚を単に入力に加えるのではなく、実機では稀で危険なnear-failure状態での接触読み取りが行動応答をどう調節すべきかを学習。 - 大規模触覚事前学習や実世界での広範な接触探索を不要にした点が先行研究と異なる。

3. 技術・手法の肝は?

- 実機に整合したシミュレータを接触インタラクションの閉ループ訓練環境として使用。 - シミュレーションと実機の混合軌道で、事前学習済み方策の触覚条件付き行動をwarm-start。 - 検証可能なタスク報酬によるRLでシミュレーション接触ロールアウトを最適化し、実機軌道への教師あり目的で展開分布にアンカー。 - 特権シミュレーション状態やオンライン実世界RLなしで実機に転移。

4. どうやって有効だと検証した?

- 双腕接触リッチタスク4種で評価。 - 最終的な視触覚方策の平均成功率72.5%に対し、ベースラインは50.0%。 - 結果動画と詳細は https://tac-corl.github.io で公開。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法としてVLAモデル、sim-real co-training、シミュレーションRL、触覚条件付き方策などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siyu Ma, Yuqi Liang, Chang Yu, Yunuo Chen, Hao Su, Yixin Zhu, Yin Yang, Chenfanfu Jiang

分類: cs.RO, cs.GR, cs.LG

原文アブストラクト

Vision-language-action (VLA) models provide strong visual, language, and action priors for robot manipulation, but visual observations alone often miss the local contact state required for contact-rich tasks. We present TacCoRL, a scalable framework that injects Tactile feedback into VLA policies and improves them through sim-real Co-training and simulation-based reinforcement learning (RL), without requiring large-scale tactile pretraining or extensive real-world contact exploration. The key idea is not only adding touch as an input, but learning how contact readings should modulate action responses in near-failure states that are rare in demonstrations and risky to collect on hardware. We use a real-aligned simulator as a closed-loop training environment for contact interaction. Mixed simulated and real trajectories first warm-start tactile-conditioned actions in the pretrained policy. Reinforcement learning with verifiable task rewards then optimizes the policy using simulated contact rollouts. It reinforces tactile-conditioned actions that lead to task completion, while a supervised objective on real trajectories keeps the refined policy anchored to deployment visual, tactile, and action distributions. The resulting policy transfers directly to the real robot without privileged simulation state or online real-world RL. Across four bimanual contact-rich tasks, the final visuo-tactile policy achieves an average success rate of 72.5%, compared to baseline of 50.0%. Result videos and more details are available at https://tac-corl.github.io/

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI