日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2609.36785

TaRL: 触覚デモンストレーションから汎用的で物理的な報酬を学習する

TaRL: Learning General and Physical Rewards from Tactile Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

触覚の変形マップ列からタスク進捗を回帰し、成功・失敗デモを活用して強化学習の報酬を学習する手法を提案。接触を伴う操作のサンプル効率と成功率を大幅に改善。

詳しい要約

1. どんなもの?

接触を伴う操作(contact-rich manipulation)において、tactile demonstrationから汎用的かつ物理的なrewardを学習するフレームワークTaRLを提案する。 - 入力はtactile deformation mapsの系列。 - 成功・失敗の両demonstrationからタスク完了度(progress)を回帰する。 - 学習したrewardをshaping rewardとしてRLに用いる。 - simulation 4タスク、real world 2タスクで評価。

2. 先行研究と比べてどこがすごい?

visual reward learningはaction-free demonstrationからrewardを推定するが、visual observationのみに条件づけるためvisual goalを超えるrewardを捉えられない。 - TaRLはtactile demonstrationからrewardを学習し、局所的なrobot-object interactionを捉える。 - その結果、firm graspや正しく方向づけられた力の学習に有益なfeedbackを与える。 - またobject positionなどscene layoutの変化に頑健。

3. 技術・手法の肝は?

TaRLはtactile deformation mapsの系列を入力とし、成功・失敗の両demonstrationからタスク完了度(progress)を回帰する。 - 局所的なrobot-object interactionを捉えることで、firm graspや正しく方向づけられた力に関する情報を与える。 - 学習したrewardはshaping rewardとしてRLに組み込まれる。 - visual rewardとの併用も可能。

4. どうやって有効だと検証した?

simulation 4タスクとreal world 2タスクで評価。 - shaping rewardとしてsample efficiencyと最終success rateを大幅に改善。 - simulationのNut threadingでsuccessが34%から56%へ向上。 - real worldのcube pickupで37%から97%へ向上。 - tactileとvisual rewardの併用で性能がさらに向上。 - box placementで学習しcan placementへ直接展開するなど、object instance間の汎化も確認。

5. 議論はある?

要旨からは不明。 - 限界や失敗事例、計算コスト、tactile sensorの種類や実機での一般性などについての議論は要旨に記載がない。

6. 次に読むべき論文は?

要旨で参照・比較されているvisual reward learning(visual observationのみに条件づける手法)や、action-free demonstrationからのreward学習に関する研究。 - 同分野の定番として、sparse rewardやdense reward設計、RLによるcontact-rich manipulationの研究。 - 具体的な論文名は要旨に記載がないため、これら関連手法を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Po-Yi Wu, Dao-Jan Chang, Shang-Ya Hsiao, Hong-Ming Chen, Yu-Cheng Su, Tsung-Wei Ke

分類: cs.RO

原文アブストラクト

Contact-rich manipulation requires robots to sequence precise contacts, maintain stable grasps, and apply directed forces. Reinforcement learning (RL) can acquire such behaviors automatically, but its performance hinges on reward design: sparse rewards reduce the learning efficiency, while dense rewards are hard to specify. Visual reward learning addresses this by inferring rewards from action-free demonstrations. Because it conditions only on visual observations, it fails to capture rewards beyond visual goals. We propose Tactile Reward Learning (TaRL), a framework that learns rewards from tactile demonstrations. TaRL takes a sequence of tactile deformation maps as input, and regresses task-completion progress from both successful and failed demonstrations. Because TaRL captures local robot-object interaction, it provides informative feedback to learn firm grasps and correctly directed forces; meanwhile, it is robust to changes in scene layout such as object position. We evaluate TaRL on four manipulation tasks in simulation and two in the real world. Used as a shaping reward, it substantially improves both sample efficiency and final success rate, raising success on Nut threading from 34% to 56% in simulation and on cube pickup from 37% to 97% in the real world. Combining tactile with visual rewards improves performance further. TaRL also generalizes across object instances: trained on box placement and directly deployed to can placement, it significantly improves policy learning on the new task. Project page is available at https://embodiedai-ntu.github.io/tarl.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI