日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2509.07445

Text2Touch: LLMが設計した報酬関数による触覚を活用したハンド内操作

Text2Touch: Tactile In-Hand Manipulation with LLM-Designed Reward Functions

シェア:XThreadsFacebookLINEはてブBluesky

LLMに報酬関数を設計させ、触覚センサ付き4指ロボットハンドで多軸のハンド内物体回転を実現した研究。人間設計の報酬を上回る性能を、より簡潔な報酬で達成した。

詳しい要約

1. どんなもの?

- 本研究 Text2Touch は、LLM が設計した reward function を用いて、触覚センシングを伴う手指内での多軸物体回転(in-hand object rotation)を実現するフレームワーク。 - palm-up と palm-down の両構成で、実世界の vision-based tactile sensing を利用。 - 触覚を活用した dexterous manipulation に LLM の reward design を適用した点が特徴。 - 実機は tactile-enabled な fully actuated four-fingered dexterous robot hand。

2. 先行研究と比べてどこがすごい?

- 従来の LLM による reward design 研究は tactile sensing を考慮していなかった。 - Text2Touch は触覚を要する multi-axis in-hand rotation に LLM-crafted rewards を導入。 - 人手で慎重に調整した human-engineered baseline を大きく上回り、回転速度と安定性で優位。 - しかも reward function は一桁短く単純(an order of magnitude shorter and simpler)。

3. 技術・手法の肝は?

- LLM による reward function 設計のための prompt engineering 戦略を構築し、70 以上の environment variables にスケール可能。 - sim-to-real distillation により、シミュレーションで学習した policy を実機の tactile-enabled four-fingered hand へ転移。 - palm-up / palm-down の両構成で vision-based tactile sensing を用いた multi-axis in-hand rotation を学習。

4. どうやって有効だと検証した?

- 実機の tactile-enabled fully actuated four-fingered dexterous robot hand への policy transfer を実施。 - 人手で調整した human-engineered baseline と比較し、回転速度と安定性で有意に上回ることを示した。 - 具体的な評価指標・試行回数・被験物体などの詳細は要旨からは不明。

5. 議論はある?

- LLM 設計の reward が、触覚を要する dexterous skill の概念から実機展開までの時間を大幅に短縮し得ることを示唆。 - より迅速でスケーラブルな multimodal robot learning への貢献を主張。 - 限界や失敗事例、reward の汎化性、sim-to-real gap の詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されているのは human-engineered baseline のみで、個別の関連研究名は挙げられていない。 - 関連手法として、LLM による reward design(Eureka 等)、dexterous in-hand manipulation、vision-based tactile sensing、sim-to-real distillation の代表的文献を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Harrison Field, Max Yang, Yijiong Lin, Efi Psomopoulou, David Barton, Nathan F. Lepora

分類: cs.RO, cs.AI

原文アブストラクト

Large language models (LLMs) are beginning to automate reward design for dexterous manipulation. However, no prior work has considered tactile sensing, which is known to be critical for human-like dexterity. We present Text2Touch, bringing LLM-crafted rewards to the challenging task of multi-axis in-hand object rotation with real-world vision based tactile sensing in palm-up and palm-down configurations. Our prompt engineering strategy scales to over 70 environment variables, and sim-to-real distillation enables successful policy transfer to a tactile-enabled fully actuated four-fingered dexterous robot hand. Text2Touch significantly outperforms a carefully tuned human-engineered baseline, demonstrating superior rotation speed and stability while relying on reward functions that are an order of magnitude shorter and simpler. These results illustrate how LLM-designed rewards can significantly reduce the time from concept to deployable dexterous tactile skills, supporting more rapid and scalable multimodal robot learning. Project website: https://hpfield.github.io/text2touch-website

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI