日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2506.15146

TACT: 触覚モダリティを用いた深層模倣学習によるヒューマノイド全身接触マニピュレーション

TACT: Humanoid Whole-body Contact Manipulation through Deep Imitation Learning with Tactile Modality

シェア:XThreadsFacebookLINEはてブBluesky

触覚センサを搭載したヒューマノイドが、人間の遠隔操作データから全身接触マニピュレーションを模倣学習し、バランスと歩行を維持しながら繊細な接触作業を実現する手法を開発した。

詳しい要約

1. どんなもの?

- 人型ロボットが全身接触で操作を行うための制御システム。 - 上半身に触覚センサを備えた人型ロボットが、人間のテレオペレーションデータに基づく模倣学習で全身操作のポリシーを学習。 - ポリシーはtactile-modality extended ACT (TACT)と呼ばれ、関節位置、視覚、触覚の複数モダリティを入力とする。 - 二足モデルに基づくリターゲティングと歩行制御と統合し、実機RHP7 Kaleidoでバランスと歩行を維持しながら全身接触操作を実現。

2. 先行研究と比べてどこがすごい?

- 全身接触操作は安定性向上と負荷低減の利点があるが、動作生成の計算コスト増大と広範囲接触の計測困難という課題があった。 - 従来の模倣学習ベースの操作は主に視覚と固有受容感覚を用いており、触覚を統合した全身接触操作の学習は十分に検討されていなかった。 - 本研究は触覚モダリティを模倣学習ポリシーに拡張し、実機人型ロボットで全身接触操作を実現した点が新しい。

3. 技術・手法の肝は?

- 人間のテレオペレーションデータを用いた模倣学習により、全身操作ポリシーTACTを学習。 - TACTは関節位置、視覚、触覚の複数センサモダリティを入力として受け取るアーキテクチャ。 - リターゲティングと二足モデルに基づく歩行制御を統合し、バランスと歩行を維持しながら全身接触操作を実行。 - 触覚センサを上半身に装着し、広範囲かつ繊細な接触を計測。

4. どうやって有効だと検証した?

- 実機人型ロボットRHP7 Kaleidoを用いた詳細な実験的検証を実施。 - 視覚と触覚の両モダリティをポリシーに入力することが、広範囲かつ繊細な接触を伴う操作のロバスト性向上に寄与することを示した。 - バランスと歩行を維持しながら全身接触操作が可能であることを実証。

5. 議論はある?

- 要旨からは不明。 - ただし、全身接触操作の計算コストや接触計測の難しさに対する具体的な議論は要旨では触れられていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、模倣学習のACT (Action Chunking with Transformers)や、触覚を用いたロボット操作の研究、人型ロボットの全身制御に関する研究が次に読むべき候補として考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Masaki Murooka, Takahiro Hoshi, Kensuke Fukumitsu, Shimpei Masuda, Marwan Hamze, Tomoya Sasaki, Mitsuharu Morisawa, Eiichi Yoshida

分類: cs.RO

原文アブストラクト

Manipulation with whole-body contact by humanoid robots offers distinct advantages, including enhanced stability and reduced load. On the other hand, we need to address challenges such as the increased computational cost of motion generation and the difficulty of measuring broad-area contact. We therefore have developed a humanoid control system that allows a humanoid robot equipped with tactile sensors on its upper body to learn a policy for whole-body manipulation through imitation learning based on human teleoperation data. This policy, named tactile-modality extended ACT (TACT), has a feature to take multiple sensor modalities as input, including joint position, vision, and tactile measurements. Furthermore, by integrating this policy with retargeting and locomotion control based on a biped model, we demonstrate that the life-size humanoid robot RHP7 Kaleido is capable of achieving whole-body contact manipulation while maintaining balance and walking. Through detailed experimental verification, we show that inputting both vision and tactile modalities into the policy contributes to improving the robustness of manipulation involving broad and delicate contact.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI