日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2611.15834

触覚生成のための潜在空間選択:画像潜在表現は素材認識を保持するか

Where to Generate Touch: Do Image Latents Preserve Material Recognition?

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済み画像モデルの潜在空間で触覚を再構成し、素材分類器の性能劣化を比較してSD-VAE潜在空間が触覚生成に適することを示した論文。

詳しい要約

1. どんなもの?

- 生成touch(触覚)によってrobot learningを記録済みcontactの枠を超えて拡張することを目指す研究。 - tactile generatorに必要なlatent spaceを選定するため、real GelSight pressesで学習したmaterial classifierが、pretrained image modelsによるencode-decode再構成上でも機能するかを検証。 - 複数のlatent候補(16x discrete tokenizers、SD-VAE)を比較し、最終的にSD-VAE latentsを選択。 - そのlatent空間で学習したphoto-to-touch generatorを提示。

2. 先行研究と比べてどこがすごい?

- 従来のtactile生成はlatent spaceの選定根拠が不明瞭だったのに対し、material recognitionの保持性能を基準にlatentを比較選定。 - ObjectFolder Realで、3種の16x discrete tokenizers再構成ではclassifierが6.5〜9.7ポイント低下する一方、SD-VAE再構成では0.3ポイント低下にとどまることを示した。 - 16x tokenizersはTouch and GoやDIGIT object recognition(YCB-Slide)でも大幅に性能低下。 - SD-VAE再構成はobject identityも保持し、object-matching accuracy 76.7%(real touch 78.9%、MAGVIT-v2 67.0%)を達成。

3. 技術・手法の肝は?

- real GelSight pressesでmaterial classifierを学習し、各pretrained image modelのencode-decode再構成に対して評価する枠組み。 - 比較対象は3種の16x discrete tokenizersとStable Diffusion VAE(SD-VAE)。 - 再構成上でclassifierを再学習(新規ラベルなし)し、discrete tokenizersの性能差が縮むかを検証。 - 選定したSD-VAE latents内でphoto-to-touch generatorを学習。

4. どうやって有効だと検証した?

- ObjectFolder Realでmaterial classifierの再構成上の精度低下を測定(16x tokenizersで6.5〜9.7ポイント減、SD-VAEで0.3ポイント減)。 - Touch and GoおよびDIGIT object recognition(YCB-Slide)で16x tokenizersの大幅な性能低下を確認。 - 再構成でのclassifier再学習によりdiscrete gapが縮小することを確認。 - object-matching accuracyでSD-VAE 76.7%、real touch 78.9%、MAGVIT-v2 67.0%を比較。

5. 議論はある?

- discrete tokenizersは再構成でmaterial recognitionを大きく損なうが、再学習でgapが縮む点が議論の余地。 - SD-VAEはmaterial recognitionとobject identityの保持に優れるが、real touchとの差(0.3ポイント、object-matchingで2.2ポイント差)は残る。 - photo-to-touch generatorの生成品質や実ロボットでの有効性は要旨からは不明。 - 他のtactile sensorや材料カテゴリへの一般化は要旨からは不明。

6. 次に読むべき論文は?

- Stable Diffusion VAE(SD-VAE) - MAGVIT-v2 - 16x discrete tokenizers(具体的名称は要旨からは不明) - ObjectFolder Real - Touch and Go - DIGIT object recognition(YCB-Slide) - GelSight

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wanghao Ye, Aarosh Das, Sihan Chen, Yiting Wang, Bowei Tian, Guoheng Sun, Shwai He, Zheyu Shen, Ziyao Wang, Yexiao He, Zhaoyi Liu, Meng Liu, Yuning Zhang, Meng Feng, Ziyi Wang, Yilong Dai, Yifei Dong, Siyuan Peng, Zhenle Duan, Joshua Liu, Lang Xiong, Daeun Jung, Aditya Sarkar, Parastoo Pilevar, Xiaochuan Gong, Yancheng Zhu, Yingying Fan, Qiong Wang, Ang Li

分類: cs.CV, cs.RO

原文アブストラクト

Generated touch could extend robot learning beyond recorded contacts. A tactile generator needs a latent space, and we choose one by testing whether a material classifier trained on real GelSight presses still works on encode-decode reconstructions from pretrained image models. On ObjectFolder Real, the classifier loses 6.5 to 9.7 points on reconstructions from three 16x discrete tokenizers and 0.3 points on those from the Stable Diffusion VAE (SD-VAE). The 16x tokenizers again lose far more on Touch and Go and on DIGIT object recognition (YCB-Slide). Retraining the classifier on reconstructions, with no new labels, narrows the discrete gap. SD-VAE reconstructions also keep object identity, with 76.7% object-matching accuracy against 78.9% for real touch and 67.0% for MAGVIT-v2. We therefore select SD-VAE latents and show a photo-to-touch generator trained in them. Code will be released upon acceptance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI