日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2602.12918

内部音響センシングを内部視覚に追加することで、柔らかいロボット指先による人間らしい布地認識を実現

Adding internal audio sensing to internal vision enables human-like in-hand fabric recognition with soft robotic fingertips

シェア:XThreadsFacebookLINEはてブBluesky

柔らかい触覚センサ(カメラとマイク)を指先に搭載し、布地を能動的にこすって音と変形を同時に計測することで、20種類の布地を97%の精度で分類した研究。

詳しい要約

1. どんなもの?

- 布の触感をロボットで認識するシステム。 - 柔らかい触覚センサを指先に搭載。 - 内部カメラで変形・力を測定するMinsightと、内部MEMSマイクで振動を捉えるMinsoundを開発。 - 人間の布評価動作を模倣し、布を指で挟んで擦る。 - 20種類の布の分類精度最大97%を達成。

2. 先行研究と比べてどこがすごい?

- 従来の触覚センサは高空間分解能と高時間サンプリングレートの両立が困難。 - 本研究は内部カメラと内部マイクを組み合わせ、両方の触覚情報を同時に取得。 - 音響センサの有効性を実証し、外部マイク追加で騒音環境でのロバスト性も向上。 - 布の伸縮性・厚さ・粗さの一般表現を学習し、訓練データを超えて汎化。

3. 技術・手法の肝は?

- ロボットハンドの中指と親指に柔らかい触覚センサを装着。 - Minsightは内部カメラで指先変形と力を50Hzで測定。 - Minsoundは内部MEMSマイクで50Hz〜15kHzの振動を取得。 - 人間の布評価動作を模倣し、折りたたんだ布を指で挟んで擦る。 - Transformerベースの手法で分類と表現学習を実施。

4. どうやって有効だと検証した?

- 20種類の一般的な布のデータセットで分類精度を評価。 - 各センシングモダリティの影響をテストし、音響センサの有用性を確認。 - 外部マイクを追加し、騒音環境下でのロバスト性を検証。 - 布の伸縮性・厚さ・粗さの一般表現を学習し、汎化性能を実証。

5. 議論はある?

- 音響センサの有効性が高いことを示す。 - 外部マイクの追加が騒音環境でのロバスト性を向上させる。 - 音響・視覚触覚センシングが訓練データを超えて汎化することを示す。 - 具体的な議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- Minsightセンサ(オープンソース) - MEMSマイクを用いた触覚センシング - Transformerベースの触覚認識 - 布の触感認識に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Iris Andrussow, Jans Solano, Benjamin A. Richardson, Georg Martius, Katherine J. Kuchenbecker

分類: cs.RO

原文アブストラクト

Distinguishing the feel of smooth silk from coarse cotton is a trivial everyday task for humans. When exploring such fabrics, fingertip skin senses both spatio-temporal force patterns and texture-induced vibrations that are integrated to form a haptic representation of the explored material. It is challenging to reproduce this rich, dynamic perceptual capability in robots because tactile sensors typically cannot achieve both high spatial resolution and high temporal sampling rate. In this work, we present a system that can sense both types of haptic information, and we investigate how each type influences robotic tactile perception of fabrics. Our robotic hand's middle finger and thumb each feature a soft tactile sensor: one is the open-source Minsight sensor that uses an internal camera to measure fingertip deformation and force at 50 Hz, and the other is our new sensor Minsound that captures vibrations through an internal MEMS microphone with a bandwidth from 50 Hz to 15 kHz. Inspired by the movements humans make to evaluate fabrics, our robot actively encloses and rubs folded fabric samples between its two sensitive fingers. Our results test the influence of each sensing modality on overall classification performance, showing high utility for the audio-based sensor. Our transformer-based method achieves a maximum fabric classification accuracy of 97 % on a dataset of 20 common fabrics. Incorporating an external microphone away from Minsound increases our method's robustness in loud ambient noise conditions. To show that this audio-visual tactile sensing approach generalizes beyond the training data, we learn general representations of fabric stretchiness, thickness, and roughness.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI