日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚/ニューロモーフィックarXiv:2607.05241

GelNeuro: センシングと計算を統合したニューロモーフィック触覚システムによるテクスチャ認識

GelNeuro: A Sensing-Computing Integrated Neuromorphic Tactile System for Texture Recognition

シェア:XThreadsFacebookLINEはてブBluesky

GelSight Miniベースの光学触覚センサとニューロモーフィックSoCを直接接続し、スパイキングCNNでテクスチャを認識する統合システムを提案。物理チップ上で96.3%の精度を達成し、消費電力は従来比で3桁以上低い。

詳しい要約

1. どんなもの?

GelNeuroは、GelSight Miniベースの光学触覚フロントエンドとSpeck2fニューロモルフィックSoCを直接接続した、完全統合型のセンシング・コンピューティング触覚システムである。接触によるマーカー運動をDVSイベントとして捉え、オンチップネットワークを介してSCNN分類器に送る。15クラスの自然テクスチャ認識タスクにおいて、物理チップ上でのハードウェアインザループテストで96.3%の精度を達成し、80msの推論ウィンドウで動作する。ボードレベル消費電力は19.6mWであり、従来のCPU/GPUベースラインと比較して3桁以上低い。

2. 先行研究と比べてどこがすごい?

既存のニューロモルフィック視触覚システムは、チップ推論の前にホストコンピュータでのイベント読み出し、前処理、または中継に依存していた。GelNeuroは、センサとニューロモルフィックチップを直接ペアリングし、ホストコンピュータを介さずにエッジ上で完全に統合されたセンシング・コンピューティングを実現する点で優れている。また、8ビット展開時の精度劣化を軽減するハードウェア認識型の重みクランプ戦略を導入し、低消費電力でありながら高い認識精度を達成している。

3. 技術・手法の肝は?

手法の肝は、GelSight Miniからの接触誘発マーカー運動をDVSイベントとして捉え、Speck2fのオンチップネットワークを介してSCNN分類器に直接ルーティングする点である。さらに、8ビット展開時の精度劣化を軽減するため、ハードウェア認識型の重みクランプ戦略を導入している。これにより、センサからチップへの直接的な触覚認識を可能にし、ホストコンピュータの介在を排除している。

4. どうやって有効だと検証した?

15クラスの自然テクスチャ認識タスクにおいて、物理チップ上でのハードウェアインザループテストを実施し、80msの推論ウィンドウ内で96.3%の精度を達成した。また、ボードレベル消費電力は19.6mWであり、従来のCPU/GPUベースラインと比較して3桁以上低いことを示した。さらに、未見の接触深さに対するロバストな一般化も実証している。

5. 議論はある?

要旨からは、システムの限界や潜在的な問題についての議論は不明である。ただし、8ビット展開時の精度劣化を軽減するための重みクランプ戦略が導入されており、ハードウェア展開における課題が存在することが示唆される。また、消費電力の測定はボードレベルであり、システム全体のエネルギー効率についてはさらなる検討が必要かもしれない。

6. 次に読むべき論文は?

要旨で参照されている研究は、GelSight Mini、Speck2f、DVS、SCNNなどである。次に読むべき論文としては、GelSightセンサの元論文、Speck2fチップの詳細、ニューロモルフィック視触覚センシングの関連研究、SCNNの基礎論文などが挙げられる。具体的には、要旨に明記されていないため、同分野の定番である「A Tactile Sensing System Based on GelSight」や「Speck: A Smart event-based Vision Sensor with a Low Latency 128 Channel Spiking Convolutional Neural Network」などが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Luoyang Bian, Xinpan Meng, Zhenghua Ma, Houcheng Li, Long Cheng

分類: cs.RO

原文アブストラクト

Neuromorphic visuo-tactile sensing offers a promising paradigm for low-latency and low-power robotic perception. However, existing systems still rely heavily on a host computer for event readout, preprocessing, or relaying prior to chip inference. This paper presents GelNeuro, a fully integrated sensing-computing visuo-tactile system that directly pairs a GelSight Mini-based optical tactile front end with the Speck2f neuromorphic system-on-chip (SoC). Contact-induced marker motions are captured as dynamic vision sensor (DVS) events and routed through the on-chip network to a spiking convolutional neural network (SCNN) classifier. To mitigate accuracy degradation during 8-bit deployment, a hardware-aware weight clamping strategy is introduced. Evaluated on a 15-class natural texture recognition task, hardware-in-the-loop testing on the physical chip achieves a 96.3% accuracy within an 80 ms inference window. Notably, the system consumes only 19.6 mW of board-level active power-over three orders of magnitude lower than conventional CPU/GPU baselines on the same benchmark. GelNeuro also exhibits robust generalization across unseen contact depths, demonstrating the viability of direct sensor-to-chip tactile recognition on edge neuromorphic hardware.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI