日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

医療支援/顕微鏡/自動化arXiv:2608.10401

LSTMによる視線とピペット動作解釈を用いた視野拡大顕微鏡の自動視野調整

Automatic Field-of-View Adjustment for a View-Expansive Microscope via LSTM-Based Gaze and Pipette Motion Interpretation

シェア:XThreadsFacebookLINEはてブBluesky

ICSI手技中に作業者が行う視野調整を自動化するため、LSTMモデルでピペットの位置・速度と作業者の視線から適切な視野サイズを予測し、視野拡大顕微鏡に統合した。初心者の作業時間が60.5秒から48.0秒に短縮され、熟練者並みの速度を達成した。

詳しい要約

1. どんなもの?

本論文は、顕微授精(ICSI)において、オペレータの視野(FOV)調整を自動化するAIベースの手法を提案している。提案手法は、view-expansive microscope(ガルバノミラーと高速ビジョンによるマルチビュー撮像で単一対物レンズから広視野と高解像度画像を同時取得可能な顕微鏡)と統合され、LSTMモデルがピペットの位置・速度とオペレータの視線位置をリアルタイム解析して適切なFOVサイズを予測する。これにより、手動での対物レンズ交換や照明調整を不要とし、手技中のFOV調整による作業中断を減らすことを目指す。

2. 先行研究と比べてどこがすごい?

従来の顕微鏡では、FOVサイズを変えるために対物レンズの交換や照明調整を手動で行う必要があり、作業の中断と時間増加を招いていた。提案手法は、view-expansive microscopeにより物理的なレンズ交換を不要にし、さらにLSTMを用いてオペレータの視線とピペット動作からFOVサイズを自動予測することで、手動調整を完全に排除する点が新しい。従来の自動化研究が主にピペット位置のみに基づくのに対し、視線情報を統合した点も独自性が高い。

3. 技術・手法の肝は?

手法の核心は、LSTMモデルによるFOVサイズ予測である。入力は、ピペットの位置と速度、およびオペレータの視線位置の時系列データであり、これらをリアルタイムに解析して適切なFOVサイズを出力する。モデルは、5年以上のマイクロマニピュレーション経験を持つエキスパートのICSI手技データを用いて教師あり学習される。また、view-expansive microscopeのマルチビュー撮像により、単一対物レンズで異なるFOVサイズの画像を同時に取得できるため、物理的なレンズ交換なしでFOVを電子的に調整可能である。

4. どうやって有効だと検証した?

提案システムの有効性は、初心者オペレータを対象とした実験で検証された。実験では、提案の自動FOV調整システムを使用した場合と使用しない場合でICSI手技のタスク完了時間を比較し、平均完了時間が60.5秒から48.0秒に有意に短縮された(p < 0.001)。さらに、この改善により初心者オペレータの作業速度がエキスパートオペレータと同等に達することが示された。

5. 議論はある?

要旨からは、提案手法が初心者の作業速度を向上させる一方で、エキスパートのデータで訓練されたモデルが初心者に適用可能である点や、視線情報の精度や個人差の影響、異なる顕微鏡環境への一般化可能性などについては議論されていない。また、FOV予測の正確性や誤予測時のリスク、長期的な学習効果なども要旨からは不明である。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、同分野の定番として、ICSIの自動化に関する研究(例えば、ピペット追跡や細胞操作の自動化)、LSTMを用いた時系列予測の応用研究、視線追跡を用いたヒューマンマシンインタフェースの研究などが挙げられる。具体的には、'Automated ICSI'や'Gaze-based control in micromanipulation'などのキーワードで検索される論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kenta Yokoe, Takuya Hara, Tadayoshi Aoyama

分類: cs.HC, cs.LG, cs.RO, eess.IV

原文アブストラクト

Intracytoplasmic sperm injection (ICSI) operators frequently adjust the field-of-view (FOV) during procedures, which interrupts workflow and increases procedure time. Conventional microscopes require manual objective lens switching and illumination adjustments to achieve different FOV sizes. We propose an AI-based automatic FOV adjustment method integrated with a view-expansive microscope. This microscope enables the simultaneous acquisition of a large FOV and high-resolution images using a single objective lens through multiview imaging with galvanometer mirrors and high-speed vision, thereby eliminating the need for physical lens exchanges. Our method utilizes a long short-term memory (LSTM) model to predict the appropriate FOV size based on real-time analysis of the pipette's position and velocity, combined with the operator's gaze position. The AI model is trained using ICSI procedure data from an expert with over five years of micromanipulation experience. Experimental evaluation with novice operators reveals that the proposed automatic FOV adjustment system significantly improves the ICSI procedure speed, reducing the average task completion time from 60.5 to 48.0 s (p < 0.001). The experiments also demonstrate that this improvement enables novice operators to achieve ICSI working speeds equivalent to those of expert operators.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI