日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

超音波/ワールドモデルarXiv:2610.19327

SonoWorld: 対話型ポーズ制御可能な超音波ワールドモデル

SonoWorld: Towards Interactive Pose-Controllable Ultrasound World Models

シェア:XThreadsFacebookLINEはてブBluesky

ラベルなし臨床超音波動画から因果的な動画拡散モデルを学習し、少数のEMトラッキングスキャンで6自由度プローブポーズに接地することで、対話的にポーズ制御可能な超音波画像生成を実現した研究。

詳しい要約

1. どんなもの?

- ロボティック超音波のための対話型・姿勢制御可能な超音波 world model「SonoWorld」を提案。 - 未ラベルの臨床超音波動画から映像ダイナミクスを学習し、少数の EM sensor 追跡済み freehand 臨床スキャンで 6-DoF 制御に接地。 - 3段階学習: 約690万フレームの未ラベル多臓器超音波で latent-action-conditioned video diffusion model を事前学習、EM追跡甲状腺データで動画ダイナミクスを metric probe pose に接地、distribution matching distillation で因果的・長horizon自己回帰生成を実現。 - 推論時に eviction tokens を選択的にキャッシュ。 - ロボティック超音波のデータ取得と policy 評価のためのデータ駆動型対話環境を提供。

2. 先行研究と比べてどこがすごい?

- 既存の制御可能な world model は自然画像領域で急速に進歩しているが、超音波 world modeling は各フレームが未観測の3D解剖の断面のみを捉えるため、小さな probe 動作が大きな見た目の変化を引き起こす点で困難。 - 既存手法は robot-tracked poses と latent-space prediction に依存するが、対話型制御に必要な観測を直接生成しない。 - SonoWorld は主に freehand 臨床ビデオから学習した初の因果的・姿勢制御可能な超音波 world model であり、ロボティック超音波のデータ取得と policy 評価のためのデータ駆動型対話環境を提供する点が新しい。

3. 技術・手法の肝は?

- 未ラベルの臨床超音波ビデオから映像ダイナミクスを学習し、少数の EM sensor 追跡済み freehand 臨床スキャンで 6-DoF 制御に接地。 - 3段階学習: (1) 約690万の未ラベル多臓器超音波フレームで latent-action-conditioned video diffusion model を事前学習、(2) 小規模 EM 追跡甲状腺データセットで学習済み映像ダイナミクスを metric probe pose に接地、(3) distribution matching distillation を適用し、推論時に eviction tokens を選択的にキャッシュすることで因果的・長horizon自己回帰生成を可能にする。

4. どうやって有効だと検証した?

- 保持された追跡スキャン上で合成アクションに対する姿勢追従忠実度、往復一貫性、軸特異的制御により制御性を評価。 - さらにユーザスタディで検証。 - モデルベースの行動識別では、SonoWorld が等しい大きさの反対方向の probe 動作よりも目標指向の probe 動作を最大74.8%の試行で正しくランク付け。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。同分野の定番として、latent-action-conditioned video diffusion model、distribution matching distillation、EM sensor を用いた freehand 超音波追跡、ロボティック超音波の policy learning に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zefan Yang, Zheyuan Zhang, Boris Maihe, Yikang Liu, Hang Yu, Ankush Mukherjee, Xiao Chen, Pingkun Yan, Terrence Chen, Shanhui Sun

分類: cs.CV

原文アブストラクト

Robotic ultrasound can standardize image acquisition and reduce operator workload and variability, but policy learning remains limited by the lack of realistic, controllable simulation environments. While controllable world models have advanced rapidly in natural-image domains, ultrasound world modeling remains challenging because each frame captures only a cross-section of unobserved 3D anatomy, causing small probe motions to induce large appearance changes. Existing approaches rely on robot-tracked poses and latent-space prediction, but do not directly generate the observations required for interactive control. We propose SonoWorld, a causal ultrasound world model that learns video dynamics from unlabeled clinical videos and grounds them to 6-DoF control using a small set of freehand clinical scans tracked with an EM sensor. SonoWorld is trained in three stages: pretraining a latent-action-conditioned video diffusion model on around 6.9 million unlabeled multi-organ ultrasound frames; grounding the learned video dynamics to metric probe poses with a small EM-tracked thyroid dataset; and applying distribution matching distillation to enable causal, long-horizon autoregressive generation with selectively caching eviction tokens at inference time. We evaluate controllability through pose-following fidelity, round-trip consistency, and axis-specific control under synthetic actions on held-out tracked scans, and further validate it with a user study. In model-based action discrimination, SonoWorld correctly ranks the target-directed probe motion over an equal-magnitude opposite motion in up to 74.8% of trials. To our knowledge, SonoWorld is the first causal, pose-controllable ultrasound world model learned primarily from freehand clinical videos, providing a data-driven interactive environment for robotic ultrasound data acquisition and policy evaluation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI