日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

通信arXiv:2609.07853

汎用セマンティックおよび目標指向通信のための基盤モデル

Foundation Models for Generalizable Semantic and Goal-Oriented Communication

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語基盤モデルと拡散モデルを活用し、低ビットレートでも汎化性と高忠実度を両立するセマンティック通信フレームワークFMSGOCを提案した。

詳しい要約

1. どんなもの?

本論文は、6G向けのセマンティックおよびゴール指向通信のためのフレームワークFMSGOCを提案している。FMSGOCは、視覚言語基盤モデルと生成基盤モデルを活用し、低ビットレートでの一般化とレート効率を改善する。送信側では、視覚言語基盤モデルがスパースなセマンティックアンカーを選択・送信し、受信側では、マスク補完用にファインチューニングされた事前学習拡散モデルが画像を再構成する。

2. 先行研究と比べてどこがすごい?

既存のセマンティック通信システムは、訓練データに過適合し、低ビットレートで性能が急激に低下する。また、信号全体を圧縮しようとするため、レート効率が悪い。FMSGOCは、広範な視覚言語基盤モデルの事前知識を用いて過適合を緩和し、スパースなゴール整合アンカーにビットを集中させ、生成基盤モデルでマスク領域を再構成することで、低ビットレートでの高いセマンティック忠実度と一般化を実現している点が優れている。

3. 技術・手法の肝は?

手法の肝は、送信内容と再構成方法を分離することにある。視覚言語基盤モデルがセマンティックアンカーを選択・送信し、受信側ではマスク補完用にファインチューニングされた事前学習拡散モデルが画像を再構成する。これにより、ビットをスパースなアンカーに集中させ、生成モデルの事前知識で欠損領域を補完する。

4. どうやって有効だと検証した?

CIFAR-10とImageNetデータセットを用いて実験を行い、FMSGOCは0.039 BPPで、CIFAR-10でコサイン類似度0.87-0.90、ImageNetで0.83-0.86を達成し、セマンティック忠実度を維持した。また、知覚類似性はCIFAR-10で0.1278、ImageNetで0.1558であり、低ビットレートで強力なエンドツーエンドベースラインを上回った。

5. 議論はある?

要旨からは、FMSGOCの限界や議論についての詳細は不明である。ただし、低ビットレートでの性能向上を実証しているが、実世界の多様なシナリオでの一般化や、拡散モデルの計算コストなどが潜在的な課題として考えられる。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、セマンティック通信のエンドツーエンドベースライン、視覚言語基盤モデル、拡散モデルを用いた画像生成・補完に関する論文が挙げられる。具体的には、CLIPやStable Diffusionなどの基盤モデルに関する研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Boliang Liu, Wint Yi Poe, Riccardo Trivisonno, Giuseppe Caire

分類: cs.LG, cs.AI, cs.RO, eess.IV

原文アブストラクト

Semantic and goal-oriented communication is increasingly studied for 6G, but generalization beyond seen data remains a key weakness under tight rate budgets. Many existing systems overfit their training data and degrade sharply at very low bit rates because they attempt to compress the entire signal. We introduce Foundation Model-Guided Semantic and Goal-Oriented Communication (FMSGOC), a framework that uses broad visual-linguistic Foundation Model priors to mitigate overfitting. It further improves rate efficiency by concentrating bits on sparse, goal-aligned anchors and relying on generative foundation-model priors to reconstruct the masked regions. By decoupling what to send from how to reconstruct, a vision-language foundation model selects and transmits a sparse set of semantic anchors, while a pretrained diffusion model, fine-tuned for masked completion, reconstructs the image at the receiver. In our experiments, FMSGOC reaches 0.039 bits per pixel (BPP), maintains high semantic fidelity (cosine similarity 0.87-0.90 on CIFAR-10), remains robust on previously unseen inputs (0.83-0.86 on ImageNet), and shows good perceptual similarity (0.1278/0.1558, CIFAR-10/ImageNet), outperforming strong end-to-end baselines at lower bit rates.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI