ハイパーグラフメッセージパッシングによるビザンチン耐性連合大規模言語モデル

- Federated Large Language Models (FedLLMs) における Byzantine 攻撃への耐性を高める手法。 - 悪意あるモデル更新による意味的一貫性・事実性の崩壊を防ぐ。 - Hypergraph Message Passing Graph Autoencoder (HMP-GAE) を提案。 - 低ランクモデル更新を hypergraph のノードとして表現し、高次関係を活用。 - Qwen-2.5 と Llama-3.2 をバックボーンに、AG News と Yahoo! Answers で評価。

- 既存の防御手法と比較し、global accuracy を 1.21% 向上。 - 最終モデルの classification semantic entropy を 44.08% 削減。 - perplexity を 13.34% 低減。 - GAE-based defense と比べ、accuracy 1.39% 向上、semantic entropy 54.5% 削減、perplexity 35.5% 低減。 - プライベートデータにアクセスせずに信頼できる知識集約を実現。

- 防御問題を定式化し、global accuracy 最大化と操作された更新の抑制を同時に目指す。 - HMP-GAE フレームワークを開発。 - 低ランクモデル更新を hypergraph のノードとして表現。 - 複数エージェント間の高次意味関係を反復的 message passing で活用。 - 履歴チェックポイントとエージェント間関係推論により、意味的不整合更新を特定・抑制。 - 連合学習中にエージェント間の知識整合性を維持。

- Qwen-2.5 と Llama-3.2 を pretrained FedLLM バックボーンとして実装。 - AG News と Yahoo! Answers データセットで評価。 - 既存防御と比較して global accuracy、semantic entropy、perplexity の改善を確認。 - GAE-based defense との比較も実施。

- 要旨からは不明。

- GAE-based defense（要旨で比較対象として言及） - Byzantine 攻撃に対する既存の防御手法（具体的名称は要旨からは不明） - Federated Learning における robust aggregation 手法（一般名）