CyberWorld: 自律型サイバー防御のためのサンプル効率の高い世界モデル

- 自律型サイバーディフェンスのための World Models フレームワーク「CyberWorld」を提案。 - Dreamer スタイルの世界モデルをサイバー領域に拡張し、防御対象ネットワークの潜在ダイナミクスを学習。 - 表現形式として vector, graph, textual, multimodal の4種類を検討。 - モデルフリー強化学習のサンプル非効率性を改善することを目的とする。

- 既存の自律型サイバーディフェンス手法は主に model-free で、大量の環境相互作用を必要とした。 - 世界モデルはロボティクスや embodied control でサンプル効率を大幅に改善してきたが、サイバーセキュリティへの適用は未開拓。 - CyberWorld は graph-based 変種で 3.6k–15.8k ステップで strategy-agnostic control を超え、model-free PPO の数百万ステップと比較して大幅に少ない。 - ネットワーク規模拡大時も成功に必要なエピソード数がほぼ一定であることを示した。

- Dreamer スタイルの世界モデルを採用し、潜在サイバーダイナミクスを学習。 - 想像上の軌道 (imagined trajectories) を用いてポリシーを最適化。 - 防御ネットワークの表現として vector, graph, textual, multimodal の4種類を入力に使用。 - 特に graph 構造がトポロジー依存攻撃に対するロバスト性に寄与。

- CyberWheel の4つの scoreable 攻撃戦略すべてで評価。 - graph-based CyberWorld が strategy-agnostic control を 3.6k–15.8k 環境ステップで超過。 - model-free PPO は数百万ステップを要することを比較。 - ネットワーク規模を 15 から 100 ホストに増やしても、成功した実行における制御到達に必要なエピソード数がほぼ一定であることを確認。

- 表現選択がロバスト性とスケーラビリティの中心的な設計軸であることを指摘。 - graph 構造はトポロジー依存攻撃下でより高いロバスト性を示す一方、単純な表現も全体的な性能では競争力がある。 - 学習されたサイバーダイナミクスがサンプル効率とスケーラビリティの基盤となることを主張。 - 限界や今後の課題については要旨からは不明。

- Dreamer (Hafner et al.) など世界モデルベースの強化学習手法。 - model-free PPO (Schulman et al.) との比較が示されている。 - CyberWheel 攻撃戦略に関する研究。 - サイバーセキュリティ向け強化学習の既存手法 (例: 自律型サイバーディフェンスの model-free アプローチ)。