Trustworthy federated learning: privacy, security, and beyond

原題: Trustworthy federated learning: privacy, security, and beyond 著者: C Chen, J Liu, H Tan, X Li, KIK Wang, P Li… | 会議: Springer 2025 | 引用: 0 PDF: chen25a.pdf

Noname manuscript No. (will be inserted by the editor) Trustworthy Federated Learning: Privacy, Security, and Beyond Chunlu Chen§†, Ji Liu⋆‡†, Haowen Tan∗∗, Xingjian Li‡‡, Kevin I-Kai Wang¶, Peng Li∥, Kouichi Sakurai§, Dejing Dou†† Received: date / Accepted: date To appear in KAIS Abstract While recent years have witnessed the advancement in big data and Artificial In- telligence (AI), it is of much importance to safeguard data privacy and security. As an inno- vative approach, Federated Learning (FL) addresses these concerns by facilitating collabo- rative model training across distributed data sources without transferring raw data. However, the challenges of robust security and privacy across decentralized networks catch significant attention in dealing with the distributed data in FL. In this paper, we conduct an extensive survey of the security and privacy issues prevalent in FL, underscoring the vulnerability of communication links and the potential for cyber threats. We delve into various defensive strategies to mitigate these risks, explore the applications of FL across different sectors, and propose research directions. We identify the intricate security challenges that arise within the FL frameworks, aiming to contribute to the development of secure and efficient FL systems. Keywords Federated learning · Machine Learning · Security · Privacy

1 Introduction In recent years, rapid advancements in big data and Artificial Intelligence (AI) technologies have ushered in an era characterized by an unprecedented proliferation of interconnected In- ternet of Things (IoT) devices and web platforms. This digital tapestry, while instrumental in catalyzing the data revolution, concurrently yields vast quantities of distributed data — a significant portion of which is sensitive in nature. Notably, there exists a gap in the ade- quate protection of this sensitive information, a critical oversight in the current data-centric world. The emergent challenges have not gone unnoticed at the legislative level. A myriad ⋆Corresponding author. † Equal contribution. ‡ HiThink Research, Hangzhou, China. ‡‡ Carnegie Mellon University, Pittsburgh, United States. § Information Science and Electrical Engineering Department, Kyushu University, Fukuoka, Japan. ¶ Electrical, Computer and Software Engineering Department, The University of Auckland, Auckland, New Zealand. ∥Computer Science and Engineering Department, The University of Aizu, Aizuwakamatsu, Japan. ∗∗Information Science and Technology Department, Zhejiang Sci-Tech University, Hangzhou, China. †† Fudan University, Shanghai and BEDI Cloud, Beijing, China. arXiv:2411.01583v1 [cs.CR] 3 Nov 2024

2 Chen and Liu et al. of regulations, including such as the Cybersecurity Law of the People’s Republic (CLPR) of China [199], the General Data Protection Regulation (GDPR) [163], the California Con- sumer Privacy Act (CCPA) [24], and the Consumer Privacy Bill of Rights (CPBR) [58], have been established to safeguard the privacy and security of raw data. Current estimations indi- cate that these privacy legislations may encompass up to 75% of the global population [219], necessitating over 80% of worldwide enterprises to conform by the culmination in 2023. In this dynamic landscape, the development and deployment of sophisticated defense method- ologies are imperative. Such techniques are pivotal to maintain data privacy and security throughout the lifecycle of machine learning models, including both training and inference phases. Traditional centralized machine learning paradigms necessitate the aggregation of data at a single server or data center, serving as the nexus for both training and inference op- erations. Training, an iterative process, refines machine learning model parameters through specific algorithms and can be computationally intensive and time consuming [209]. In con- trast, the inference phase leverages these trained models to deduce predictions or classifica- tions [117]. The introduction of Distributed Machine Learning (DML) techniques augments both the accuracy and computational efficiency of the model training process. However, this decentralization inevitably exacerbates concerns regarding data privacy and security. Federated Learning (FL) emerges as a pivotal solution in this context. Instead of transfer- ring raw data, which incurs potential privacy violation, FL facilitates the dissemination of a global model to individual devices. These devices, in turn, harness local data to refine the model. Post-training, the local devices relay the updated model parameters to the cen- tral server for amalgamation. This iterative process is perpetuated until model convergence is achieved, ensuring data remains local, thereby supporting privacy and security. While FL offers clear advantages, it also faces challenges. Weak points in the communication links be- tween devices and central servers can lead to cyberattacks. In addition, if servers or devices are compromised, they might bring in malicious activities, threatening the overall security of the system. FL has emerged as a key development in the field of modern DML. Numerous sur- veys delve into the fundamental aspects of FL, discussing topics like deployment architec- ture, system lifecycle, defining characteristics, classifications, and the range of open-source tools available [1, 4, 101, 117, 217]. Recent studies analyze FL within the software engi- neering domain, providing insights into the detailed processes involved in developing FL systems [131, 201]. In terms of application, significant works focus on specific application of FL. Important studies in this realm cover multiple topics, such as edge computing [223], integration methods for the IoT and the Industrial IoT (IIoT) [92, 159, 168], strategies cen- tered on personalization [85], and in-depth reviews exploring the economic impact of FL adoption [259]. In terms of security, a plethora of seminal works have structured frame- works that elucidate the intricacies of FL security [154, 250]. Alongside these, there are focused analyses identifying potential security risks, with an emphasis on the security and privacy challenges within FL [136,178]. The growing concerns about privacy breaches are a significant topic of interest in recent discussions [182, 237]. A consistent finding across these studies is the presence of challenges during the development and deployment of FL, especially concerning system vulnerabilities and device reliability [87]. These studies reveal a research shortfall, emphasizing the need for in-depth investiga- tions into security, privacy, and relevant defensive strategies within the FL paradigm. Thus, based on the FL system architecture, we explore the security and privacy issues faced at each architecture layer and comprehensively discuss the existing defense techniques designed to

Trustworthy Federated Learning: Privacy, Security, and Beyond 3 enhance the ability to resist various types of security vulnerabilities. The notable contribu- tions of this paper are as follows: – We propose a universal FL system architecture that encompasses infrastructure, algo- rithms, and user services. This architecture aids in the evaluation of existing FL sys- tems. The current literature lacks this holistic view, which distinguishes our work from existing surveys. – We provides a comprehensive overview of the security and privacy issues present in FL, as well as the primary attack methods. And also discuss a range of defense techniques against these attacks, offering practical guidance for system developers. – We analyze the applications of FL systems and identify future research directions. This contribution enriches the discourse on FL and highlights opportunities for further devel- opment. The remainder of this paper is organized as follows. In Section 2, we introduce the fundamental concepts of FL and elucidate the proposed FL system architecture. Section

3 は、FL（Federated Learning：連合学習）に関連する一般的なセキュリティ問題について掘り下げています。FL における一部の脅威は、デバイスの故障や予測不能な参加者の振る舞いによって悪意なく生じる可能性がありますが、システムを故意に損なうことを目的とした悪意的な脅威も存在します。これらは、データポイズニング（Data Poisoning：データ汚染）、モデルの破損、推論攻撃（Inference Attack）として現れる可能性があります。FL の分散型フレームワークは機械学習におけるプライバシーを強化しますが、同時に多数のセキュリティ課題をもたらします [57]。これらの課題に対処するため、私たちはさまざまな防御策について議論します。クライアントデバイスと中央サーバーの両方からの脆弱性を考慮して考案されたこれらの戦略は、主に予防的（proactive）および反応的（reactive）タイプに分類されます。予防的防御は脅威を事前に特定し軽減することを目的としており、一方、反応的防御は攻撃が検出された後に機能します。この文脈で広範に研究されている技術には、暗号化（encryption）、差分プライバシー（Differential Privacy: DP）、異常検知（anomaly detection）が含まれます。セクション 4 は FL のさまざまな応用について探ります。このセクションの次は、課題と将来の研究方向を説明するセクション 5 が続きます。最後に、セクション 6 は論文への結論を提供します。

2 フェデレーテッドラーニングの概要本セクションでは、DML（Distributed Machine Learning：分散機械学習）および FL の基本概念を紹介し、その後 FL と DML の違いについて議論します。さらに、一般的な FL フレームワークアーキテクチャについて説明します。

2.1 フェデレーテッドラーニング機械学習システムは従来、モデルトレーニングのために生データを集中型サーバーに集約することに依存していました。大規模なデータセットは通常、訓練されたモデルの高い精度に対応しますが、膨大なデータを処理する際には計算上のボトルネックが発生します。DML は、CPU、GPU（Graphic Processing Unit：グラフィックプロセッシングユニット）、TPU（Tensor Processing Unit：テンソルプロセッシングユニット）など複数の処理単位にわたる並列化および同時実行の実装によってこの問題に対する対抗策を提供します。これにより効率性が向上するだけでなく、スケーラビリティも強化されます。DML システムは分散型または非集中型のいずれかの形式で構築できます。前者はデータ相互作用とデバイス同期のために中央サーバーを利用しますが、後者はピアツーピアの相互作用およびノードの平等性を強調します。

Chen and Liu et al. 機械学習タスクにおけるデータ量が膨大になるにつれて、法的、セキュリティ、プライバシーの問題を含むさまざまな懸念が生じています。DML システムでは、データとモデルは攻撃の対象となる可能性があり、その潜在的な結果としてデータの漏洩やモデルの漏洩、または訓練されたモデルの利用可能性の侵害があります。これはこれらの課題に対処する必要性を高める一方で、FL は有望な解決策を提供します。革新的なパラダイムとして登場した FL は、DML に内在するセキュリティおよびプライバシーの問題を緩和します [144]。これには、通信中のデータ漏洩に関する懸念 [42] および業界におけるデータサイロ（data silos：データの閉じ込め）の存在が含まれ、これはデータ共有に関連する課題の結果です [47,122–124,243]。FL は DML の手法として、個々のデータソース間の生データの交換を必要とせずに、実質的に集約されたデータを利用してグローバルモデルを作成します。代わりに、これらソース間でモデルパラメータや勾配（gradients）などの中間結果の共有に依存します。この特性により、FL は従来の ML 方法と比較可能な精度を達成しながら、生データのセキュリティおよびプライバシーを強化することができます。ネットワークトポロジーに応じて、FL は集中型または非集中型のいずれかになります [100, 154]。集中型 FL アーキテクチャでは、中央サーバーがグローバルモデルの構築、管理、更新を行うハブとして機能します。このサーバーは接続されたデバイスからパラメータを収集および集約し、その後これらのデバイスは更新されたグローバルモデルを使用します [84, 103, 119–121, 245, 258]。このアーキテクチャは管理と同期を簡素化しますが、単一のサーバーへの依存によりシステムのスケーラビリティが潜在的に制限され、大規模なアプリケーションでは重い通信負荷を課す可能性があり、単一障害点（single point of failure）および潜在的なボトルネックに対して脆弱になります [134]。対照的に、非集中型 FL アーキテクチャは中央サーバーなしで動作し、単一障害点のリスクを低減し処理負荷を分散します。この設定におけるデバイスまたはノードは互いに直接通信し、信頼性と信頼性を確保するためにコンセンサスアルゴリズム（consensus algorithm）を使用します [1, 57]。このネットワーク内の各参加者は、隣接する参加者と情報を直接共有することによりモデルを洗練させ、プライバシーを強化しデータ漏洩のリスクを低減します [98]。しかし、このアプローチは各デバイスが複数の接続を処理しなければならないため通信コストを大幅に増加させ、多数のクライアント間で効果的なコンセンサスを確立することが困難になります [87]。非集中型 FL のセキュリティと追跡可能性をさらに強化するために、最近の研究ではブロックチェーン技術（blockchain technology）をアーキテクチャに統合しています [12,114,160,174,189,241]。この統合は、ブロックチェーンの分散化、透明性、不変性の本質的な特性を利用し、サードパーティによる規制を必要とせずに安全で追跡可能なトレーニングプロセスのための堅牢なメカニズムを提供します [7, 97]。ブロックチェーンベースの FL システムは、データ改ざんやモデルポイズニングなどのリスクを効果的に緩和し、非集中型環境におけるより高いレベルのセキュリティを保証します。これらの FL の異なるアーキテクチャにはそれぞれ固有のセキュリティ上の含意があります。集中型 FL は特にデータプライバシーの侵害および集中管理の問題に脆弱であり、一方、非集中型 FL は学習プロセスの速度または効率を犠牲にすることなくコンセンサスを維持する複雑さに関連する課題、すなわち増加した通信オーバーヘッドに直面しています。データ分布に応じて、FL は水平方向 FL（Horizontally FL: HFL）、垂直方向 FL（Vertically FL: VFL）[126]、および連合転移学習（Federated Transfer Learning: FTL）[77] に分類できます。本論文では、維持と柔軟性における固有の課題があるクロスデバイス実装の文脈において、主に HFL に焦点を当てています。 FL が提供する利点にもかかわらず、それは依然として悪意のない障害および悪意的な攻撃に対して脆弱です [87]。FL システムでは、データとモデルは攻撃者の標的となる可能性があります。攻撃者はシステム内の受動的な観測者から能動的な参加者までさまざまな役割を想定でき、それぞれがプライバシーおよびセキュリティに対する潜在的脅威の異なる程度に関連しています（Table 1）。FL システムにおけるプライバシーおよびセキュリティの問題の詳細な議論はセクション 3 で提示されており、これらの懸念がどのように緩和されれば FL のさまざまな分野での成功した適用を保証できるかを詳述しています。

Trustworthy Federated Learning: Privacy, Security, and Beyond 5 Table 1 Attacker role and their targets in FL system（FL システムにおける攻撃者の役割と標的） Attacker Role（攻撃者の役割）Targets（標的）Description（説明） Spectator [190]（観測者）Model or Data（モデルまたはデータ）Attackers can collect sensitive information from interactions within systems.（攻撃者はシステム内の相互作用から機密情報を収集できます。） Devices [137]（デバイス）Model（モデル）Attackers may leak or change individual submodel information.（攻撃者は個々のサブモデル情報を漏洩または変更する可能性があります。） Data（データ）Attackers may leak local training dataset.（攻撃者はローカルトレーニングデータセットを漏洩する可能性があります。） Servers [87]（サーバー）Model（モデル）Attackers may leak model information or destroy model availability, either global or local models.（攻撃者はモデル情報を漏洩するか、グローバルまたはローカルモデルのいずれかの可用性を破壊する可能性があります。）

2.2 DML から FL へ FL は生データの共有を必要とせずに協調学習を可能にする DML の派生物であり、セキュリティおよび効率において大きな進展をもたらします [117, 190]。この発展は、IoT（Internet of Things：モノのインターネット）および AI（Artificial Intelligence：人工知能）技術の急成長するトレンドと特に関連性があります。本セクションでは、トレーニングデータ、システムワークフロー、セキュリティ、耐障害性の 4 つの主要な次元にわたる DML および FL の固有の特徴を調査します。 – トレーニングデータ FL では、参加デバイスの多様性 [31, 82, 113, 118] のため、デバイス間でデータ分布および量に顕著な相違が見られる可能性があります。このような多様性は、トレーニングデータの非独立同分布（Non-IID: Non-Independent and Identically Distributed）分布につながります。さらに、個々のデバイス上のデータ量は非対称的である傾向があり、これがより大きな多様性を生み出します [80]。注目すべきは、データの処理がこれらのデバイス上で直接行われ、個別のデータ管理サーバーを必要としないことです。対照的に、DML は各ワーカーのトレーニングデータ分布がデータセット全体から取得されたランダムサンプルであると仮定します [212]。これには、データ収集、特徴エンジニアリング（feature engineering）、およびデータセット分割タスクのためのデータ管理サーバーが必要です。 – システムワークフロー従来の DML ワークフローは 4 つの主要な段階から構成されます：開始、トレーニング、評価、およびデプロイメント [212]。開始段階には、ロジスティック回帰（Logistic Regression: LR）、サポートベクターマシン（Support Vector Machine: SVM）、ニューラルネットワーク（Neural Networks: NN）などの技術が分類タスクに主に使用される、特定の課題に応じたデータ前処理およびモデル初期化が含まれます。トレーニングフェーズでは、キュレーションされたデータを使用して特定のタスクのモデルをトレーニングします。その後、モデルはテストデータを使用して評価され、そのパフォーマンスを測定し有効性を確認します。この評価段階でモデルが承認されると、本番環境にデプロイされます。FL ワークフローは DML のワークフローと大きく似ていますが、開始フェーズにおいて顕著に異なります。特に、FL は中央場所でのデータ前処理を放棄します [243]。クライアントデバイスに分散されたトレーニングデータの性質により、各クライアントはタスクの要件に基づいて独立したデータ前処理を行うことができます。中央サーバーはこのデータにアクセスできないため、データ所有者がデバイスおよびデータを完全に管理し続けることを保証します。対照的に、DML は中央サーバーに対してトレーニングデータとワーカーの両方に対する包括的な制御を提供します。 – セキュリティ DML は、データおよびモデルパラメータが通信ネットワークを介してワーカーに配布されるため、データ漏洩のリスクが高くなります。暗号化技術はこの問題を軽減できますが、システムの計算および通信コストを大幅に増加させます [107]。一方、FL は生データの共有を伴わないため、すべてのトレーニングがローカルで行われるため、自然にデータ漏洩リスクを緩和します。しかし、FL においても、グローバルモデルのトレーニングのためにサーバーと共有される勾配は、トレーニングデータに関する情報を潜在的に開示する可能性があります [87,262]。したがって、システムのセキュリティを強化するために、暗号化（encryption）およびオブラフケーション（obfuscation：隠蔽）などのいくつかのセキュリティ技術を展開する必要があります。 – 耐障害性 DML はダウンタイムによるワーカーの利用不能などの潜在的な問題に対処するための耐障害性メカニズムを組み込んでいます [157]。システムの遅延または失敗を回避するために、事前に追加のリソースを予約する必要があるかもしれません。一方、FL の耐障害性メカニズムは 2 つの固有の課題に焦点を当てています。第一に、デバイスが自発的にシステムから離脱する可能性があります [193]。第二の懸念はビザンチン攻撃（Byzantine attacks）に関連しており、ここでは悪意のある参加者が故意に不正確なデータを使用してローカルモデルをトレーニングし、その後これらの不良パラメータをサーバーに提出してグローバルモデルのパフォーマンスを深刻に損ないます [35,194]。これらの課題を回避するために、FL システムはオフラインクライアントの数を制限することを許可する、または潜在的な悪意のある活動を識別するためにクライアント異常検知アルゴリズムを採用するなどの戦略を展開する可能性があります。 FL は DML の特殊な現れとして、データ交換を必要とせずにモデルトレーニングを可能にし、セキュリティおよび通信効率において顕著な向上をもたらします。しかし、それはまた固有の課題も提示します。例えば、悪意のあるクライアントはグローバルモデルを利用しようとするか、推論攻撃（inference attacks）やポイズニング攻撃（poisoning attacks）などの一連の悪意ある攻撃を実行する可能性があります。これらの脅威に対抗するために、異常なクライアントまたは更新を識別するために異常検知メカニズム（anomaly detection mechanisms）を統合することが実行可能な解決策となるかもしれません。しかし、複数の防御メカニズムを組み込むことは通信および計算コストを増大させ、システムの全体的な効率を損なう可能性があることに注意する必要があります。

2.3 FL のシステムアーキテクチャ本セクションでは、TensorFlow Federated (TFF) [62]、PySyft [164]、FedML [72]、Federated AI Technology Enabler (FATE) [215]、PaddleFL [11]、および Rosetta [143] を含む一般的なオープンソース FL システムアーキテクチャの包括的な検討を提示することを目的としています。このレビューに基づき、図 1 に示すように、インフラストラクチャ（infrastructure）、アルゴリズム（algorithm）、ユーザーサービス（user service）の 3 つのコア構成要素からなる FL システムの一般化されたアーキテクチャを提案します。 – インフラストラクチャ FL システム内のインフラストラクチャコンポーネントは、リソース管理、トレーニングデータ、および通信アーキテクチャを含みます。Graphic Processing Units (GPUs) [45] や Tensor Processing Units (TPUs) [86] などの計算ボトルネックを軽減しながらモデルトレーニングに対応するためにリソースを管理することは、FL システムにおける重要な課題です。特に、TFF、PySyft、および FedML は Central Processing Units (CPUs) および GPUs の両方のサポートを提供します。FL でのトレーニングデータはデバイスによって提供され、予測精度を向上させるために大量のデータを必要としますが、デバイス間のトレーニングデータの非一様かつ Non-IID な性質はモデルトレーニングに追加の複雑さを課します [185,256]。FL 環境内の通信アーキテクチャは、集中型または分散型のいずれかのフレームワークに従うことができます。集中型アーキテクチャには、デバイスからパラメータを集約し更新されたモデルをブロードキャストする中央サーバーが含まれますが、分散型アーキテクチャではデバイスは隣接するデバイスと通信することにより直接モデルを更新できます。 – アルゴリズム FL システム内のアルゴリズムコンポーネントは、モデル、プライバシー保護メカニズム（privacy-preserving mechanisms）、およびインセンティブメカニズム（incentive mechanisms）から構成されます。FL システムのデバイスは通常、特定の機械学習課題に対処するモデルをトレーニングするために協力します。ニューラルネットワーク（NN）、ツリーモデル、および線形モデルは広く利用されており、それぞれに固有の利点があります。NN モデルは画像分類などのさまざまなアプリケーションでトップクラスの性能を持つことが認識されています。しかし、ツリーおよび線形モデルは、その理解可能性と有効性のためにしばしば好まれます。注目すべきは、NN モデルがほとんどのタスクに対してラベル付きデータを必要とするということです。さらに、システムのパフォーマンスおよび精度を強化するためにアンサンブル手法（ensemble methods）[192] が提案されています。FL は生データの共有なしでモデルをトレーニングするためのメカニズムを提供しますが、システム内の相互作用プロセスは機密データまたはモデルの潜在的な漏洩につながる可能性があります。これらのプライバシー問題を回避するために、暗号化およびオブラフケーション技術が FL システムで広範に実装されています。Homomorphic Encryption (HE: 準同型暗号) や Secure Multi-Party Computation (MPC: 安全な複数計算) のような暗号化技術は通信プロセス中のデータを保護しますが、DP [6, 19, 66] を含むオブラフケーション技術はデータを保護するためにノイズを導入します。特に、TFF および FedML は DP をサポートし、FATE は暗号化手法をサポートし、PySyft および PaddleFL の両方が DP および暗号化に対応しています。 FL システムにおけるインセンティブメカニズムの役割は、参加者への貢献に対して報酬を与えることで、継続的な参加およびモデル共有を奨励することです。これらのメカニズムは、正または負のインセンティブを採用し、それぞれが報酬を通じて参加者を動機付けたり、罰則を課すことで有害な行動を抑制したりすることを目的としています。各参加者の貢献を評価するための公平な評価指標はより多くの参加者を惹きつけることができ、報酬はそれに応じて割り当てられます [197,238]。ブロックチェーンベースのインセンティブシステムは、参加者のトレーニング活動を記録し、アクティブな貢献者に暗号通貨で補償できるため、大きな注目を集めています [12,174,218]。さらに、システムのスケーラビリティを向上させパフォーマンスボトルネックを軽減するために、ブロックチェーンシャーディング技術（blockchain sharding technology）を採用して複数のシャードにわたる並列モデルトレーニングを可能にします [155]。この技術はブロックチェーンネットワークをいくつかの小さく独立したセグメント（「シャード」と呼ばれる）に分割します。各シャードはトランザクションを独立して処理しブロックを検証するため、全体的なネットワークスループットおよび処理能力が増加します。 – ユーザーサービス FL システム内のユーザーサービスコンポーネントは、アルゴリズム Application Programming Interfaces (APIs)、監視ツール（monitoring tools）、シミュレーション機能を提供します。シミュレーションにより、複数のデバイスにわたる協調トレーニングを模倣することでアルゴリズムの迅速な有効性評価が可能になります。これらのデプロイメント前の評価は、実世界アプリケーションでの意思決定プロセスを加速します。モデルトレーニングプロセスの監視および統計分析を通じて、運用上の問題をタイムリーに特定および解決できます。API は、ユーザー固有の要件を満たすためにアルゴリズムの実行およびカスタマイズを容易にするために使用されます。現在のほとんどのオープンソース FL システムは macOS および Linux プラットフォームをサポートしており、開発者のニーズと一致しています。TFF および PySyft が FL プロセス実装のための包括的なビルディングブロックを提供する一方、FATE、Rosetta、PaddleFL、FedML は直接利用するためのアルゴリズムレベルの API を提供します。さらに、FATE-Board 可視化モジュールは、モデルトレーニングプロセスの追跡、統計、監視から派生したデータのグラフィカルな描写を提供し、解釈可能性を向上させます。

3 FL のセキュリティとプライバシー DML の領域において、堅牢性とはシステムがセキュリティ上の脅威に効率的に対抗または軽減する能力を指します。分散デバイスへの依存を特徴とする FL は、生データの共有を必要とせずに協調的なモデルトレーニングを可能にします。FL に固有の分散アーキテクチャは、脆弱性や潜在的な敵対的介入を検出する複雑さを増大させます [87]。FL システムの完全性に対する脅威は、主に 2 つのカテゴリー、すなわち悪意のない障害と悪意的な攻撃に分類できます。悪意のない障害は、内在する脆弱性に起因する予期せぬシステム損傷です。例としては、デバイスの故障、過度にノイズの多いトレーニングデータセットの導入、予測不能な参加者の振る舞いなどが含まれます。一方、悪意的な攻撃は FL システムを侵害することを目的とした敵対者によって組織化された意図的な侵害です。このような攻撃には、データとモデルのポイズニング（Data Poisoning：データ汚染）、敵対的操作、推論に基づく襲撃が含まれます。悪意的な侵入に対抗するために事前に戦略を設計することは可能ですが、悪意のない挫折は予測不可能に現れることがよくあります。後者に対する修復は頻繁に反応的であり、事後の解決策立案が必要です。FL フレームワークの堅牢性を強化するためには、潜在的なセキュリティ侵害のスペクトラムを注意深く評価し、それらを阻止または無力化できるメカニズムを事前に設計して統合することが不可欠です。その後、FL アーキテクチャに内在する多面的なセキュリティおよびプライバシー上の懸念について包括的な議論を行います。

3.1 FL における悪意のない障害 FL システムは分散の約束にもかかわらず、ハードウェアとシステムの不整合に起因する脆弱性に直面しています [172]。ハードウェアレベルでは、障害はインフラストラクチャの機能不全の結果として現れることがよくあります。このような機能不全は、不良な機器品質から環境災害や維持管理が不十分な装置を含む外的要因に至るまで、多様な原因に起因する可能性があります。これらの内在するシステムの脆弱性は、敵対者にとって潜在的なゲートウェイとなり、悪意のあるコードの注入から分散型サービス妨害（Distributed Denial of Service: DoS）攻撃 [14] に至るエクスプロイトを悪用することを可能にします。複雑さを増幅するのは、ノイズの多いトレーニングデータと参加者の信頼性の問題です [87]。前者は最適ではないモデルパフォーマンスを引き起こす可能性があり、後者は無意識のうちにも意図的にも機密トレーニングデータセットの露出をもたらす可能性があります。さらに、FL システムの多面的な機能が多様なユーザー要件に対応するために設計されている一方で、この柔軟性はシステムの複雑さを増大させ、潜在的に脆弱性フットプリントを悪化させる可能性があります。

3.1.1 リスク管理計算ドメインにおけるリスク管理は、評価、制御、監視という 3 つの主要な要素を包含します [203]。評価：このフェーズは、システム脆弱性と敵対的侵入を含む潜在的なリスクの認識と定量化に専念しています。これらの脅威の本質を見極め、計算インフラストラクチャへの潜在的な影響を予測することに重点を置いています。制御：評価フェーズの分析に基づき、制御は特定された脅威を軽減するためのメカニズムの展開を優先します。その目的は多岐にわたり、潜在的な脅威を注意深く精査し、将来の損害を抑制し、堅牢なセキュリティプロトコルを実証することです。監視：この永続的なプロセスは、実装されたセキュリティ装置の有効性を評価するためのリアルタイムの監督とフィードバックメカニズムに重点を置いています。 FL の範囲内では、リスクの予防と軽減が完璧なセキュリティ基準を維持するために極めて重要です [172]。セキュリティを強化するための 2 つの顕著な戦略が登場します。環境強化：Trusted Execution Environment (TEE) [76] に代表されるように、強化された計算環境の創出は、多くの既存のリスクに対する盾となります。動的リスク監視：専用の監視モジュールを構築することは、セキュリティ上の異常を事前に特定し軽減する上で利益をもたらす可能性があります。このようなモジュールは絶えず機能し、FL フレームワーク内の逸脱を検査することで、機敏な予防的戦略の策定と展開を可能にします。 TEE は、プライバシー保護計算のためのハードウェア中心のアプローチとして浮上しています。このソリューションは、リモートユーザーがデバイス上で計算タスクを実行することを可能にし、計算の詳細をハードウェア製造業者から効果的に隠蔽（Obfuscation：隠蔽）します。専用の CPU レジスタを活用し、メモリ分離または暗号化を確保することで、TEE は安全な計算のための聖域を育成します [76]。TEE の信頼性が確認されると、プラットフォームはデバイス間の暗号的に安全な相互作用環境を拡張し、FL などの協力的な取り組みの効率性を潜在的に増幅します [39, 149]。FL の文脈では、TEE は強力な集約センターとして認識されており、パラメータの統合を簡素化しています [251]。ブロックチェーン技術で強化された TEE に関する初期の探求は、不侵襲的なアプローチを示唆しており、ローカルモデルの操作を無効にします [89]。さらに、TEE 指向のプロキシコンポーネントの統合は、FL 参加者の機密性を強化し、サーバーに送信される更新の完全性を保証します [20]。その顕著な有効性にもかかわらず、TEE の回復力は基盤となるハードウェアスキーマに依存しており [253]、データ汚染エクスプロイトなどの特定の敵対的介入に対して潜在的に脆弱になります [151]。リスク監視とガバナンスの全体的なパラダイムは、リスク検出、定量化、評価、救済を含むトレーニングライフサイクル全体の詳細な監督を包含します。ここでの本質的な目的は、セキュリティ戦略を洗練し、規定されたセキュリティベンチマークとの整合性を確認することです。リアルタイムの監視を通じて、潜在的な敵対的ベクトルとセキュリティ姿勢の不備が明らかにされ、保護措置の適時な再調整への道を開きます。

FL において、専用の監視コンポーネントはトレーニングプロセスとシステムダイナミクスを監督するために不可欠です。そのようなコンポーネントは開発者に微細なフィードバックを与える一方で、同時にリスク軽減を促進します。この思想の例として、FATE-Board モジュールを備えた FATE フレームワークがあります。このビジュアルインターフェースはタスク実行軌跡とモデルパフォーマンスメトリクスを注意深く記録し [215]、FL システムのための強化された監督メカニズムを生み出します。この運用上の透明性はリスクの明確化に寄与し、セキュリティ姿勢の動的な再調整を許可します。

3.2 FL における悪意的な攻撃計算システムの広大な景観において、特定の脆弱性はシステムの実行機能と計算効率の両方に致命的な攪乱をもたらす傾向があります [153]。これらの感受性を認識した賢明な敵対者は、システム完全性を脅かす複雑な侵入を組織化することができます [17, 102, 154, 247]。これに複雑さを加えるのは、ネットワーク内に埋め込まれており、多数の洗練された脅威を開始できる悪意のある参加者の存在です [104, 105]。これには、ポイズニング攻撃 [9] やビザンチン攻撃（Byzantine attacks：ビザンチン攻撃）[35, 194] から、複雑な推論攻撃（Inference Attack：推論攻撃）[190] に至るまでが含まれます。以下の議論では、FL アーキテクチャに悩まされる一般的な敵対的様式であるポイズニング侵入、敵対的操作、および推論違反の精査を行います。なお、ポイズニングと敵対的な性質の両方の襲撃は、主に FL の複雑なトレーニングフェーズ中に現れることに注意してください。

3.2.1 FL におけるポイズニング攻撃本質的に陰謀的なポイズニング攻撃は、トレーニングデータセットの意図的な汚染を通じて組織化され、主にモデルの有効性の低下を目的としています。これらの攻撃は、「データポイズニング（Data Poisoning：データ汚染）」と「モデルポイズニング」に二分されます [213]。データポイズニング：このストランドには 2 つの主要なサブセットが含まれます。最初のものは「ラベルフリップ」攻撃であり、トレーニングセット内のラベルメタデータを秘密裏に操作し、モデルターゲットに著しい乖離を引き起こし、結果として精度が低下します [224]。後者は「クリーンラベル」攻撃と呼ばれ、トレーニングデータセットの微妙な変更または戦略的に誤ったデータの注入を特徴とし、必然的にモデル精度の低下をもたらします。モデルポイズニング：このパラダイムは、モデルパラメータまたはそのアーキテクチャの直接的な操作に依存しています。典型的な例として、バックドア攻撃があり、これはモデルのグローバルパフォーマンスが表面上影響を受けていない一方で、特定の入力ドメインに対して歪んだ結果を生成するものです [33,64,188]。 FL は、その独自のアーキテクチャ原則のためにポイズニング攻撃に特に脆弱です。FL に内在するデータの不均衡性は、しばしば非独立同分布（Non-Independent and Identically Distributed: Non-IID）データとして現れ、デバイス間でローカルモデルのバリエーションが蓄積します [50,222,229]。脆弱性をさらに悪化させるのは、中央サーバーがトレーニングプロセスの詳細から切り離されているというシステム設計であり、デバイス由来の更新を検証することが困難な課題となっています [54, 246]。さらに、最近の研究では、FL のデータ不均衡性に対する課題への解決策として連合アンラーニング（Federated Unlearning）[32] が提示されています [208]。特定のローカルデータを標的にして削除することにより、これらの方法はシステムがそのようなデータから導き出す特定の知識に干渉し、それによってローカルデータのプライバシーを強化します [263]。最後に、FL における参加デバイスの膨大な量は異常検知（Anomaly detection：異常検知）の複雑さを増幅させ、この広範な景観内で動作する悪意のあるエンティティを隠蔽することがよくあります [15,55]。

3.2.2 FL における敵対的攻撃敵対的攻撃は、トレーニングデータセット内に微小な変更を戦略的に注入することを特徴とし、ターゲットモデルを誤導するように設計されています [225]。驚くべきことに、これらの微小な変更は、分類ミスを含む著しい異常を引き起こす可能性があります。攻撃者が利用可能なモデル知識の程度に基づき、敵対的攻撃はホワイトボックス、グレーボックス、およびブラックボックスのカテゴリーに二分されます。ホワイトボックス攻撃：ターゲットモデルのアーキテクチャとパラメータについて包括的な知識を持っているという前提に基づき、これらの攻撃は敵対的例を捏造してモデルを直接誤導します。BFGS 攻撃 [202] などの先駆的アルゴリズムは、最小損失関数摂動を見極めることで分類ミスを確定します。FGSM [61] およびその反復対応物である I-FGSM [93] のような技術は、これらの敵対的例を生成するために勾配ステップ計算を採用しています。DeepFool アルゴリズム [152] と JSMA 手法 [167] は、それぞれ必要な最小摂動の計算と順伝播微分の活用を通じて、効率的な敵対的例作成をさらに記述します。

3.2.3 FL における推論攻撃機械学習における推論攻撃は、モデルを利用して隠されたトレーニングデータを明らかにするか、機密属性を見極めることに依存しています。追求されている情報の種類に基づき、これらの攻撃はプロパティ推論攻撃とメンバーシップ推論攻撃に二分されます。プロパティ推論攻撃：これらの攻撃は、明白に利用可能なプロパティまたはデータ分布を利用して隠されたまたは断片的な属性を推測しようとするものです [141]。例として、推薦システムのパラダイムにおいて、悪意のあるエンティティは、頻繁な購入パターンや魅力的とマークされたアイテムなど、明白なモデル出力に基づいて、年齢、性別、さらにはより深い個人的ニュアンスなどの重要な属性を見極める可能性があります。メンバーシップ推論攻撃：ターゲットモデルとデータ例の並置に基づき、これらの攻撃はサンプルがモデルのトレーニングセットへの所属を特定しようとするものであり、それがトレーニング期間中に重要であったかどうかを調査します [206]。 FL は、クライアントがデータを保持し、特定のパラメータ（主に勾配）を集中型エンティティに配布して協調的なモデルトレーニングを行う分散学習のパラダイムです。その分散の仮面にもかかわらず、FL は本質的に悪意のある侵入に対して脆弱であり、特に悪意のあるシステム参加者からの侵入に対して脆弱です。これらの悪意あるエンティティは、クライアントまたはサーバーのいずれかとして具現化される可能性があります。

サーバーサイド敵対者：ローカルトレーニングモデルの詳細（モデルアーキテクチャ、クライアントID、勾配を含む）に精通した侵害されたサーバーは、隠されたクライアント属性を解読する能力を持ち、これはプロパティ推論攻撃の現れです [170]。このようなエンティティはまた、生成敵対ネットワーク（Generative Adversarial Networks: GANs）を使用してクライアント更新をリバースエンジニアリングし、元のトレーニングデータを再生成しようとする可能性があります [196,214]。

クライアントサイド敵対者：これらの悪行者は、特定のクライアントからの定期的な更新を利用して、複雑で機密性の高いクライアントデータを推測することができます [145]。敵対的景観には、継続的な偽のデータ注入の実行も含まれ、トレーニング体制を混乱させます。このような侵入は、俗にポイズニング攻撃と呼ばれるものであり、機密属性の予期せぬ開示をもたらす可能性があります [73,228]。

3.3 FL システムにおける防御のパラダイム：アプローチと分類 FL システムの複雑な景観において、悪意のある侵入は多様な姿で現れ、多様な防御メカニズムを必要とします。攻撃の潜在的な場所、すなわちデバイス上またはサーバー上で異なる防御戦略が指定されており、全体的なセキュリティ対策はシステム堅牢性に依存することがよくあります [137]。FL の脅威景観には、クライアントデバイス内または集中型サーバー内の潜在的な敵対者が含まれます。セキュリティを強化する顕著な戦略の一つは、特に侵害されたサーバーに対するものであり、分散アーキテクチャの原則と高度な暗号化手法を組み合わせたものです。より広い視点から、FL における防御メカニズムは、予防的（Proactive defenses：予防的防御）および反応的（Reactive defenses：反応的防御）の 2 つの主要なカテゴリに二分できます [154]。予防的防御：名称が示唆するように、予防的防御イニシアチブは潜在的な脅威ベクトルを予測し、予期される攻撃の実現を防ぐために事前に防御メカニズムを組織化して展開します。反応的防御：反応的防御メカニズムは反応的であり、攻撃検出の事後に前面に出て、軽減と修復に向かって機能します。

3.3.1 ポイズニング攻撃に対する対策 FL システムではトレーニングフェーズ中に多様なポイズニング攻撃が蔓延しており、専門的な対策の創生を促しています。この議論はこれらの防御メカニズムを記述し、特にデータおよびモデルポイズニング攻撃に対処します。既存の文献に基づき、これらの攻撃に対する典型的な防御を補完する分類は Table 2 に要約されています。

データポイズニング攻撃に対する防御戦略：データポイズニングに対する防御の中心は、トレーニングデータの信頼性と完全性という 2 つの重要な柱に依存しています [60]。信頼性はトレーニングデータの真正性を強調し、完全性はグローバルなデータ分布と規定されたフォーマットとの整合性を保証します。注目すべきは、防御措置がデータ中心的保護レンズから識別されることです。トレーニングデータのランダムサンプリング [16,65] や異常検知などの方法は有効性が示されています。しかし、マルチデバイス FL 環境では課題が残っており、特に誠実な計算ノードの選択においてです。ルールベース [252,254] からサンプリングベースのデータ選択 [252,255]、およびデータ精製 [28, 211, 221] に至る技術が対応策として浮上しています。AUROR フレームワークはユークリッド距離メトリクスを利用しており、汚染されたデータを特定して除去する方法の例を示しています [191]。しかしながら、これらの手法にも課題があり、パフォーマンスとセキュリティの最適なバランスの追求はまだ手つかずです [60]。

モデルポイズニング攻撃に対する防御戦略：モデルポイズニングに対処するため、重点は集約フェーズ中に悪意のあるエンティティまたは偽の更新を見極めることに移ります。ユークリッド距離を測定することなどの手法に代表されるモデル異常検知は、異常なモデルを隔離するための強力なツールとして浮上しています [8, 25, 40, 129, 139]。別の道筋は各デバイスの貢献を評価することです [56]。モデルの内在する堅牢性を強化することは、ポイズニングに対する別の盾を提供します。これは、モデルの剪断 [165, 249]、暗号化による強化 [22,140,195]、または完全性の保証のためのブロックチェーン技術（Blockchain technology：ブロックチェーン技術）[175] の統合など、数多くの戦略を通じて達成できます。汚染されたモデルの再トレーニングも効果的な対策として提案されています [198]。

3.3.2 敵対的攻撃に対する対策 FL において、敵対的攻撃の防御は、より多くのデータサンプル（例：敵対的トレーニング [226]、データ拡張または圧縮 [186]）を組み込むことでシステムの堅牢性を強化できます。さらに、異常検知（例：異常クライアント検出 [41]、敵対的例検出 [110]）によってシステムの防御能力を向上させることもできます。一般的に、防御手法は完全防御と検出のみの防御に分類されます [2]。一般的な防御技術の要約は Table 3 に利用可能です。

完全防御メカニズム：完全防御メカニズムは、トレーニングフェーズ中に正確な分類を確保することで敵対的例の影響を軽減することを目的としています。これらの対策には以下のような戦略が含まれます： – 継続的な警戒と反復モデル改良のための攻撃監視モジュールの導入 [198]。

3 FL のセキュリティとプライバシー（続） – ティーチャー・学生モデル構成を通じて敵対的サンプルを正確に分類するために知識蒸留（Knowledge Distillation：知識蒸留）を採用する [115,210,264]。 – データ拡張（Data Augmentation：データ拡張）技術を採用し、ノイズの付加などのフィルタを統合して敵対的入力によって引き起こされる不正確さを抑制する [63,110]。 – 拡散モデル（Diffusion Model：拡散モデル）を利用し、クリーンなデータが制御された汚染を受け、その後反復的なノイズ除去が行われることで、敵対的サンプルに対する二重プロセス防御を提供する [43, 211, 221, 234]。ただし、このアプローチは計算複雑性を伴い、トレーニング効率を損なう [161]。

信頼できる連合学習：プライバシー、セキュリティ、そしてその先 15 検出のみによる防御メカニズム（Detection-only Defense Mechanisms）：検出のみによる防御は、敵対的サンプルを特定することに優先順位をつけ、必ずしも修正するものではない。代表的な手法には以下が含まれる。 – データの擾乱（Data Disturbances：データの擾乱）を活用して敵対的入力を特定する [132]。 – 圧縮技術を利用し、圧縮前後のデータ変動を評価することで、敵対的な微妙な差異を見分ける [233]。 – システム内に外部検出器（External Detectors：外部検出器）を組み込み、敵対的エンティティを継続的に監視・検出する [147]。最新の防御メカニズムは、効率性と有効性の間の均衡に直面している。敵対的学習（Adversarial Training：敵対的学習）は有能ではあるが、計算コストが高く、すべての敵対的サンプルに対する包括的なカバーを保証するものではなく、その限界を露呈している [10, 46]。一方、ランダム化やノイズ除去のような一見単純な技術も、容易に展開できるにもかかわらず、一貫した防御の有効性を保証するものではない [207]。

3.3.3 推論攻撃に対する対策 FL システムの複雑さには、トレーニングデータ、モデル構成要素（アルゴリズムおよびパラメータ）、および結果出力を含む多様な機密情報を保護することが含まれる。これらの側面のいずれかにおける侵害は、システムの完全性を深刻に損なう可能性がある [106,262]。悪意のあるエンティティの潜在的な組み込みは、さらに情報搾取に対する脆弱性を強調する [154]。推論攻撃に対する主要な防御戦略の統合された概要を Table 4 に示す。その後、これらの防御のパラダイムの微妙な点について詳述する。

暗号化中心の技術：準同型暗号（Homomorphic Encryption：HE）や秘密共有（Secret Sharing：SS）などの不可欠な技術は、暗号化慣行の最前線に位置している。HE の強みは、計算プロセス全体を通じてプライバシーを確保しながら、暗号化データ上で直接演算を実行できる能力にある [53, 71]。一方、SS は、鍵の共有を複数のエンティティ間に分散させることを伴い、許可された連合によってのみ復号可能にする [18]。しかしながら、暗号化アルゴリズムの二重採用は、データの聖域性を高める一方で、FL システム内の計算および通信オーバーヘッドを無意識に増加させる可能性がある。本質的な課題は、効率的なトレーニングを維持しモデル精度を保証する間のバランスを取ることとして現れる [53, 138, 244]。エンコーダー・デコーダー（Encoder-Decoder：エンコーダー・デコーダー）アーキテクチャは、デバイスがデータ暗号化を実行しサーバーが復号を行うことを可能にすることで、潜在的な解決策を提供する [146]。

隠蔽中心の技術：差分プライバシー（Differential Privacy：DP）は依然として重要な技術であり、データまたは特定の特徴に意図的な隠蔽（Obfuscation：隠蔽）を追加し、第三者エンティティがデバイスから転送された情報から個々の生データを抽出できないようにする [6,81,227]。現在の隠蔽技術の多くは、ラプラスノイズやガウスノイズの付与を主としている [90,109,216]。トレーニングデータの拡張またはラベル情報の操作により、データの不明瞭さがさらに強化される [95, 130]。しかしながら、ジレンマは依然として存在する：過度なノイズの付与はモデル精度を低下させる可能性があり、一方、希少なノイズの追加は意図せずトレーニングデータを露出させる可能性がある [59,179]。

ハイブリッド技術：純粋な暗号化または隠蔽技術に内在する制約を考慮すると、安全な複数計算（Secure Multi-Party Computation：MPC）のようなハイブリッド手法が有望な代替手段として浮上している [169]。最新の MPC プロトコルは DP 技術と組み合わされ、データプライバシーの維持と通信オーバーヘッドの削減の両方を目的としている [70]。変調されたノイズ注入によりモデル精度がさらに洗練される [205]。

16 Chen and Liu et al. この物語が強調するように、防御メカニズムが存在するにもかかわらず、モデル精度と推論攻撃に対する堅牢な防御の間の最適なトレードオフを達成することは、FL の領域において依然として持続的な課題である。

4 FL の応用ユーザーおよび政策決定者は、FL システム内におけるデータセキュリティとプライバシーの重要性をますます認識している。これにより、プライバシー保護措置に関する研究が急増し、データアクセスはより厳密に審査されるようになっている。 FL がさまざまな業界で進化し採用され続けるにつれ、これらの応用に内在する潜在的な脆弱性とリスクを認識し、対処することが重要である。そうすることで、これらの特定の標的攻撃に耐えうる、より堅牢で安全な FL システムを設計できる。現在、FL は医療 [88,133,180]、IoT [159]、自動運転車 [135,242]、金融 [187]、無線技術 [150]、および推薦システム [260] など、さまざまな分野で応用されている。

4.1 医療医療において、FL は医療機関がローカルデータを使用してモデルを独立してトレーニングすることを可能にし、患者のプライバシーを確保する [99,156]。しかし、医療データの機密性の高い性質により、主要な脆弱性が生じる可能性がある。攻撃は学習プロセスを妨害したり、悪意のあるモデルを注入したり、機密性の高い患者情報を漏洩させたりする可能性がある [231]。DP や MPC などの技術はこれらのリスクを軽減するのに役立つが、プライバシーとモデルパフォーマンスのバランスを保ちながら慎重に組み込む必要がある [142]。

4.2 金融金融業界では、FL は機密データを開示せずに洞察を共有することを可能にし、プライバシーを維持する [187]。しかし、金融における FL もまた、不正な金銭的利益のためにコンセンサスモデルを操作したり、金融データの機密性を侵害したりすることを目指す敵対的攻撃に対する魅力的な標的である [13, 78]。堅牢な集約やビザンチン障害耐性などの技術はこれらの攻撃に対するレジリエンスの構築に役立つが、金融固有のシナリオに対してこれらの防御を最適化するためにはさらなる研究が必要である [23]。

4.3 無線通信無線通信技術における FL は、機械学習モデルを分散型でトレーニングすることによりデータプライバシーを維持することを目的としている [150]。しかし、この分散化は脆弱性をもたらす可能性もあり、攻撃者は不十分な通信チャネルを利用して機密情報を抽出したり、敵対的モデルを注入したりする可能性がある [36, 52]。さらに、ジャミング攻撃は、特に攻撃者がデータ伝送を妨害するためにジャミング信号を使用できる高密度ネットワーク環境において、無線通信ネットワークの安定性とセキュリティに深刻な脅威となる可能性があり、FL モデルトレーニングの有効性や予測精度が低下する [74]。安全な通信プロトコルや堅牢な FL アルゴリズムなどの解決策は重要であるが、無線環境で効果的かつ効率的になるようにこれらのソリューションを設計することには課題が残っている [128,162]。

4.4 スマート交通スマート交通における FL の応用は独自の課題を提示している [184]。例えば、攻撃者はデータの分散型の性質を標的にし、交通システムに関連するデータを侵害したり、コンセンサスモデルを操作して安全上の危険を引き起こしたりすることを目指す可能性がある。さらに、スマート交通システムのリアルタイム性とモバイル性は、防御に対して追加の制約を課す [34, 171]。オン・ザ・フライデータ暗号化やリアルタイム異常検知などの技術は、この分野における FL のセキュリティに役立つが、その有効性とシステムパフォーマンスへの影響についてはさらなる調査が必要である。

4.5 推薦システム推薦システムは、ユーザーデータを保護しながらパーソナライズされたレコメンデーションを可能にするため、FL から大きな恩恵を受ける [5, 220]。しかし、これらのシステムのパーソナライズされた性質は潜在的な脆弱性も生み出す [158]。攻撃者はモデル更新から機密性の高いユーザー情報を推論したり、レコメンデーションに影響を与えるために学習プロセスを操作したりする可能性がある。DP や HE などのプライバシー強化技術は保護を提供できるが、FL ベースの推薦システムにこれらの技術を効果的に統合する方法は継続的な研究トピックである [108,111,112]。

4.6 スマートシティスマートシティは、交通管理、環境モニタリング、ユーティリティサービスなどを包含しており、FL の新興な応用となっている。FL を使用することの利点は、プライバシーを維持しながら都市内のさまざまなセンサーやデバイスによって生成される膨大な量のデータを処理して学習できる能力にある [68, 83]。しかし、この相互接続性と異種性により、データ汚染やモデル反転攻撃などの標的型攻撃に対してシステムが暴露される可能性がある [3]。これらのセキュリティリスクを軽減するためには、データの完全性の確保、MPC プロトコルの強制、DP のようなプライバシー保護技術の統合が重要である。さらに、最近の研究では、ブロックチェーン技術を統合することでローカルモデル操作に対するシステムのレジリエンスを強化し、高度な攻撃から防御するための侵入検知システム（Intrusion Detection Systems：侵入検知システム）の機能を大幅に強化している [51]。

4.7 FL における生成 AI 生成 AI の台頭、特に Generative Adversarial Networks (GANs) は、FL システム内の防御メカニズムを強化する上で新たな可能性を提供する。GAN は設計上、データ汚染攻撃の特定と軽減において決定的な役割を果たすことができる。これは FL 環境に対する重大な脅威である [173]。例えば、GAN は汚染されたデータセットの特徴を模倣する合成データを生成するために使用でき、これにより FL モデルが悪意のある入力を効果的に認識して拒絶するようにトレーニングするのに役立つ [94]。GAN ベースの戦略を組み込むことで、研究者は進化する脅威から分散型学習プロセスを保護するために必要なセキュリティ対策を前進させることができる [248]。

5 オープン課題と将来の方向性連合学習（Federated Learning: FL）は、プライバシー保護を提供する分散型学習技術である。FL はデバイスが生データを共有せずにモデルをトレーニングすることを可能にするにもかかわらず、いくつかのセキュリティおよびプライバシーに関する懸念が残っている。本節では、FL システムにおけるさまざまな課題と将来の方向性を探る。

5.1 大規模モデルの信頼性とセキュリティ FL システムは、展開されるモデルのサイズと複雑さに関連する独自の課題に直面している。FL システムに関与するデバイスの数と容量は、大規模モデルの適用を制限する可能性がある [181]。計算リソースとデータ量が増加するにつれて、モデルはスケールアップし、トレーニングには多くの生データが必要となる傾向がある。その結果、モデルパラメータの数が増加し、構造がより複雑になる [240]。このような大規模モデルの例としては、テキストから画像への生成のための DALL·E [177] および DALL·E2 [176]、および自然言語処理（NLP）タスク用に設計された事前学習済み言語モデルである Bert [44]、GPT-3 [21]、XLNet [236] がある。1.75 トリオンパラメータを誇る WuDao モデル [239] は、機械学習問題の幅広い分野にわたってパフォーマンスを向上させるためにパラメータをスケールアップした例である [127]。大規模モデルはパフォーマンス上の利点を持つ一方で、より高い程度の脆弱性を導入する [29]。例えば、大規模データセットは悪意を持って導入された汚染データを隠蔽し、既存の防御手法は大規模モデルを扱う際にスケーラビリティの問題に直面する可能性がある [240]。さらに、これらのモデルは機密性の高い生データを無意識に保持する可能性が高く、FL システムに対して重大なプライバシーリスクをもたらす [27, 204]。推論攻撃（Inference Attack）やデータ再構築攻撃などの攻撃は、大規模モデルに対して深刻なプライバシーリスクを提示する [30, 125, 240]。

これらのリスクを踏まえると、FL システム内における大規模モデルのセキュリティおよびプライバシーへの影響を徹底的に理解することが不可欠である。さらに、現在の防御手法は、これらの大規模モデルに関連するリスクに対処するために批判的に評価され、さらに開発される必要がある。これらの防御手法を設計する際、重要な考慮事項はモデルの精度を維持することである。このバランスは、学習プロセスに差分プライバシー（Differential Privacy: DP）や準同型暗号（Homomorphic Encryption: HE）などのプライバシー保護メカニズムを組み込み、悪意のある更新の影響を制限するために堅牢な集約手法を採用し、モデルサイズと複雑さを削減しながらモデルの精度を維持するためにモデルプルーニングまたは圧縮戦略を採用することで達成できる。究極的に、私たちの目標は、FL システム内における大規模モデルのセキュリティおよびプライバシーに関する懸念に効果的に対処するが、その精度を損なわない防御戦略を考案することである。

5.2 動的適応型防御技術 FL フレームワークは、プライバシー、データセキュリティ、規制要件への準拠を保証しながら、複数の機関間で協調トレーニングを可能にする。これらのシステムには、インフラストラクチャフレームワーク、データの分散と保存、アルゴリズム、通信、および展開など、幅広い技術が含まれる。しかし、FL システム内でトレーニングデータをローカルに保存することは、データ漏洩や悪意のあるエンティティによる搾取の重大なリスクをもたらす。さらに、データの異種性は、そのような攻撃を識別することを困難にする可能性がある。また、クラスタやクラウドプラットフォームなどのシステム環境における脆弱性は、サービス拒否（Denial of Service: DoS）攻撃や不正アクセス [14] などのセキュリティ脅威に対して FL システムを暴露する可能性がある。

現在、FL システムに関連するリスクを定量的に評価するための信頼できる方法は存在しない。一部の静的防御措置が FL システムの保護に使用されているが、これらは変化する脅威の状況に対して効果性と適応性の欠如を示す傾向がある。したがって、動的適応型防御技術の使用を提案する。これらの技術は、システムステータスをリアルタイムで監視し、特定された脅威と特定のアプリケーションシナリオに基づいて防御を適応させるセキュリティ対策である。

動的適応型防御技術は、FL システムを進化する脅威に対してより堅牢にするのに役立つ可能性がある。例えば、従来のリスクモニタリング技術は、リアルタイムの脅威検出および適応的対応メカニズムを組み込むことで強化できる。このような動的適応型防御技術の適用には、FL システム内の各参加者からのモデル更新を監視し、外れ値更新など攻撃を示す可能性のある疑わしい活動が検出された場合にシステムの応答を動的に調整することが含まれる可能性がある。さらに、システムはアプリケーションの文脈に基づいて防御を適応させることができる。例えば、医療現場で使用される FL システムでは、より厳格なプライバシー制御が必要であり、処理されているデータの感度に応じてデータに加えられるノイズのレベルを動的に調整するために差分プライバシー（DP）などの技術を採用する可能性がある。要約すると、動的適応型防御技術は、FL システムに対するセキュリティ脅威に対してより柔軟かつ堅牢な防御を提供できるため、これらの技術の研究と開発は優先事項であるべきである。

5.3 軽量暗号化 FL は、機関が生データを共有する必要なくモデルを共同でトレーニングするための独自の枠組みを提供し、法的および規制要件への準拠を保証する。しかし、既存の FL アプローチもさまざまなセキュリティおよびプライバシーに関する懸念から免れない。悪意のある参加者は、トレーニング結果から機密情報を抽出する可能性があり、特定の標的に悪影響を及ぼす可能性がある。同様に、悪意のあるサーバーはクライアント更新からトレーニングデータを推論し、グローバルモデルの完全性を損なう可能性がある。

現在のソリューションは、差分プライバシー（DP）、安全な複数計算（Secure Multi-Party Computation: MPC）、または準同型暗号（HE）などの技術を組み込むことでプライバシーを強化することを目指している [59, 200, 216]。このうち、MPC はセキュリティを維持しながらモデルパフォーマンスを向上させる方法として受容されつつある [232]。さらに、ブロックチェーン技術の登場は、分散型で追跡可能かつ記録可能なソリューションを提供することで FL を補完している。これらの利点にもかかわらず、これらの措置はモデルの精度または効率を低下させる可能性がある。例えば、MPC はリソース集約的であり、参加者がデータ伝送コストを削減しトレーニング効果を向上させるためにセキュリティレベルを下げることを余儀なくさせる [38, 91]。この文脈において、「低損失」とは、暗号化技術を組み込む際に精度、再現率、および適合率などの要因を含むモデルパフォーマンスの減少を最小限に抑えることを指す。「高効率」とは、最小限のリソース使用で計算とデータ伝送を迅速に行う能力として定義される。これらの定義を考慮すると、モデルパフォーマンスの最小限の損失と高い計算および通信効率を保証する堅牢でプライバシー保護かつ軽量な技術が必要となる。このような技術を開発し実装することで、FL システムにおけるセキュリティ、プライバシー、パフォーマンスの間のより良いバランスを実現できる。

5.4 パフォーマンス効率 FL システムでは、セキュリティを強化しユーザーのプライバシーを維持するために暗号化技術が頻繁に使用される。しかしながら、これらの技術の固有の複雑さは、全体のシステム効率を損なう可能性がある。これは、暗号化技術が広範に使用されている多くのアプリケーションで観察され、計算時間または他のリソースの大幅な増加をもたらす。

この効果を緩和するためのいくつかの戦略が探索されており、例えばモデル圧縮技術 [257] の使用や通信コストの最小化 [79] などであり、システムセキュリティと計算効率の間で微妙なバランスを取ることを目指している。このトレードオフを例示するために、安全な通信のために高度な暗号化を採用する FL システムを考慮されたい。この方法はデータプライバシーを効果的に維持する一方で、大きな計算オーバーヘッドを伴い、結果として全体的なパフォーマンスが低下する。逆に、セキュリティは低いが計算上軽量な暗号化手法はシステムパフォーマンスを向上させる可能性があるが、セキュリティの低下という代償を払うことになる。セキュリティと効率のバランスを取るための定量的基準を設定することにおける課題は、両方に寄与する多数の要因に起因する。例えば、システムセキュリティは、暗号化の強度、データ匿名化技術、および攻撃に対する堅牢性などによって影響を受ける可能性がある。一方、計算効率は、データ量、モデルの複雑さ、ネットワーク帯域幅などの要因に依存する可能性がある。

この問題に対してすべてのサイズに適した解決策はないが、潜在的な戦略としては、システムの計算容量に基づいてセキュリティレベルを調整する適応型暗号化技術を開発するか、セキュリティと効率の指標の両方をバランスさせる多目的最適化アプローチを使用することが含まれる可能性がある。しかし、これらのアプローチのどちらも広範な研究と慎重な実装を必要とし、この課題の複雑さを浮き彫りにしている [67, 69]。

6 結論本論文では、FL システムにおけるセキュリティおよびプライバシーの現状について詳細な分析を提供し、これらのシステムの機能とアーキテクチャの中核を探索した。まず、FL システムとその従来の DML（分散機械学習）との違いを概説し、FL システムの典型的なアーキテクチャ層であるユーザーサービス、アルゴリズム、インフラストラクチャについてレビューする。次に、FL システムの各アーキテクチャ層が直面するセキュリティおよびプライバシー上の課題について議論し、潜在的な脅威として非悪意のある障害と悪意のある攻撃を特定するとともに、可能な攻撃手法の概要を示す。これらの脅威に対処するために、既存の防御メカニズムを分析し、堅牢なリスク管理フレームワークを構築することの重要性を強調する。このフレームワークは、評価、制御、監視フェーズを統合してシステム内の潜在的な脆弱性を予防的に特定・軽減し、全体的なシステムのレジリエンスを高めるものである。最後に、FL の多様な実用的応用について検討し、特に複数の業界にわたる利用と関連するセキュリティおよびプライバシー上の課題に焦点を当てる。これには、ヘルスケア、金融、無線通信、自律走行車、推薦システム、スマートシティインフラストラクチャにおける応用が含まれる。また、大規模モデルの信頼性とセキュリティ、動的適応型防御技術、システムの耐障害性、プライバシーとモデルパフォーマンスのバランスなど、将来の研究方向も特定した。

References References

Sawsan Abdulrahman, Hanine Tout, Hakima Ould-Slimane, Azzam Mourad, Chamseddine Talhi, and Mohsen Guizani. A survey on federated learning: The journey from centralized to distributed on-site learning and beyond. IEEE Internet of Things Journal, 8(7):5476–5497, 2021.

Trustworthy Federated Learning: Privacy, Security, and Beyond 21 2. Naveed Akhtar and Ajmal Mian. Threat of adversarial attacks on deep learning in computer vision: A survey. IEEE Access, 6:14410–14430, 2018. 3. Rasha Al-Huthaifi, Tianrui Li, Wei Huang, Jin Gu, and Chongshou Li. Federated learning in smart cities: Privacy and security survey. Information Sciences, 632:833–857, 2023. 4. Mohammed Aledhari, Rehma Razzak, Reza M Parizi, and Fahad Saeed. Federated learning: A survey on enabling technologies, protocols, and applications. IEEE Access, 8:140699–140725, 2020. 5. Muhammad Ammad-Ud-Din, Elena Ivannikova, Suleiman A Khan, Were Oyomno, Qiang Fu, Kuan Eeik Tan, and Adrian Flanagan. Federated collaborative filtering for privacy-preserving per- sonalized recommendation system. arXiv preprint arXiv:1901.09888, 2019. 6. Shahab Asoodeh, Jiachun Liao, Flavio P Calmon, Oliver Kosut, and Lalitha Sankar. Three variants of differential privacy: Lossless conversion and applications. IEEE Journal on Selected Areas in Informa- tion Theory, 2(1):208–222, 2021. 7. Sana Awan, Fengjun Li, Bo Luo, and Mei Liu. Poster: A reliable and accountable privacy-preserving federated learning framework using the blockchain. In ACM SIGSAC Conf. on Computer and Commu- nications Security, pages 2561–2563, 2019. 8. Sana Awan, Bo Luo, and Fengjun Li. Contra: Defending against poisoning attacks in federated learning. In European Symposium on Research in Computer Security, pages 455–475. Springer, 2021. 9. Eugene Bagdasaryan, Andreas Veit, Yiqing Hua, Deborah Estrin, and Vitaly Shmatikov. How to back- door federated learning. In Int. Conf. on Artificial Intelligence and Statistics, pages 2938–2948. PMLR, 2020. 10. Tao Bai, Jinqi Luo, Jun Zhao, Bihan Wen, and Qian Wang. Recent advances in adversarial training for adversarial robustness. arXiv preprint arXiv:2102.01356, 2021. 11. Baidu. Federated deep learning in paddlepaddle. https://github.com/PaddlePaddle/ PaddleFL. Online; accessed 16/02/2021. 12. Xianglin Bao, Cheng Su, Yan Xiong, Wenchao Huang, and Yifei Hu. Flchain: A blockchain for au- ditable federated learning with trust and incentive. In Int. Conf. on Big Data Computing and Commu- nications (BIGCOM), pages 151–159. IEEE, 2019. 13. Priyam Basu, Tiasa Singha Roy, Rakshit Naidu, and Zumrut Muftuoglu. Privacy enabled financial text classification using differential privacy and federated learning. arXiv preprint arXiv:2110.01643, 2021. 14. Daniel S Berman, Anna L Buczak, Jeffrey S Chavis, and Cherita L Corbett. A survey of deep learning methods for cyber security. Information, 10(4):122, 2019. 15. Arjun Nitin Bhagoji, Supriyo Chakraborty, Prateek Mittal, and Seraphin Calo. Analyzing federated learning through an adversarial lens. In Int. Conf. on Machine Learning, pages 634–643. PMLR, 2019. 16. Peva Blanchard, El Mahdi El Mhamdi, Rachid Guerraoui, and Julien Stainer. Machine learning with adversaries: Byzantine tolerant gradient descent. Neural Information Processing Systems (NIPS), 30, 2017. 17. Alberto Blanco-Justicia, Josep Domingo-Ferrer, Sergio Martínez, David Sánchez, Adrian Flanagan, and Kuan Eeik Tan. Achieving security and privacy in federated learning systems: Survey, research challenges and future directions. Engineering Applications of Artificial Intelligence, 106:104468, 2021. 18. Keith Bonawitz, Vladimir Ivanov, Ben Kreuter, Antonio Marcedone, H Brendan McMahan, Sarvar Patel, Daniel Ramage, Aaron Segal, and Karn Seth. Practical secure aggregation for privacy-preserving machine learning. In ACM SIGSAC Conf. on Computer and Communications Security, pages 1175– 1191, 2017. 19. Amine Boulemtafes, Abdelouahid Derhab, and Yacine Challal. A review of privacy-preserving tech- niques for deep learning. Neurocomputing, 384:21–45, 2020. 20. Antoine Boutet, Thomas Lebrun, Jan Aalmoes, and Adrien Baud. Mixnn: Protection of federated learning against inference attacks by mixing neural network layers. arXiv preprint arXiv:2109.12550, 2021. 21. Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few- shot learners. Advances in neural information processing systems, 33:1877–1901, 2020. 22. Lukas Burkhalter, Hidde Lycklama, Alexander Viand, Nicolas Küchler, and Anwar Hithnawi. Rofl: Attestable robustness for secure federated learning. arXiv preprint arXiv:2107.03311, 2021. 23. David Byrd and Antigoni Polychroniadou. Differentially private secure multi-party computation for federated learning in financial applications. In ACM Int. Conf. on AI in Finance (ICAIF), pages 1–9, 2020. 24. California State Legislature, USA. California consumer privacy act home page. https://www. caprivacy.org/. Online; accessed 14/02/2021. 25. Di Cao, Shan Chang, Zhijian Lin, Guohua Liu, and Donghong Sun. Understanding distributed poi- soning attack in federated learning. In IEEE Int. Conf. on Parallel and Distributed Systems (ICPADS), pages 233–239. IEEE, 2019.

22 Chen and Liu et al. 26. Nicholas Carlini, Matthew Jagielski, Nicolas Papernot, Andreas Terzis, Florian Tramer, and Chiyuan Zhang. The privacy onion effect: Memorization is relative. arXiv preprint arXiv:2206.10469, 2022. 27. Nicholas Carlini, Chang Liu, Úlfar Erlingsson, Jernej Kos, and Dawn Song. The secret sharer: Evalu- ating and testing unintended memorization in neural networks. In 28th USENIX Security Symposium (USENIX Security 19), pages 267–284, 2019. 28. Nicholas Carlini, Chang Liu, Jernej Kos, Úlfar Erlingsson, and Dawn Song. The secret sharer: Mea- suring unintended neural network memorization extracting secrets. arXiv preprint arXiv:1802.08232, 5, 2018. 29. Nicholas Carlini, Florian Tramer, Eric Wallace, Matthew Jagielski, Ariel Herbert-Voss, Katherine Lee, Adam Roberts, Tom Brown, Dawn Song, Ulfar Erlingsson, et al. Extracting training data from large language models. In USENIX Security Symposium, pages 2633–2650, 2021. 30. Tianshi Che, Ji Liu, Yang Zhou, Jiaxiang Ren, Jiwen Zhou, Victor S Sheng, Huaiyu Dai, and Dejing Dou. Federated learning of large language models with parameter-efficient prompt tuning and adaptive optimization. In Empirical Methods in Natural Language Processing (EMNLP), pages 1–18, 2023. 31. Tianshi Che, Zijie Zhang, Yang Zhou, Xin Zhao, Ji Liu, Zhe Jiang, Da Yan, Ruoming Jin, and Dejing Dou. Federated fingerprint learning with heterogeneous architectures. In 2022 IEEE international conference on data mining (ICDM), pages 31–40. IEEE, 2022. 32. Tianshi Che, Yang Zhou, Zijie Zhang, Lingjuan Lyu, Ji Liu, Da Yan, Dejing Dou, and Jun Huan. Fast federated machine unlearning with nonlinear functional theory. In International conference on machine learning, pages 4241–4268. PMLR, 2023. 33. Bryant Chen, Wilka Carvalho, Nathalie Baracaldo, Heiko Ludwig, Benjamin Edwards, Taesung Lee, Ian Molloy, and Biplav Srivastava. Detecting backdoor attacks on deep neural networks by activation clustering. arXiv preprint arXiv:1811.03728, 2018. 34. Jin-Hua Chen, Min-Rong Chen, Guo-Qiang Zeng, and Jia-Si Weng. Bdfl: A byzantine-fault-tolerance decentralized federated learning method for autonomous vehicle. IEEE Transactions on Vehicular Technology, 70(9):8639–8652, 2021. 35. Lingjiao Chen, Hongyi Wang, Zachary Charles, and Dimitris Papailiopoulos. Draco: Byzantine- resilient distributed training via redundant gradients. In Int. Conf. on Machine Learning, pages 903– 912. PMLR, 2018. 36. Mingzhe Chen, Deniz Gündüz, Kaibin Huang, Walid Saad, Mehdi Bennis, Aneta Vulgarakis Feljan, and H. Vincent Poor. Distributed learning in wireless networks: Recent progress and future challenges. IEEE Journal on Selected Areas in Communications (J-SAC), 39(12):3579–3605, 2021. 37. Pin-Yu Chen, Huan Zhang, Yash Sharma, Jinfeng Yi, and Cho-Jui Hsieh. Zoo: Zeroth order opti- mization based black-box attacks to deep neural networks without training substitute models. In ACM workshop on artificial intelligence and security, pages 15–26, 2017. 38. Yang Chen, Xiaoyan Sun, and Yaochu Jin. Communication-efficient federated deep learning with layerwise asynchronous model update and temporally weighted aggregation. IEEE Transactions on Neural Networks and Learning Systems (TNNLS), 31(10):4229–4238, 2020. 39. Yu Chen, Fang Luo, Tong Li, Tao Xiang, Zheli Liu, and Jin Li. A training-integrity privacy-preserving federated learning scheme with trusted execution environment. Information Sciences, 522:69–79, 2020. 40. Zheng Chen, Chung-Hsuan Hu, and Erik G. Larsson. Anomaly-aware federated learning with hetero- geneous data. IEEE Int. Conf. on Autonomous Systems (ICAS), pages 1–5, 2021. 41. Zheyi Chen, Pu Tian, Weixian Liao, and Wei Yu. Zero knowledge clustering based adversarial miti- gation in heterogeneous federated learning. IEEE Transactions on Network Science and Engineering (TNSE), 8(2):1070–1083, 2021. 42. Te-Chuan Chiu, Yuan-Yao Shih, Ai-Chun Pang, Chieh-Sheng Wang, Wei Weng, and Chun-Ting Chou. Semisupervised distributed learning with non-iid data for aiot service platform. IEEE Internet of Things Journal, 7(10):9266–9277, 2020. 43. Jooyoung Choi, Jungbeom Lee, Chaehun Shin, Sungwon Kim, Hyunwoo Kim, and Sungroh Yoon. Perception prioritized training of diffusion models. In IEEE/CVF Conf. on Computer Vision and Pattern Recognition, pages 11472–11481, 2022. 44. Kevin Clark, Minh-Thang Luong, Quoc V Le, and Christopher D Manning. Electra: Pre-training text encoders as discriminators rather than generators. arXiv preprint arXiv:2003.10555, 2020. 45. Shane Cook. CUDA programming: a developer’s guide to parallel computing with GPUs. Newnes, 2012. 46. Flávio Luis de Mello. A survey on machine learning adversarial attacks. Journal of Information Security and Cryptography (Enigma), 7(1):1–7, 2020. 47. Daniel CM De Oliveira, Ji Liu, and Esther Pacitti. Data-intensive workflow management: for clouds and data-intensive and scalable computing environments. Synthesis Lectures on Data Management, 14(4):1–179, 2019.

Trustworthy Federated Learning: Privacy, Security, and Beyond 23 48. Daxiang Dong, Ji Liu, Xi Wang, Weibao Gong, An Qin, Xingjian Li, Dianhai Yu, Patrick Valduriez, and Dejing Dou. Elastic deep learning using knowledge distillation with heterogeneous computing resources. In European Conference on Parallel Processing workshop, European Conference on Parallel Processing workshop, pages 116–128, 2022. 49. Jiawei Du, Hu Zhang, Joey Tianyi Zhou, Yi Yang, and Jiashi Feng. Query-efficient meta attack to deep neural networks. arXiv preprint arXiv:1906.02398, 2019. 50. Moming Duan, Duo Liu, Xianzhang Chen, Renping Liu, Yujuan Tan, and Liang Liang. Self-balancing federated learning with global imbalanced data in mobile systems. IEEE Transactions on Parallel and Distributed Systems (TPDS), 32(1):59–71, 2021. 51. Zakaria Abou El Houda, Hajar Moudoud, Bouziane Brik, and Lyes Khoukhi. Securing federated learn- ing through blockchain and explainable ai for robust intrusion detection in iot networks. In IEEE IN- FOCOM 2023 - IEEE Conference on Computer Communications Workshops (INFOCOM WKSHPS), pages 1–6, 2023. 52. Anis Elgabli, Jihong Park, Chaouki Ben Issaid, and Mehdi Bennis. Harnessing wireless chan- nels for scalable and privacy-preserving federated learning. IEEE Transactions on Communications, 69(8):5194–5208, 2021. 53. Haokun Fang and Quan Qian. Privacy preserving machine learning with homomorphic encryption and federated learning. Future Internet, 13(4):94, 2021. 54. Minghong Fang, Xiaoyu Cao, Jinyuan Jia, and Neil Gong. Local model poisoning attacks to {Byzantine-Robust} federated learning. In USENIX Security Symposium, pages 1605–1622, 2020. 55. Clement Fung, Chris JM Yoon, and Ivan Beschastnikh. Mitigating sybils in federated learning poison- ing. arXiv preprint arXiv:1808.04866, 2018. 56. Clement Fung, Chris JM Yoon, and Ivan Beschastnikh. The limitations of federated learning in sybil settings. In Int. Symposium on Research in Attacks, Intrusions and Defenses (RAID), pages 301–316, 2020. 57. Edoardo Gabrielli, Giovanni Pica, and Gabriele Tolomei. A survey on decentralized federated learning. arXiv preprint arXiv:2308.04604, 2023. 58. B. M. Gaff, H. E. Sussman, and J. Geetter. Privacy and big data. Computer, 47(6):7–9, 2014. 59. Robin C Geyer, Tassilo Klein, and Moin Nabi. Differentially private federated learning: A client level perspective. arXiv preprint arXiv:1712.07557, 2017. 60. Antonious M. Girgis, Deepesh Data, Suhas Diggavi, Peter Kairouz, and Ananda Theertha Suresh. Shuf- fled model of federated learning: Privacy, accuracy and communication trade-offs. IEEE Journal on Selected Areas in Information Theory (J-SAIT), 2(1):464–478, 2021. 61. Ian J Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572, 2014. 62. Google. Tensorflow federated: Machine learning on decentralized data. https://www. tensorflow.org/federated. Online; accessed 16/02/2021. 63. Sven Gowal, Sylvestre-Alvise Rebuffi, Olivia Wiles, Florian Stimberg, Dan Andrei Calian, and Tim- othy A Mann. Improving robustness using generated data. Neural Information Processing Systems (NIPS), 34:4218–4233, 2021. 64. Tianyu Gu, Brendan Dolan-Gavitt, and Siddharth Garg. Badnets: Identifying vulnerabilities in the machine learning model supply chain. arXiv preprint arXiv:1708.06733, 2017. 65. Rachid Guerraoui, Sébastien Rouault, et al. The hidden vulnerability of distributed learning in byzan- tium. In Int. Conf. on Machine Learning, pages 3521–3530. PMLR, 2018. 66. Trung Ha, Tran Khanh Dang, Tran Tri Dang, Tuan Anh Truong, and Manh Tuan Nguyen. Differen- tial privacy in deep learning: an overview. In Int. Conf. on Advanced Computing and Applications (ACOMP), pages 97–102. IEEE, 2019. 67. Rui Han, Dong Li, Junyan Ouyang, Chi Harold Liu, Guoren Wang, Dapeng Wu, and Lydia Y. Chen. Ac- curate differentially private deep learning on the edge. IEEE Transactions on Parallel and Distributed Systems (TPDS), 32(9):2231–2247, 2021. 68. Mohammed El Hanjri, Hibatallah Kabbaj, Abdellatif Kobbane, and Amine Abouaomar. Federated learning for water consumption forecasting in smart cities, 2023. 69. Meng Hao, Hongwei Li, Xizhao Luo, Guowen Xu, Haomiao Yang, and Sen Liu. Efficient and privacy- enhanced federated learning for industrial artificial intelligence. IEEE Transactions on Industrial In- formatics, 16(10):6532–6542, 2020. 70. Meng Hao, Hongwei Li, Guowen Xu, Sen Liu, and Haomiao Yang. Towards efficient and privacy- preserving federated deep learning. In IEEE int. conf. on communications (ICC), pages 1–6. IEEE, 2019. 71. Stephen Hardy, Wilko Henecka, Hamish Ivey-Law, Richard Nock, Giorgio Patrini, Guillaume Smith, and Brian Thorne. Private federated learning on vertically partitioned data via entity resolution and additively homomorphic encryption. arXiv preprint arXiv:1711.10677, 2017.

24 Chen and Liu et al. 72. Chaoyang He, Songze Li, Jinhyun So, Xiao Zeng, Mi Zhang, Hongyi Wang, Xiaoyang Wang, Praneeth Vepakomma, Abhishek Singh, Hang Qiu, et al. Fedml: A research library and benchmark for federated machine learning. arXiv preprint arXiv:2007.13518, 2020. 73. Briland Hitaj, Giuseppe Ateniese, and Fernando Perez-Cruz. Deep models under the gan: information leakage from collaborative deep learning. In ACM SIGSAC Conf. on computer and communications security, pages 603–618, 2017. 74. Zakaria Abou El Houda, Hajar Moudoud, and Bouziane Brik. Federated deep reinforcement learn- ing for efficient jamming attack mitigation in o-ran. IEEE Transactions on Vehicular Technology, 73(7):9334–9343, 2024. 75. Qian Huang, Isay Katsman, Horace He, Zeqi Gu, Serge Belongie, and Ser-Nam Lim. Enhancing ad- versarial example transferability with an intermediate level attack. In IEEE/CVF int. conf. on computer vision (ICCV), pages 4733–4742, 2019. 76. Tyler Hunt, Zhiting Zhu, Yuanzhong Xu, Simon Peter, and Emmett Witchel. Ryoan: A distributed sandbox for untrusted computation on secret data. ACM Transactions on Computer Systems (TOCS), 35(4):1–32, 2018. 77. IEEE. Ieee approved draft guide for architectural framework and application of federated machine learning. https://ieeexplore.ieee.org/document/9154804, July 2020. 78. Ahmed Imteaj and M Hadi Amini. Leveraging asynchronous federated learning to predict customers financial distress. Intelligent Systems with Applications, 14:200064, 2022. 79. Tayyebeh Jahani-Nezhad, Mohammad Ali Maddah-Ali, Songze Li, and Giuseppe Caire. Swiftagg: Communication-efficient and dropout-resistant secure aggregation for federated learning with worst- case security guarantees. arXiv preprint arXiv:2202.04169, 2022. 80. Eunjeong Jeong, Seungeun Oh, Hyesung Kim, Jihong Park, Mehdi Bennis, and Seong-Lyun Kim. Communication-efficient on-device machine learning: Federated distillation and augmentation under non-iid private data. arXiv preprint arXiv:1811.11479, 2018. 81. Jinyuan Jia, Ahmed Salem, Michael Backes, Yang Zhang, and Neil Zhenqiang Gong. Memguard: Defending against black-box membership inference attacks via adversarial examples. In ACM SIGSAC Conf. on computer and communications security, pages 259–274, 2019. 82. Juncheng Jia, Ji Liu, Chendi Zhou, Hao Tian, Mianxiong Dong, and Dejing Dou. Efficient asyn- chronous federated learning with sparsification and quantization. Concurrency and Computation: Prac- tice and Experience, 36(9):e8002, 2024. 83. Ji Chu Jiang, Burak Kantarci, Sema Oktug, and Tolga Soyata. Federated learning in smart city sensing: Challenges and opportunities. Sensors, 20(21):6230, 2020. 84. Jiayin Jin, Jiaxiang Ren, Yang Zhou, Lingjuan Lv, Ji Liu, and Dejing Dou. Accelerated federated learning with decoupled adaptive optimization. In Int. Conf. on Machine Learning (ICML), volume 162, pages 10298–10322, 2022. 85. Yilun Jin, Xiguang Wei, Yang Liu, and Qiang Yang. Towards utilizing unlabeled data in federated learning: A survey and prospective. arXiv preprint arXiv:2002.11545, 2020. 86. Norman P Jouppi, Cliff Young, Nishant Patil, David Patterson, Gaurav Agrawal, Raminder Bajwa, Sarah Bates, Suresh Bhatia, Nan Boden, Al Borchers, et al. In-datacenter performance analysis of a tensor processing unit. In Int. Symposium on Computer Architecture (ISCA), pages 1–12, 2017. 87. Peter Kairouz, H Brendan McMahan, Brendan Avent, Aurélien Bellet, Mehdi Bennis, Arjun Nitin Bhagoji, Kallista Bonawitz, Zachary Charles, Graham Cormode, Rachel Cummings, et al. Advances and open problems in federated learning. Foundations and Trends in Machine Learning, 14(1-2):1–210, 2021. 88. Georgios A Kaissis, Marcus R Makowski, Daniel Rückert, and Rickmer F Braren. Secure, privacy- preserving and federated machine learning in medical imaging. Nature Machine Intelligence, 2(6):305– 311, 2020. 89. Aditya Pribadi Kalapaaking, Ibrahim Khalil, Mohammad Saidur Rahman, Mohammed Atiquzzaman, Xun Yi, and Mahathir Almashor. Blockchain-based federated learning with secure aggregation in trusted execution environment for internet-of-things. IEEE Transactions on Industrial Informatics, 2022. 90. Sanjay Kariyappa and Moinuddin K Qureshi. Gradient inversion attack: Leaking private labels in two- party split learning. arXiv preprint arXiv:2112.01299, 2021. 91. Jakub Koneˇcn`y, H Brendan McMahan, Felix X Yu, Peter Richtárik, Ananda Theertha Suresh, and Dave Bacon. Federated learning: Strategies for improving communication efficiency. arXiv preprint arXiv:1610.05492, 2016. 92. Viraj Kulkarni, Milind Kulkarni, and Aniruddha Pant. Survey of personalization techniques for feder- ated learning. In World Conf. on Smart Trends in Systems, Security and Sustainability (WorldS4), pages 794–797. IEEE, 2020.

Trustworthy Federated Learning: Privacy, Security, and Beyond 25 93. Alexey Kurakin, Ian Goodfellow, and Samy Bengio. Adversarial examples in the physical world. Learn- ing, 2016. 94. Pranpaveen Laykaviriyakul and Ekachai Phaisangittisagul. Collaborative defense-gan for protecting adversarial attacks on classification system. Expert Systems with Applications, 214:118957, 2023. 95. Hongkyu Lee, Jeehyeong Kim, Seyoung Ahn, Rasheed Hussain, Sunghyun Cho, and Junggab Son. Digestive neural networks: A novel defense strategy against inference attacks in federated learning. computers & security, 109:102378, 2021. 96. Anran Li, Lan Zhang, Junhao Wang, Feng Han, and Xiang-Yang Li. Privacy-preserving efficient federated-learning model debugging. IEEE Transactions on Parallel and Distributed Systems (TPDS), 33(10):2291–2303, 2022. 97. Dun Li, Dezhi Han, Tien-Hsiung Weng, Zibin Zheng, Hongzhi Li, Han Liu, Arcangelo Castiglione, and Kuan-Ching Li. Blockchain for federated learning toward secure distributed machine learning systems: a systemic survey. Soft Computing, 26(9):4423–4440, 2022. 98. Guanghao Li, Yue Hu, Miao Zhang, Ji Liu, Quanjun Yin, Yong Peng, and Dejing Dou. Fedhisyn: A hierarchical synchronous federated learning framework for resource and data heterogeneity. In Int. Conf. on Parallel Processing (ICPP), pages 1–10, 2022. To appear. 99. Jiachun Li, Yan Meng, Lichuan Ma, Suguo Du, Haojin Zhu, Qingqi Pei, and Xuemin Shen. A fed- erated learning based privacy-preserving smart healthcare system. IEEE Transactions on Industrial Informatics, 18(3):2021–2031, 2022. 100. Qinbin Li, Zeyi Wen, and Bingsheng He. Federated learning systems: Vision, hype and reality for data privacy and protection. arXiv preprint arXiv:1907.09693, 2019. 101. Qinbin Li, Zeyi Wen, Zhaomin Wu, Sixu Hu, Naibo Wang, Yuan Li, Xu Liu, and Bingsheng He. A survey on federated learning systems: Vision, hype and reality for data privacy and protection. IEEE Transactions on Knowledge and Data Engineering, 2021. 102. Tian Li, Anit Kumar Sahu, Ameet Talwalkar, and Virginia Smith. Federated learning: Challenges, methods, and future directions. IEEE Signal Processing Magazine, 37(3):50–60, 2020. 103. Tian Li, Anit Kumar Sahu, Manzil Zaheer, Maziar Sanjabi, Ameet Talwalkar, and Virginia Smith. Fed- erated optimization in heterogeneous networks. In Machine Learning and Systems (MLSys), volume 2, pages 429–450, 2020. 104. Yuchen Li, Yifan Bao, Liyao Xiang, Junhan Liu, Cen Chen, Li Wang, and Xinbing Wang. Privacy threats analysis to secure federated learning. arXiv preprint arXiv:2106.13076, 2021. 105. Zengpeng Li, Vishal Sharma, and Saraju P. Mohanty. Preserving data privacy via federated learning: Challenges and solutions. IEEE Consumer Electronics Magazine, 9(3):8–16, 2020. 106. Zhaorui Li, Zhicong Huang, Chaochao Chen, and Cheng Hong. Quantification of the leakage in feder- ated learning. arXiv preprint arXiv:1910.05467, 2019. 107. Xiangru Lian, Ce Zhang, Huan Zhang, Cho-Jui Hsieh, Wei Zhang, and Ji Liu. Can decentralized al- gorithms outperform centralized algorithms? a case study for decentralized parallel stochastic gradient descent. Neural Information Processing Systems (NIPS), 30, 2017. 108. Feng Liang, Weike Pan, and Zhong Ming. Fedrec++: Lossless federated recommendation with explicit feedback. In AAAI conf. on artificial intelligence, pages 4224–4231, 2021. 109. Zhicong Liang, Bao Wang, Quanquan Gu, Stanley Osher, and Yuan Yao. Differentially private federated learning with laplacian smoothing. arXiv preprint arXiv:2005.00218, 2020. 110. Fangzhou Liao, Ming Liang, Yinpeng Dong, Tianyu Pang, Xiaolin Hu, and Jun Zhu. Defense against adversarial attacks using high-level representation guided denoiser. In IEEE Conf. on computer vision and pattern recognition, pages 1778–1787, 2018. 111. Guanyu Lin, Feng Liang, Weike Pan, and Zhong Ming. Fedrec: Federated recommendation with ex- plicit feedback. IEEE Intelligent Systems, 36(5):21–30, 2020. 112. Yujie Lin, Pengjie Ren, Zhumin Chen, Zhaochun Ren, Dongxiao Yu, Jun Ma, Maarten de Rijke, and Xiuzhen Cheng. Meta matrix factorization for federated rating predictions. In ACM SIGIR Conf. on Research and Development in Information Retrieval, pages 981–990, 2020. 113. Ji Liu, Tianshi Che, Yang Zhou, Ruoming Jin, Huaiyu Dai, Dejing Dou, and Patrick Valduriez. Aedfl: efficient asynchronous decentralized federated learning with heterogeneous devices. In SIAM Int. Conf. on Data Mining (SDM), pages 833–841. SIAM, 2024. 114. Ji Liu, Chunlu Chen, Yu Li, Lin Sun, Yulun Song, Jingbo Zhou, Bo Jing, and Dejing Dou. Enhanc- ing trust and privacy in distributed networks: a comprehensive survey on blockchain-based federated learning. Knowledge and Information Systems, pages 1–27, 2024. 115. Ji Liu, Daxiang Dong, Xi Wang, An Qin, Xingjian Li, Patrick Valduriez, Dejing Dou, and Dianhai Yu. Large-scale knowledge distillation with elastic heterogeneous computing resources. Concurrency and

References (cont.) Computation: Practice and Experience, pages 1–16, 2022. 116. Ji Liu, Daxiang Dong, Xi Wang, An Qin, Xingjian Li, Patrick Valduriez, Dejing Dou, and Dianhai Yu. Large-scale knowledge distillation with elastic heterogeneous computing resources. Concurrency and Computation: Practice and Experience, 35(26):e7272, 2023.

26 Chen and Liu et al. 117. Ji Liu, Jizhou Huang, Yang Zhou, Xuhong Li, Shilei Ji, Haoyi Xiong, and Dejing Dou. From distributed machine learning to federated learning: a survey. Knowledge and Information Systems, 64(4):885–917, 2022. 118. Ji Liu, Juncheng Jia, Tianshi Che, Chao Huo, Jiaxiang Ren, Yang Zhou, Huaiyu Dai, and Dejing Dou. Fedasmu: Efficient asynchronous federated learning with dynamic staleness-aware model update. In AAAI Conf. on Artificial Intelligence, volume 38, pages 13900–13908, 2024. 119. Ji Liu, Juncheng Jia, Beichen Ma, Chendi Zhou, Jingbo Zhou, Yang Zhou, Huaiyu Dai, and Dejing Dou. Multi-job intelligent scheduling with cross-device federated learning. IEEE Transactions on Parallel and Distributed Systems (TPDS), 2022. 120. Ji Liu, Juncheng Jia, Beichen Ma, Chendi Zhou, Jingbo Zhou, Yang Zhou, Huaiyu Dai, and Dejing Dou. Multi-job intelligent scheduling with cross-device federated learning. IEEE Transactions on Parallel and Distributed Systems, 34(2):535–551, 2022. 121. Ji Liu, Juncheng Jia, Hong Zhang, Yuhui Yun, Leye Wang, Yang Zhou, Huaiyu Dai, and Dejing Dou. Efficient federated learning using dynamic update and adaptive pruning with momentum on shared server data. ACM Transactions on Intelligent Systems and Technology (TIST), 2024. 122. Ji Liu, Esther Pacitti, Patrick Valduriez, Daniel De Oliveira, and Marta Mattoso. Multi-objective scheduling of scientific workflows in multisite clouds. Future Generation Computer Systems, 63:76–95, 2016. 123. Ji Liu, Esther Pacitti, Patrick Valduriez, and Marta Mattoso. A survey of data-intensive scientific work- flow management. Journal of Grid Computing, 13(4):457–493, 2015. 124. Ji Liu, Luis Pineda, Esther Pacitti, Alexandru Costan, Patrick Valduriez, Gabriel Antoniu, and Marta Mattoso. Efficient scheduling of scientific workflows using hot metadata in a multisite cloud. IEEE Transactions on Knowledge and Data Engineering (TKDE), 31(10):1940–1953, 2018. 125. Ji Liu, Jiaxiang Ren, Ruoming Jin, Zijie Zhang, Yang Zhou, Patrick Valduriez, and Dejing Dou. Fisher information-based efficient curriculum federated learning with large language models. In Empirical Methods in Natural Language Processing (EMNLP), pages 1–27, 2024. 126. Ji Liu, Xuehai Zhou, Lei Mo, Shilei Ji, Yuan Liao, Zheng Li, Qin Gu, and Dejing Dou. Distributed and deep vertical federated learning with big data. Concurrency and Computation: Practice and Experi- ence, 35(21):e7697, 2023. 127. Qinghua Liu and Yuxiang Jiang. Dive into big model training. arXiv preprint arXiv:2207.11912, 2022. 128. Shengheng Liu, Chong Zheng, Yongming Huang, and Tony Q. S. Quek. Distributed reinforcement learning for privacy-preserving dynamic edge caching. IEEE Journal on Selected Areas in Communi- cations (J-SAC), 40(3):749–760, 2022. 129. Xiaoyuan Liu, Hongwei Li, Guowen Xu, Zongqi Chen, Xiaoming Huang, and Rongxing Lu. Privacy- enhanced federated learning against poisoning adversaries. IEEE Transactions on Information Foren- sics and Security, 16:4574–4588, 2021. 130. Yang Liu, Zhihao Yi, Yan Kang, Yuanqin He, Wenhan Liu, Tianyuan Zou, and Qiang Yang. Defending label inference and backdoor attacks in vertical federated learning. arXiv preprint arXiv:2112.05409, 2021. 131. Sin Kit Lo, Qinghua Lu, Chen Wang, Hye-Young Paik, and Liming Zhu. A systematic literature review on federated machine learning: From a software engineering perspective. ACM Computing Surveys (CSUR), 54(5):1–39, 2021. 132. Jiajun Lu, Theerasit Issaranon, and David Forsyth. Safetynet: Detecting and rejecting adversarial ex- amples robustly. In IEEE/CVF Int. Conf. on Computer Vision (ICCV), pages 446–454, 2017. 133. Songtao Lu, Yawen Zhang, and Yunlong Wang. Decentralized federated learning for electronic health records. In Annual Conference on Information Sciences and Systems (CISS), pages 1–5. IEEE, 2020. 134. Yucheng Lu and Christopher De Sa. Optimal complexity in decentralized training. In int. conf. on Machine Learning, pages 7111–7123. PMLR, 2021. 135. Yunlong Lu, Xiaohong Huang, Ke Zhang, Sabita Maharjan, and Yan Zhang. Blockchain empowered asynchronous federated learning for secure data sharing in internet of vehicles. IEEE Transactions on Vehicular Technology, 69(4):4298–4311, 2020. 136. Lingjuan Lyu, Han Yu, and Qiang Yang. Threats to federated learning: A survey. arXiv: Cryptography and Security, 2020. 137. Chuan Ma, Jun Li, Ming Ding, Howard H. Yang, Feng Shu, Tony Q. S. Quek, and H. Vincent Poor. On safeguarding privacy and security in the framework of federated learning. IEEE Network, 34(4):242– 248, 2020. 138. Jing Ma, Si-Ahmed Naas, Stephan Sigg, and Xixiang Lyu. Privacy-preserving federated learning based on multi-key homomorphic encryption. Int. Journal of Intelligent Systems, 2022. 139. Zhuoran Ma, Jianfeng Ma, Yinbin Miao, Yingjiu Li, and Robert H. Deng. Shieldfl: Mitigating model poisoning attacks in privacy-preserving federated learning. IEEE Transactions on Information Foren- sics and Security, 17:1639–1654, 2022.

Trustworthy Federated Learning: Privacy, Security, and Beyond 27 140. Zhuoran Ma, Jianfeng Ma, Yinbin Miao, Ximeng Liu, Kim-Kwang Raymond Choo, and Robert Deng. Pocket diagnosis: Secure federated learning against poisoning attack in the cloud. IEEE Transactions on Services Computing, 2021. 141. Mohammad Malekzadeh, Anastasia Borovykh, and Deniz Gündüz. Honest-but-curious nets: Sensitive attributes of private inputs can be secretly coded into the classifiers’ outputs. In ACM SIGSAC Conf. on Computer and Communications Security, pages 825–844, 2021. 142. Mohammad Malekzadeh, Burak Hasircioglu, Nitish Mital, Kunal Katarya, Mehmet Emre Ozfatura, and Deniz Gunduz. Dopamine: Differentially private federated learning on medical data. arXiv: Learning, 2021. 143. MatrixElements. Rosetta. https://github.com/LatticeX-Foundation/Rosetta. On- line; accessed 30/07/2021. 144. Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson, and Blaise Aguera y Arcas. Communication-efficient learning of deep networks from decentralized data. In Int. Conf. on Artifi- cial Intelligence and Statistics (AISTATS), pages 1273–1282, 2017. 145. Luca Melis, Congzheng Song, Emiliano De Cristofaro, and Vitaly Shmatikov. Exploiting unintended feature leakage in collaborative learning. In IEEE symposium on security and privacy, pages 691–706. IEEE, 2019. 146. Dan Meng, Hongyu Li, Fan Zhu, and Xiaolin Li. Fedmonn: Meta operation neural network for secure federated aggregation. In IEEE Int. Conf. on High Performance Computing and Communications; IEEE Int. Conf. on Smart City; IEEE Int. Conf. on Data Science and Systems (HPCC/SmartCity/DSS), pages 579–584, 2020. 147. Dongyu Meng and Hao Chen. Magnet: a two-pronged defense against adversarial examples. In ACM SIGSAC Conf. on computer and communications security, pages 135–147, 2017. 148. Laurent Meunier, Jamal Atif, and Olivier Teytaud. Yet another but more efficient black-box adversarial attack: tiling and evolution strategies. arXiv preprint arXiv:1910.02244, 2019. 149. Fan Mo, Hamed Haddadi, Kleomenis Katevas, Eduard Marin, Diego Perino, and Nicolas Kourtellis. Ppfl: privacy-preserving federated learning with trusted execution environments. In Annual Interna- tional Conference on Mobile Systems, Applications, and Services, pages 94–108, 2021. 150. Mohamed Seif Eldin Mohamed, Wei-Ting Chang, and Ravi Tandon. Privacy amplification for federated learning via user sampling and wireless aggregation. IEEE Journal on Selected Areas in Communica- tions (J-SAC), 39(12):3821–3835, 2021. 151. Arup Mondal, Yash More, Ruthu Hulikal Rooparaghunath, and Debayan Gupta. Poster: Flatee: Fed- erated learning across trusted execution environments. In IEEE European Symposium on Security and Privacy (EuroSP), pages 707–709, 2021. 152. Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi, and Pascal Frossard. Deepfool: a simple and ac- curate method to fool deep neural networks. In IEEE conf. on computer vision and pattern recognition, pages 2574–2582, 2016. 153. Shiho Moriai. Privacy-preserving deep learning via additively homomorphic encryption. In IEEE Symposium on Computer Arithmetic (ARITH), pages 198–198. IEEE, 2019. 154. Viraaji Mothukuri, Reza M Parizi, Seyedamin Pouriyeh, Yan Huang, Ali Dehghantanha, and Gautam Srivastava. A survey on security and privacy of federated learning. Future Generation Computer Systems, 115:619–640, 2021. 155. Hajar Moudoud, Soumaya Cherkaoui, and Lyes Khoukhi. Towards a secure and reliable federated learning using blockchain. In 2021 IEEE Global Communications Conference (GLOBECOM), pages 01–06, 2021. 156. Mehran Mozaffari-Kermani, Susmita Sur-Kolay, Anand Raghunathan, and Niraj K Jha. Systematic poisoning attacks on and defenses for machine learning in healthcare. IEEE journal of biomedical and health informatics, 19(6):1893–1905, 2014. 157. Lalli Myllyaho, Mikko Raatikainen, Tomi Männistö, Jukka K Nurminen, and Tommi Mikkonen. On misbehaviour and fault tolerance in machine learning systems. Journal of Systems and Software, 183:111096, 2022. 158. Arvind Narayanan and Vitaly Shmatikov. Robust de-anonymization of large sparse datasets. In IEEE Symposium on Security and Privacy, pages 111–125. IEEE, 2008. 159. Dinh C. Nguyen, Ming Ding, Pubudu N. Pathirana, Aruna Seneviratne, Jun Li, and H. Vincent Poor. Federated learning for internet of things: A comprehensive survey. IEEE Communications Surveys Tutorials, 23(3):1622–1658, 2021. 160. Dinh C. Nguyen, Ming Ding, Quoc-Viet Pham, Pubudu N. Pathirana, Long Bao Le, Aruna Seneviratne, Jun Li, Dusit Niyato, and H. Vincent Poor. Federated learning meets blockchain in edge computing: Opportunities and challenges. IEEE Internet of Things Journal, 8(16):12806–12825, 2021. 161. Weili Nie, Brandon Guo, Yujia Huang, Chaowei Xiao, Arash Vahdat, and Anima Anandkumar. Diffu- sion models for adversarial purification. arXiv preprint arXiv:2205.07460, 2022.

28 Chen and Liu et al. 162. Solmaz Niknam, Harpreet S. Dhillon, and Jeffrey H. Reed. Federated learning for wireless commu- nications: Motivation, opportunities, and challenges. IEEE Communications Magazine, 58(6):46–51, 2020. 163. Official Journal of the European Union. General data protection regulation. https://eur-lex. europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32016R0679, 2016. Online; ac- cessed 12/02/2021. 164. OpenMined. Pysyft. https://github.com/OpenMined/PySyft. Online; accessed 22/02/2021. 165. Ashwinee Panda, Saeed Mahloujifar, Arjun Nitin Bhagoji, Supriyo Chakraborty, and Prateek Mittal. Sparsefed: Mitigating model poisoning attacks in federated learning with sparsification. In Int. Conf. on Artificial Intelligence and Statistics, pages 7587–7624. PMLR, 2022. 166. Nicolas Papernot, Patrick McDaniel, and Ian Goodfellow. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. arXiv preprint arXiv:1605.07277, 2016. 167. Nicolas Papernot, Patrick McDaniel, Somesh Jha, Matt Fredrikson, Z Berkay Celik, and Ananthram Swami. The limitations of deep learning in adversarial settings. In IEEE European symposium on security and privacy (EuroSP), pages 372–387. IEEE, 2016. 168. M. Parimala, R. M. Swarna Priya, Quoc-Viet Pham, Kapal Dev, Praveen Kumar Reddy Maddikunta, Thippa Reddy Gadekallu, and Thien Huynh-The. Fusion of federated learning and industrial internet of things: A survey. arXiv: Networking and Internet Architecture, 2021. 169. Martin Pettai and Peeter Laud. Combining differential privacy and secure multiparty computation. In annual computer security applications conf., pages 421–430, 2015. 170. Le Trieu Phong, Yoshinori Aono, Takuya Hayashi, Lihua Wang, and Shiho Moriai. Privacy-preserving deep learning: Revisited and enhanced. In Int. Conf. on Applications and Techniques in Information Security, pages 100–110. Springer, 2017. 171. Shiva Raj Pokhrel and Jinho Choi. Federated learning with blockchain for autonomous vehicles: Anal- ysis and design challenges. IEEE Transactions on Communications, 68(8):4734–4746, 2020. 172. Saurav Prakash, Hanieh Hashemi, Yongqin Wang, Murali Annavaram, and Salman Avestimehr. Secure and fault tolerant decentralized learning. arXiv preprint arXiv:2010.07541, 2020. 173. Konstantinos Psychogyios, Terpsichori-Helen Velivassaki, Stavroula Bourou, Artemis Voulkidis, Dim- itrios Skias, and Theodore Zahariadis. Gan-driven data poisoning attacks and their mitigation in feder- ated learning systems. Electronics, 12(8):1805, 2023. 174. Attia Qammar, Ahmad Karim, Huansheng Ning, and Jianguo Ding. Securing federated learning with blockchain: a systematic literature review. Artificial Intelligence Review, 56(5):3951–3985, 2023. 175. Youyang Qu, Longxiang Gao, Tom H. Luan, Yong Xiang, Shui Yu, Bai Li, and Gavin Zheng. Decen- tralized privacy using blockchain-enabled federated learning in fog computing. IEEE Internet of Things Journal, 7(6):5171–5183, 2020. 176. Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical text- conditional image generation with clip latents. arXiv preprint arXiv:2204.06125, 2022. 177. Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, and Ilya Sutskever. Zero-shot text-to-image generation. In Int. Conf. on Machine Learning, pages 8821–8831. PMLR, 2021. 178. Hashan Ratnayake, Lin Chen, and Xiaofeng Ding. A review of federated learning: taxonomy, privacy and future directions. Journal of Intelligent Information Systems, pages 1–27, 2023. 179. Hanchi Ren, Jingjing Deng, and Xianghua Xie. Grnn: generative regression neural network—a data leakage attack for federated learning. ACM Transactions on Intelligent Systems and Technology (TIST), 13(4):1–24, 2022. 180. Nicola Rieke, Jonny Hancox, Wenqi Li, Fausto Milletari, Holger R Roth, Shadi Albarqouni, Spyridon Bakas, Mathieu N Galtier, Bennett A Landman, Klaus Maier-Hein, et al. The future of digital health with federated learning. NPJ digital medicine, 3(1):1–7, 2020. 181. Jae Hun Ro, Theresa Breiner, Lara McConnaughey, Mingqing Chen, Ananda Theertha Suresh, Shankar Kumar, and Rajiv Mathews. Scaling language model size in cross-device federated learning. arXiv preprint arXiv:2204.09715, 2022. 182. Nuria Rodríguez-Barroso, Daniel Jiménez-López, M Victoria Luzón, Francisco Herrera, and Eugenio Martínez-Cámara. Survey on federated learning threats: Concepts, taxonomy on attacks and defences, experimental study and challenges. Information Fusion, 90:148–173, 2023. 183. Binxin Ru, Adam Cobb, Arno Blaas, and Yarin Gal. Bayesopt adversarial attack. In Int. Conf. on Learning Representations (ICLR), 2019. 184. Sumudu Samarakoon, Mehdi Bennis, Walid Saad, and Mérouane Debbah. Distributed federated learn- ing for ultra-reliable low-latency vehicular communications. IEEE Transactions on Communications, 68(2):1146–1159, 2019.

Trustworthy Federated Learning: Privacy, Security, and Beyond 29 185. Felix Sattler, Klaus-Robert Müller, and Wojciech Samek. Clustered federated learning: Model-agnostic distributed multitask optimization under privacy constraints. IEEE Transactions on Neural Networks and Learning Systems (TNNLS), 32(8):3710–3722, 2021. 186. Felix Sattler, Simon Wiedemann, Klaus-Robert Müller, and Wojciech Samek. Robust and communication-efficient federated learning from non-i.i.d. data. IEEE Transactions on Neural Net- works and Learning Systems (TNNLS), 31(9):3400–3413, 2020. 187. Marco Schreyer, Timur Sattarov, and Damian Borth. Federated and privacy-preserving learning of accounting data in financial statement audits. arXiv preprint arXiv:2208.12708, 2022. 188. Lukas Schulth, Christian Berghoff, and Matthias Neu. Detecting backdoor poisoning attacks on deep neural networks by heatmap clustering. arXiv preprint arXiv:2204.12848, 2022. 189. Muhammad Shayan, Clement Fung, Chris J. M. Yoon, and Ivan Beschastnikh. Biscotti: A blockchain system for private and secure federated learning. IEEE Transactions on Parallel and Distributed Sys- tems (TPDS), 32(7):1513–1525, 2021. 190. Sheng Shen, Tianqing Zhu, Di Wu, Wei Wang, and Wanlei Zhou. From distributed machine learning to federated learning: In the view of data privacy and security. Concurrency and Computation: Practice and Experience, 34(16):e6002, 2022. 191. Shiqi Shen, Shruti Tople, and Prateek Saxena. Auror: Defending against poisoning attacks in collabora- tive deep learning systems. In Annual Computer Security Applications Conf. (ACSAC), pages 508–519, 2016. 192. Naichen Shi, Fan Lai, Raed Al Kontar, and Mosharaf Chowdhury. Fed-ensemble: Improving general- ization through model ensembling in federated learning. arXiv preprint arXiv:2107.10663, 2021. 193. Virginia Smith, Chao-Kai Chiang, Maziar Sanjabi, and Ameet Talwalkar. Federated multi-task learning. Neural Information Processing Systems (NIPS), 2017. 194. Jinhyun So, Ba¸sak Güler, and A. Salman Avestimehr. Byzantine-resilient secure federated learning. IEEE Journal on Selected Areas in Communications (J-SAC), 39(7):2168–2181, 2021. 195. Jinhyun So, Ba¸sak Güler, and A. Salman Avestimehr. Turbo-aggregate: Breaking the quadratic aggre- gation barrier in secure federated learning. IEEE Journal on Selected Areas in Information Theory (J-SAIT), 2(1):479–489, 2021. 196. Mengkai Song, Zhibo Wang, Zhifei Zhang, Yang Song, Qian Wang, Ju Ren, and Hairong Qi. Analyzing user-level privacy attack against federated learning. IEEE Journal on Selected Areas in Communica- tions (J-SAC), 38(10):2430–2444, 2020. 197. Tianshu Song, Yongxin Tong, and Shuyue Wei. Profit allocation for federated learning. In IEEE Int. Conf. on Big Data, pages 2577–2586. IEEE, 2019. 198. Yunfei Song, Tian Liu, Tongquan Wei, Xiangfeng Wang, Zhe Tao, and Mingsong Chen. Fda3: Fed- erated defense against adversarial attacks for cloud-based iiot applications. IEEE Transactions on Industrial Informatics, 17(11):7830–7838, 2020. 199. Standing Committee of the National People’s Congress. Cybersecurity law of the people’s republic of china. https://www.newamerica.org/cybersecurity-initiative/digichina/ blog/translation-cybersecurity-law-peoples-republic-china/. Online; ac- cessed 22/02/2021. 200. Tianqi Su, Meiqi Wang, and Zhongfeng Wang. Federated regularization learning: an accurate and safe method for federated learning. In IEEE Int. Conf. on Artificial Intelligence Circuits and Systems (AICAS), pages 1–4, 2021. 201. Y Supriya and Thippa Reddy Gadekallu. A survey on soft computing techniques for federated learning- applications, challenges and future directions. ACM Journal of Data and Information Quality, 2023. 202. Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, and Rob Fergus. Intriguing properties of neural networks. arXiv preprint arXiv:1312.6199, 2013. 203. Laura P Taylor. FISMA compliance handbook. Newnes, 2013. 204. Kushal Tirumala, Aram H Markosyan, Luke Zettlemoyer, and Armen Aghajanyan. Memoriza- tion without overfitting: Analyzing the training dynamics of large language models. arXiv preprint arXiv:2205.10770, 2022. 205. Stacey Truex, Nathalie Baracaldo, Ali Anwar, Thomas Steinke, Heiko Ludwig, Rui Zhang, and Yi Zhou. A hybrid approach to privacy-preserving federated learning. In ACM workshop on artifi- cial intelligence and security, pages 1–11, 2019. 206. Stacey Truex, Ling Liu, Mehmet Emre Gursoy, Lei Yu, and Wenqi Wei. Demystifying member- ship inference attacks in machine learning as a service. IEEE Transactions on Services Computing, 14(6):2073–2089, 2021. 207. Danilo Vasconcellos Vargas and Shashank Kotyan. Robustness assessment for adversarial machine learning: Problems, solutions and a survey of current neural networks and defenses. arXiv preprint arXiv:1906.06026, 2019. 208. Fei Wang, Baochun Li, and Bo Li. Federated unlearning and its privacy threats. IEEE Network, 2023.

30 Chen and Liu et al. 209. Hao Wang, Di Niu, and Baochun Li. Distributed machine learning with a serverless architecture. In IEEE Int. Conf. on Computer Communications (IEEE INFOCOM), pages 1288–1296, 2019. 210. Hong Wang, Yuefan Deng, Shinjae Yoo, Haibin Ling, and Yuewei Lin. Agkd-bml: Defense against adversarial attack by attention guided knowledge distillation and bi-directional metric learning. In IEEE/CVF Int. Conf. on Computer Vision, pages 7658–7667, 2021. 211. Jinyi Wang, Zhaoyang Lyu, Dahua Lin, Bo Dai, and Hongfei Fu. Guided diffusion model for adversarial purification. arXiv preprint arXiv:2205.14969, 2022. 212. Mowei Wang, Yong Cui, Xin Wang, Shihan Xiao, and Junchen Jiang. Machine learning for networking: Workflow, advances and opportunities. IEEE Network, 32(2):92–99, 2017. 213. Yunjuan Wang, Poorya Mianjy, and Raman Arora. Robust learning for data poisoning attacks. In Int. Conf. on Machine Learning, pages 10859–10869. PMLR, 2021. 214. Zhibo Wang, Mengkai Song, Zhifei Zhang, Yang Song, Qian Wang, and Hairong Qi. Beyond infer- ring class representatives: User-level privacy leakage from federated learning. In IEEE Int. Conf. on Computer Communications (IEEE INFOCOM), pages 2512–2520, 2019. 215. WeBank. Federated ai technology enabler (FATE). https://github.com/FederatedAI/ FATE. Online; accessed 16/02/2021. 216. Kang Wei, Jun Li, Ming Ding, Chuan Ma, Howard H. Yang, Farhad Farokhi, Shi Jin, Tony Q. S. Quek, and H. Vincent Poor. Federated learning with differential privacy: Algorithms and performance analysis. IEEE Transactions on Information Forensics and Security, 15:3454–3469, 2020. 217. Jie Wen, Zhixia Zhang, Yang Lan, Zhihua Cui, Jianghui Cai, and Wensheng Zhang. A survey on feder- ated learning: challenges and applications. International Journal of Machine Learning and Cybernetics, 14(2):513–535, 2023. 218. Jiasi Weng, Jian Weng, Jilian Zhang, Ming Li, Yue Zhang, and Weiqi Luo. Deepchain: Auditable and privacy-preserving deep learning with blockchain-based incentive. IEEE Transactions on Dependable and Secure Computing, 18(5):2438–2455, 2019. 219. Bart Willemsen. Hype cycle for privacy. https://www.gartner.com/en/documents/ 4003504, 2021. 220. Jinze Wu, Qi Liu, Zhenya Huang, Yuting Ning, Hao Wang, Enhong Chen, Jinfeng Yi, and Bowen Zhou. Hierarchical personalized federated learning for user modeling. In The Web Conf., pages 957–968, 2021. 221. Quanlin Wu, Hang Ye, and Yuntian Gu. Guided diffusion model for adversarial purification from random noise. arXiv preprint arXiv:2206.10875, 2022. 222. Xueyu Wu, Xin Yao, and Cho-Li Wang. Fedscr: Structure-based communication reduction for federated learning. IEEE Transactions on Parallel and Distributed Systems (TPDS), 32(7):1565–1577, 2021. 223. Qi Xia, Winson Ye, Zeyi Tao, Jindi Wu, and Qun Li. A survey of federated learning for edge computing: Research problems and solutions. High-Confidence Computing, 1(1):100008, 2021. 224. Huang Xiao, Battista Biggio, Blaine Nelson, Han Xiao, Claudia Eckert, and Fabio Roli. Support vector machines under adversarial label contamination. Neurocomputing, 160:53–62, 2015. 225. Cihang Xie, Yuxin Wu, Laurens van der Maaten, Alan L Yuille, and Kaiming He. Feature denoising for improving adversarial robustness. In IEEE/CVF conf. on computer vision and pattern recognition, pages 501–509, 2019. 226. Cihang Xie, Yuxin Wu, Laurens van der Maaten, Alan L Yuille, and Kaiming He. Feature denoising for improving adversarial robustness. In IEEE/CVF conf. on computer vision and pattern recognition, pages 501–509, 2019. 227. Yuanyuan Xie, Bing Chen, Jiale Zhang, and Di Wu. Defending against membership inference attacks in federated learning via adversarial example. In Int. Conf. on Mobility, Sensing and Networking (MSN), pages 153–160. IEEE, 2021. 228. Bangzhou Xin, Wei Yang, Yangyang Geng, Sheng Chen, Shaowei Wang, and Liusheng Huang. Private fl-gan: Differential privacy synthetic data generation based on federated learning. In IEEE Int. Conf. on Acoustics, Speech and Signal Processing (ICASSP), pages 2927–2931. IEEE, 2020. 229. Zuobin Xiong, Zhipeng Cai, Daniel Takabi, and Wei Li. Privacy threat and defense for federated learning with non-i.i.d. data in aiot. IEEE Transactions on Industrial Informatics, 18(2):1310–1321, 2022. 230. Guowen Xu, Hongwei Li, Sen Liu, Kan Yang, and Xiaodong Lin. Verifynet: Secure and verifiable federated learning. IEEE Transactions on Information Forensics and Security, 15:911–926, 2020. 231. Jie Xu, Benjamin S Glicksberg, Chang Su, Peter Walker, Jiang Bian, and Fei Wang. Federated learning for healthcare informatics. Journal of Healthcare Informatics Research, 5(1):1–19, 2021. 232. Runhua Xu, Nathalie Baracaldo, Yi Zhou, Ali Anwar, and Heiko Ludwig. Hybridalpha: An efficient

References (cont.) approach for privacy-preserving federated learning. In ACM Workshop on Artificial Intelligence and Security, pages 13–23, 2019.

Trustworthy Federated Learning: Privacy, Security, and Beyond 31 233. Weilin Xu, David Evans, and Yanjun Qi. Feature squeezing: Detecting adversarial examples in deep neural networks. arXiv preprint arXiv:1704.01155, 2017. 234. Ling Yang, Zhilong Zhang, Yang Song, Shenda Hong, Runsheng Xu, Yue Zhao, Yingxia Shao, Wentao Zhang, Bin Cui, and Ming-Hsuan Yang. Diffusion models: A comprehensive survey of methods and applications. arXiv preprint arXiv:2209.00796, 2022. 235. Xiao Yang, Yinpeng Dong, Wenzhao Xiang, Tianyu Pang, Hang Su, and Jun Zhu. Model-agnostic meta-attack: Towards reliable evaluation of adversarial robustness. arXiv: Learning, 2021. 236. Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. Advances in neural information processing systems, 32, 2019. 237. Xuefei Yin, Yanming Zhu, and Jiankun Hu. A comprehensive survey of privacy-preserving federated learning: A taxonomy, review, and future directions. ACM Computing Surveys, 2021. 238. Han Yu, Zelei Liu, Yang Liu, Tianjian Chen, Mingshu Cong, Xi Weng, Dusit Niyato, and Qiang Yang. A sustainable incentive scheme for federated learning. IEEE Intelligent Systems, 35(4):58–69, 2020. 239. Sha Yuan, Zhao Shuai, Leng Jiahong, Xue Zhao, Zhao Hanyu, and Tang Jie. Wudaomm: A large-scale multi-modal dataset for pre-training models. arXiv preprint arXiv:2203.11480, 2022. 240. Sha Yuan, Hanyu Zhao, Shuai Zhao, Jiahong Leng, Yangxiao Liang, Xiaozhi Wang, Jifan Yu, Xin Lv, Zhou Shao, Jiaao He, et al. A roadmap for big model. arXiv preprint arXiv:2203.14101, 2022. 241. Shuo Yuan, Bin Cao, Yao Sun, and Mugen Peng. Secure and efficient federated learning through layering and sharding blockchain. arXiv preprint arXiv:2104.13130, 2021. 242. Xiaoming Yuan, Jiahui Chen, Ning Zhang, Xiaojie Fang, and Didi Liu. A federated bidirectional con- nection broad learning scheme for secure data sharing in internet of vehicles. China Communications, 18(7):117–133, 2021. 243. Chen Zhang, Yu Xie, Hang Bai, Bin Yu, Weihong Li, and Yuan Gao. A survey on federated learning. Knowledge-Based Systems, 216:106775, 2021. 244. Chengliang Zhang, Suyi Li, Junzhe Xia, Wei Wang, Feng Yan, and Yang Liu. {BatchCrypt}: Efficient homomorphic encryption for {Cross-Silo} federated learning. In USENIX Annual Technical Conf., pages 493–506, 2020. 245. Hong Zhang, Ji Liu, Juncheng Jia, Yang Zhou, Huaiyu Dai, and Dejing Dou. Fedduap: Federated learning with dynamic update and adaptive pruning using shared data on the server. In Int. Joint Conf. on Artificial Intelligence (IJCAI), pages 1–7, 2022. To appear. 246. Jiale Zhang, Bing Chen, Xiang Cheng, Huynh Thi Thanh Binh, and Shui Yu. Poisongan: Genera- tive poisoning attacks against federated learning in edge computing systems. IEEE Internet of Things Journal, 8(5):3310–3322, 2021. 247. K. Zhang, X. Song, C. Zhang, and S. Yu. Challenges and future directions of secure federated learning: a survey. Frontiers of Computer Science, 16(5), 2021. 248. Xianglong Zhang and Xinjian Luo. Exploiting defenses against gan-based feature inference attacks in federated learning. arXiv preprint arXiv:2004.12571, 2020. 249. Xiuxian Zhang, Lingyu Zhao, Jinfeng Li, and Xiaorong Zhu. Hashgraph based federated learning for secure data sharing. In Int. Conf. on Wireless and Satellite Systems, pages 556–565. Springer, 2020. 250. Yifei Zhang, Dun Zeng, Jinglong Luo, Zenglin Xu, and Irwin King. A survey of trustworthy federated learning with perspectives on security, robustness, and privacy. arXiv preprint arXiv:2302.10637, 2023. 251. Yuhui Zhang, Zhiwei Wang, Jiangfeng Cao, Rui Hou, and Dan Meng. Shufflefl: gradient-preserving federated learning using trusted execution environment. In ACM Int. Conf. on Computing Frontiers, pages 161–168, 2021. 252. Zhuosheng Zhang, Jiarui Li, Shucheng Yu, and Christian Makaya. Safelearning: Enable backdoor detectability in federated learning with secure aggregation. arXiv preprint arXiv:2102.02402, 2021. 253. Lijun Zhao, Xiaoyong Tang, Zhengpeng You, Yong Pang, Hui Xue, and Lei Zhu. Operation and security considerations of federated learning platform based on compute first network. In IEEE/CIC Int. Conf. on Communications in China (ICCC Workshops), pages 117–121, 2020. 254. Lingchen Zhao, Shengshan Hu, Qian Wang, Jianlin Jiang, Chao Shen, Xiangyang Luo, and Pengfei Hu. Shielding collaborative learning: Mitigating poisoning attacks through client-side detection. IEEE Transactions on Dependable and Secure Computing, 18(5):2029–2041, 2021. 255. Lingchen Zhao, Jianlin Jiang, Bo Feng, Qian Wang, Chao Shen, and Qi Li. Sear: Secure and efficient aggregation for byzantine-robust federated learning. IEEE Transactions on Dependable and Secure Computing, 2021. 256. Yue Zhao, Meng Li, Liangzhen Lai, Naveen Suda, Damon Civin, and Vikas Chandra. Federated learn- ing with non-iid data. arXiv preprint arXiv:1806.00582, 2018. 257. Yifeng Zheng, Shangqi Lai, Yi Liu, Xingliang Yuan, Xun Yi, and Cong Wang. Aggregation service for federated learning: An efficient, secure, and more resilient realization. IEEE Transactions on Depend- able and Secure Computing, 2022.

32 Chen and Liu et al. 258. Chendi Zhou, Ji Liu, Juncheng Jia, Jingbo Zhou, Yang Zhou, Huaiyu Dai, and Dejing Dou. Efficient device scheduling with multi-job federated learning. AAAI Conf. on Artificial Intelligence, pages 9971– 9979, 2022. 259. Jiehan Zhou, Shouhua Zhang, Qinghua Lu, Wenbin Dai, Min Chen, Xin Liu, Susanna Pirttikangas, Yang Shi, Weishan Zhang, and Enrique Herrera-Viedma. A survey on federated learning and its applica- tions for accelerating industrial internet of things. arXiv: Distributed, Parallel, and Cluster Computing, 2021. 260. Pan Zhou, Kehao Wang, Linke Guo, Shimin Gong, and Bolong Zheng. A privacy-preserving distributed contextual federated online learning framework with big data support in social recommender systems. IEEE Transactions on Knowledge and Data Engineering, 33(3):824–838, 2021. 261. Yi Zhou, Xiaoqing Zheng, Cho-Jui Hsieh, Kai-wei Chang, and Xuanjing Huang. Defense against adversarial attacks in nlp via dirichlet neighborhood ensemble. arXiv preprint arXiv:2006.11627, 2020. 262. Ligeng Zhu, Zhijian Liu, and Song Han. Deep leakage from gradients. Neural Information Processing Systems (NIPS), 32, 2019. 263. Xiangrong Zhu, Guangyao Li, and Wei Hu. Heterogeneous federated knowledge graph embedding learning and unlearning. In Proceedings of the ACM Web Conf., pages 2444–2454, 2023. 264. Bojia Zi, Shihao Zhao, Xingjun Ma, and Yu-Gang Jiang. Revisiting adversarial robustness distillation: Robust soft labels make student better. In IEEE/CVF Int. Conf. on Computer Vision (ICCV), pages 16443–16452, 2021.

Daily Papers

エクスプローラー

chen25a_ja

Trustworthy federated learning: privacy, security, and beyond

グラフビュー

バックリンク