Daily Papers

cui25a_ja

77 min read

ALDP-FL for adaptive local differential privacy in federated learning

原題: ALDP-FL for adaptive local differential privacy in federated learning 著者: L Cui, X Wu | 会議: nature.com 2025 | 引用: 0 PDF: cui25a.pdf

ALDP-FL for adaptive local differential privacy in federated learning Lixin Cui & Xu Wu Federated learning, as an emerging distributed learning framework, enables model training without compromising user data privacy. However, malicious attackers may still infer sensitive user information by analyzing model updates during the federated learning process. To address this, this paper proposes an Adaptive Localized Differential Privacy Federated Learning (ALDP-FL) method. This approach dynamically sets the clipping threshold for each network layer’s updates based on the historical moving average of their L2-norm, thereby injecting adaptive noise into each layer. Additionally, a bounded perturbation mechanism is designed to minimize the impact of the added noise on model accuracy. A privacy analysis of the method is provided. Finally, experiments on the MNIST, Fashion MNIST, and CIFAR-10 datasets demonstrate the effectiveness and practicality of the proposed method. Specifically, ALDP-FL achieves an average improvement of over 10% across all evaluation metrics: Accuracy increases by 10.57%, Precision by 10.64%, Recall by 10.52%, and F1 Score by 10.64%. Regarding the reconstructed images under the iDLG attack, the average improvement rates in MSE and SSIM reach 391.2% and –85.4%, respectively, significantly outperforming all other comparison methods. In today’s data-driven era, the tension between privacy protection and data sharing becomes increasingly prominent1. Many traditional machine learning approaches2 rely on centralized data storage and processing, which can enhance model performance3. However, in sensitive fields such as healthcare, finance, and the Internet of Things, data often exhibits data silos due to privacy regulations or commercial confidentiality, making cross-institutional sharing difficult4. Consequently, how to leverage massive datasets for model training while safeguarding user privacy has become a significant research challenge.5 Federated Learning (FL)6, as an emerging distributed machine learning framework, enables model training across multiple user devices without centralizing data, effectively protecting user privacy7–9. Nonetheless, studies show that despite FL providing a layer of privacy protection10, it still faces threats such as model inversion attacks, membership inference attacks, and gradient leakage. Attackers can analyze intermediate parameters to infer sensitive information from original training data, making privacy preservation a critical bottleneck for deploying FL systems11,12. Yin13 et al. categorize potential privacy leakage risks into five fundamental aspects: attacker, attack method, attack timing, attack location, and attack motivation. Gupta14 et al. proposed a data poisoning attack, which reverses the benign model’s loss function to degrade the global model’s performance. Gu15 et al. introduced CS-MIA, a novel membership inference attack based on prediction confidence sequences, posing serious privacy threats to FL. Zhu16 et al. demonstrated that private data could be obtained from publicly shared gradients, referring to this type of privacy breach as gradient deep leakage. Currently, privacy enhancement techniques for FL primarily fall into three categories: Differential Privacy17 (DP), Homomorphic Encryption, and Secure Multi-Party Computation18. Differential privacy adds random noise to data or model outputs to hide individual information19. However, its noise injection often slows convergence and reduces accuracy, especially under non-i.i.d. data distributions20, making it challenging to balance privacy budgets and model utility. Homomorphic encryption and secure multi-party computation provide strong cryptographic guarantees but incur high computational and communication overhead, limiting their applicability to large-scale deep neural network training21. This paper mainly investigates the application of differential privacy to address privacy and security issues in federated learning. Existing research includes McMahan22 et al., who first applied differential privacy in FL by adding Gaussian noise to the aggregated model at the central server after weighted parameter aggregation. However, they did not consider whether the central server is honest or trustworthy. Yang23 et al. proposed GFL-ALDPA, a gradient-compressed federated learning framework based on adaptive local differential privacy College of Computers Science and Cyber Security, Chengdu University of Technology, Chengdu 610059, China. email: wuxu2022@cdut.edu.cn OPEN Scientific Reports | (2025) 15:26679 1 | https://doi.org/10.1038/s41598-025-12575-6 www.nature.com/scientificreports

budget allocation. They developed a novel adaptive privacy budget allocation scheme based on communication rounds to reduce privacy budget wastage and model noise. By allocating different privacy budgets to distinct communication rounds during training, this approach maximizes the utilization of limited privacy budgets while enhancing model accuracy. Moreover, they introduced a dimension reduction-based gradient compression mechanism that simultaneously reduces communication costs, overall noise magnitude, and total privacy budget consumption of the model, thereby ensuring accuracy under specified privacy protection guarantees. Truex24 et al. developed the LDP-Fed local differential privacy method, which introduces privacy protection during local training by perturbing gradients, achieving localized differential privacy. They employed fixed gradient clipping and fixed noise addition. Yang25 et al. introduced Fed-DPA, which uses a layer-wise Fisher information-based dynamic personalized strategy to achieve flexible personalization while reducing noise impact. Most current research focuses on static defenses against single attack scenarios, lacking systematic protection against multi- layer attack chains in dynamic adversarial environments. This fragmentation results in existing solutions facing dilemmas of either over-protection leading to performance loss or incomplete defenses leaving vulnerabilities in actual deployment. To address the aforementioned challenges, this paper proposes a novel adaptive local differential privacy federated learning method. This method innovatively employs a sliding window mechanism to introduce adaptive noise for clients. The incorporation of the sliding window mechanism not only maintains model training accuracy but also integrates adaptive differential privacy protection into the data, effectively addressing the limitations of existing approaches. Furthermore, to mitigate the impact of differential privacy on model performance, this study designs a bounded perturbation mechanism. A bounded perturbation function B(σ, ϵ, η), composed of the variance of added noise, the privacy budget of differential privacy, and a bounding factor, is utilized to constrain the range of noise injected into the data. This function organically combines these parameters to enhance the efficiency of differential privacy protection.We conducted three sets of experiments on the MNIST and Fashion MNIST datasets to validate the effectiveness and practicality of the ALDP-FL method. In summary, this paper makes the following contributions: (1) Proposes an Adaptive Local Differential Privacy Federated Learning (ALDP-FL) method, which dynami­ cally sets the clipping threshold for each network layer based on the historical moving average of the L2 norms of layer updates, adding adaptive noise accordingly. (2) Designs a bounded perturbation mechanism that constrains the noise range to reduce the accuracy loss of the federated model caused by local differential privacy. (3) Through extensive experiments on MNIST, Fashion MNIST and CIFAR-10 datasets, we demonstrate the effectiveness, scalability, and practicality of our method. Results show significant improvements in priva­ cy-utility trade-offs compared to state-of-the-art baselines.

関連研究 Federated learning（連合学習）は、モデルがローカルでトレーニングされ、サーバーにアップロードされるのはモデルパラメータのみである分散型機械学習フレームワークであり、データ転送および漏洩のリスクを大幅に軽減します。しかし、これにもかかわらず、連合学習は依然として、モデル逆引き攻撃（model inversion）、メンバーシップ推論攻撃（membership inference）、データポイズニング（data poisoning）など、さまざまなプライバシーおよびセキュリティ課題に直面しています。Li27 他は、FL におけるモデル逆引き攻撃に関する既存の研究を、ターゲットモデルの1 つ以上の履歴バージョンを利用してメンバーシップ情報を推測する更新ベースの攻撃（update-based attacks）と、特定メトリクスの軌跡を分析してメンバーシップステータスを決定するトレンドベースの攻撃（trend-based attacks）の2 種類に分類しました。Zhao28 他は、勾配の共有が真のラベルを漏洩することを発見し、勾配から正確なデータを抽出するためのシンプルかつ信頼性の高い手法を提案しました。この手法は iDLG（improved DLG：改良型 DLG）と名付けられ、任意の異なる可能なモデルに対してクロスエントロピー損失を用いてワンホットラベルでトレーニングされた場合に適用可能です。彼らは数学的に、この手法が勾配から真のラベルをどのように抽出するかを説明し、実験を通じて DLG に対する優位性を示しました。Khraisat29 他は、FL システムにおける標的型データポイズニング攻撃（targeted data poisoning attacks）を検討しました。これは、少数の悪意のある参加者が誤ったラベル付きデータによる更新を通じてグローバルモデルを侵害するものです。彼らの発見によると、限られた数の悪意のある参加者であっても分類精度およびリコールが著しく低下し、特に攻撃が特定クラスに集中している場合です。また、彼らはトレーニング初期および後期のラウンドにおけるこれらの攻撃の期間とタイミングも調査し、悪意のある参加者の可用性が攻撃の有効性に与える影響を強調しました。 上記の研究は、連合学習には多くのセキュリティ課題があることを示しています。研究者たちは、これに対応するいくつかの解決策を提案しました。異なる攻撃タイプに応じて、暗号化（encryption）、差分プライバシー（differential privacy）、異常検出（anomaly detection）などの技術30 を使用して、連合学習のセキュリティを保護することを推奨します。Tripathy31 他は、同種暗号化（homomorphic encryption）およびローカル水平データ分割（local horizontal data partitioning）を使用して、収束の遅さ、高い計算および通信コスト、パラメータ共有のセキュリティなどの課題に対処する HalfFedLearn フレームワークを提案しました。彼らは、データセットの固有の分布を活用し、データの感度に基づいて水平データ分割を採用し、同種暗号化を使用してプライベートなデータサンプルに対して選択的なプライバシー保護を実装しました。同種暗号化はデータプライバシーに対する堅牢な保護を提供しますが、暗号化されたデータ上で操作を行う際には大きな計算リソースを消費します32。暗号化データの量が大幅に増加し、転送に必要な帯域幅が増大し、ストレージコストも高くなります33。この課題は、勾配またはモデル更新の頻繁な交換が必要な連合学習シナリオにおいて特に顕著です34。さらに、マルチパーティ設定では、鍵生成、配布、更新、および失効に対して厳格なセキュリティメカニズムが不可欠です35。鍵が侵害された場合、すべての暗号化データのセキュリティが脅かされ、連合学習システムに追加の課題をもたらします。

差分プライバシー（DP）技術の使用は、連合学習におけるプライバシー保護36において同種暗号化（HE）によって引き起こされる一連の問題に対処します。ローカルトレーニングまたはパラメータ集約フェーズ中に制御されたノイズ（例：ラプラスノイズ、ガウスノイズ）37 を追加することで、差分プライバシーは攻撃者が勾配分析を通じて個別データを推測することを防ぎます。Xie38 他は、適応型差分プライバシーによって強化された新しいプライバシー保護連合学習フレームワークを提案し、セキュアな医療データコラボレーションを実現しました。彼らは、ローカルおよびセントラル差分プライバシーを組み合わせた二層のプライバシー保護メカニズムを導入し、トレーニングの進行状況とデータの感度に基づいてプライバシー予算の配分を動的に調整しました。このフレームワークは、エッジサーバーが予備集約を実行して通信オーバーヘッドを削減し、プライバシー保護を強化する階層的アーキテクチャを実装しています。トレーニングプロセス全体を通じてプライバシーと有用性のトレードオフを最適化するために、新しい適応型プライバシー予算配分戦略が開発されました。

差分プライバシーはノイズを追加することで連合学習におけるデータプライバシーを向上させますが、このアプローチはバイアスをもたらします。特に、データがスパースである場合やプライバシー予算が小さい場合39です。このようなバイアスはモデルの収束を遅らせたり、最終的な精度を著しく低下させたりする可能性があります。さらに、ノイズ増幅を防ぐために、勾配ノルムクリッピング（gradient norm clipping）40 を適用する必要があります。しかし、適切なクリッピング閾値を選択するには反復的な実験が必要であり、クリッピングバイアス41をもたらす可能性があります。さらに、マルチラウンドトレーニングでは、累積プライバシー漏洩閾値を超えないようにするために、各ラウンドでプライバシー予算を動的に割り当てる必要があります42。これらの課題は、プライバシー予算、ノイズ分布、およびクリッピング閾値などのパラメータの共同最適化とチューニングが複雑であり、実装におけるデバッグコストが高くなることを強調しています。Wang44 他は、フィードバック制御を備えた新しい適応型差分プライバシー手法である FedFR-ADP を提案しました。まず、彼らは Earth Mover’s Distance（EMD：地球移動距離）を使用して各クライアントのデータ不均衡性を測定し、不均衡性の度合いに基づいてガウスノイズを適応的に適用することで、ノイズ追加をよりターゲット型かつ効果的なものにしました。次に、グローバルモデルのエラーフィードバックに基づいてプライバシー予算を動的に調整するフィードバック制御メカニズムを導入し、さらにモデルのパフォーマンスを向上させました。Talaei45 他は、データ特徴の相対的重要性に基づいて FL に適応型ノイズを注入することを提案しました。彼らはまず、ディープニューラルネットワークモデルにおける特徴の優先順位付けのための2 つの有効な手法を導入し、その後この情報に基づいてモデルパラメータに摂動を加えました。具体的には、重要度の低いパラメータにより多くのノイズを追加し、重要なパラメータにはより少ないノイズを追加するというアイデアが、プライバシーを保護しながらモデル精度を効果的に維持できるかどうかを検討しました。彼らの実験は、特定の条件下でこの主張を確認しました。注入されるノイズ量、関与するパラメータの割合、およびグローバルイテレーション数は出力に大きな影響を与える可能性があります。データセット属性を考慮して慎重にパラメータを選択することで、精度を著しく損なうことなくプライバシーを強化できますが、誤った選択はモデルパフォーマンスを低下させる可能性があります。

連合学習におけるプライバシーおよびセキュリティ課題に対処する既存の研究で大きな進展があるにもかかわらず、現在のフレームワークには依然として顕著な限界があります。例えば、同種暗号化に基づくアプローチは計算リソースの非効率性、過度な通信オーバーヘッド、および鍵漏洩のリスクに苦しみます。一方、差分プライバシーに基づく方法は、プライバシー予算配分のバランス調整、適切なクリッピング閾値の設定、およびノイズ分布の最適化において課題に直面しています。本研究は、差分プライバシー技術を通じて連合学習におけるプライバシー保護を強化することを目的としています。具体的には、適応型クリッピング閾値（adaptive clipping threshold）メカニズムを提案し、動的にノイズ注入を調整することで、モデルパフォーマンスに対するノイズの悪影響を最小化しつつ、堅牢なデータプライバシー保護を確保します。

連合学習の概要 Federated learning（連合学習）は、図1 にそのフレームワークが示されているように、生データを共有せずに複数の参加者間で共同モデルトレーニングを実現することを主目的とした、プライバシー保護型分散協調学習フレームワーク46 です。 このアプローチは、非集中型のローカル計算およびパラメータ集約メカニズムを採用し、データサイロ問題を効果的に緩和しつつプライバシーコンプライアンスを確保します47。システムに K 人の参加者が関与していると仮定し、k 番目の参加者がサイズ nk のプライベートデータセット Dk を保持しており、総グローバルサンプルサイズが N = ∑K k=1 nk とすると、連合学習48 の最適化目的は、加重されたグローバル経験リスクを最小化することです： min F(θ) = Ek P [Fk(θ)] = K ∑ k=1 nk/N Fk(θ) (1) ここで、Fi(θ) = 1/nk ∑ (xi,j;yi,j)∈Dk ℓ(xi,j; yi,j; θ) は k 番目のローカルデータセットの経験リスク関数を表し、ℓ(xi,j; yi,j; θ) はデータポイント (xi,j, yi,j) のローカル損失関数を表します。P サブセットは、加重された貢献を持つ参加者データを関与します。 連合学習プロセスは3 つのフェーズに分割できます。ローカルモデル更新49：各参加者は現在のグローバルモデルから開始し、自身のローカルプライベートデータに基づいてモデル更新を行い、勾配降下ステップを実行します。パラメータ集約：参加者の更新がサーバーにアップロードされた後、サーバーはモデル集約アルゴリズムを実行し、各参加者からの更新をグローバルモデル更新にマージします。このプロセスにより新しいグローバルモデルが生成されます。モデル同期および反復：更新後、グローバルモデルパラメータはすべての参加者にブロードキャストされます。このプロセスは、所定の通信ラウンド数に達するか、望ましい精度を達成するなど、収束基準が満たされるまで繰り返されます。

ローカル差分プライバシー Local Differential Privacy50（LDP：ローカル差分プライバシー）は、ユーザーがデータをサーバーに提出する前に、敏感データをローカルデバイス上で直接摂動させることを本質的に含む分散型プライバシー保護モデルです。これは統計分析またはモデルトレーニングのために提出します。セントラル差分プライバシーとは異なり、データがまず収集されてから匿名化されるのに対し、LDP はデータ転送の前であっても個別データのプライバシーを保護することを保証します。特に IoT、連合学習、およびさまざまな分散シナリオに適しています。 ガウスメカニズム51（Gaussian Mechanism）は LDP メソッドの例として、連続データにガウスノイズを追加することで、データ有用性を維持しながらプライバシー保証を実現します。このメカニズムは (ϵ, δ)-differential privacy 定義をサポートし、すべての隣接データセット v, v′が1 つの要素で異なり、かつすべての可能な出力集合 S ⊆Y に対して以下の式が成り立つことを保証します： Pr[M(v) ∈S] ≤eε Pr [M (v′) ∈S] + δ (2) ここで、M は摂動メカニズムを表し、ϵはプライバシー予算であり、δは緩和パラメータです。ローカルデータ v ∈Rd を持つユーザーの場合、摂動後の公開出力は Y = v + N(0, σ2 IId) とモデル化され、N(0, σ2 IId) は平均ゼロおよび共分散行列 σ2 IId の多次元ガウスノイズです。ノイズスケールσは通常、プライバシーパラメータ ϵ, δ および感度 f に基づいて決定され、σ ≥∆f/ϵ√ を満たすように設定されます。

2 ln(1.25/δ) の 2 乗根、ここで ∆f = maxv,v′ ∥v − v′∥2 は d 次元の L2 感度であり、f は検討中の関数の感度である。

方法論 ALDP-FL フレームワークの全体ワークフロー 連合学習は分散型機械学習フレームワークとして、クライアント側のローカルトレーニングとパラメータ集約を通じてプライバシー保護を実現する。しかし、プライバシーセキュリティの問題は依然として存在している。ローカルに更新されたパラメータには本質的に生データの特徴がエンコードされており、攻撃者は勾配更新情報を分析することでユーザーのトレーニングサンプルを再構築する可能性がある。従来の連合学習アーキテクチャでは中央サーバーは誠実で信頼できると仮定されているが、中央サーバーが好奇心的である場合、クライアントは協働中に無意識にプライバシーデータを漏洩させる恐れがある。

図 1. 連合学習フレームワーク。

Scientific Reports | (2025) 15:26679 4 | https://doi.org/10.1038/s41598-025-12575-6 www.nature.com/scientificreports/

アルゴリズム 1. ALDP-FL これらの課題に対処するため、本論文では適応型ローカル差分プライバシーに基づく連合学習手法を提案する。このアプローチは、誠実だが好奇心的な中央サーバーと連携する場合でも、クライアントが安全かつ効果的に連合モデルトレーニングに参加することを保証する。攻撃者が送信されたモデルパラメータを傍受した場合であっても、ローカルデータのプライバシーは維持される。

ALDP-FL アルゴリズムはアルゴリズム 1 に示されており、本論文に関与する関連記号およびパラメータ52 は表 1 の通りである。そのワークフローは以下の通りである：まず、グローバルモデルパラメータを ω0 と初期化し、T ラウンドの反復トレーニングを実行する。各ラウンドにおいて、サーバーは N 人のクライアントから K 人を参加者として選択し、現在のグローバルモデル ωt をこれらの参加者に配布する。ローカルトレーニング後、各参加者はそのモデル更新 ∆ωk_t をサーバーに返す。サーバーは算術平均 ∆ωt ← (1/K)∑_{k=1}^{K} ∆ωk_t を計算することで全参加者の更新を集約し、このラウンドのグローバルモデル更新を取得し、対応してグローバルモデルを ωt+1 ← ωt + ∆ωt と更新する。このプロセスは T ラウンドが完了するまで繰り返される。

ALDP-FL メソッドフレームワークは主にサーバー側アルゴリズムとクライアント側アルゴリズムの 2 つの部分から構成されており、具体的なワークフローは図 2 に示されている。サーバー側アルゴリズムは従来の連合学習サーバーアルゴリズムと同様であり、モデルパラメータの初期化、参加クライアントからのデータ集約、およびグローバルモデルの更新を担当する。クライアント側アルゴリズムは、クライアントデータのプライバシーとセキュリティを確保するために設計された適応型ローカル差分プライバシーメカニズムを採用している。

適応型ローカル差分プライバシーアルゴリズムのコアコンセプトは、適応性と局所化に焦点を当てている。局所化とは、差分プライバシーに関連するすべてのプロセスをクライアント側でローカルに実行することを指し、適応性とは、差分プライバシーにおいて導入されるノイズ摂動がモデルの現在の状態に基づいて動的に調整されることを意味する。プルーニングは差分プライバシーにおける重要な技術であり、保護対象データに対して適切なプルーニング閾値を選択することは特に重要である。固定されたプルーニング閾値は、低すぎると過度な情報損失を招きモデル精度を損ない、高すぎると十分なプライバシー保証が得られない可能性がある。

適応型ローカル差分プライバシーメカニズムは、各イテレーション中に異なるニューラルネットワーク層に対してプルーニング閾値を動的に調整することで、固定閾値の限界に対処する。

各イテレーションで各ニューラルネットワーク層のプルーニング閾値を選択するために、時間的移動平均アプローチが採用され、時間的類似性の原則を利用している。この原則とは、近接した時点でのシステム挙動は類似しているというものである。過去のラウンドにおける平均変化を現在の閾値として使用することで、本手法はプルーニングによって生じる情報損失を効果的に軽減し、閾値の適応的な更新を可能にする。プルーニング閾値を決定した後、有界摂動メカニズムを組み込むことで勾配にガウスノイズを追加し、差分プライバシー保証を提供する。これによりデータプライバシーが大幅に強化されるだけでなく、モデル精度の維持にも寄与する。

ALDP-FL クライアント側アルゴリズム クライアント側アルゴリズムはアルゴリズム 2 に示されており、フローチャートは図 3 に描かれている。中央サーバーから送信されたモデル ωt を受信後、クライアントはローカルモデルを ωe ← ωt と初期化し、グローバルモデルパラメータ ωt をローカルモデル ωe にコピーする。その後、E ラウンドのローカルトレーニングループを実行し、各ラウンドは完全なローカルトレーニングイテレーションを表す。各イテレーションにおいて、まずローカルデータセット D からバッチ d に対して勾配降下更新を以下のように適用する：ω′_e ← ω_e − α∇L(ω_e; d)。ここで α は学習率であり、∇L はモデルパラメータ ω_e に対する損失関数 L の勾配である。勾配降下更新に基づき、現在のイテレーションのパラメータ更新を ∆ω_e = ω′_e − ω_e と計算する。次に、現在のイテレーションにおける ∆ω_e の L2 ノルムを計算し、スライディングウィンドウ H に格納する。

各モデル層の更新 ∆ω_e は Clipe を用いてクリップされ、クリップされた更新 ∆ω′_e が得られる。Clipe は動的値であり、最新の k 回の更新（k はスライディングウィンドウサイズ）の平均 L2 ノルムに基づいて計算されるものであり、図 4 に示されている。||∆ω_e||_2 ≤ Clipe の場合、更新 ∆ω_e は変更されない。それ以外の場合、∆ω_e は Clipe にクリップされる。

図 2. ALDP-FL フレームワークプロセス。

Scientific Reports | (2025) 15:26679 6 | https://doi.org/10.1038/s41598-025-12575-6 www.nature.com/scientificreports/

図 4. Clipe の計算プロセス。

図 3. ADP-FL メソッドクライアント側プロセスのフローチャート。

Scientific Reports | (2025) 15:26679 7 | https://doi.org/10.1038/s41598-025-12575-6 www.nature.com/scientificreports/

アルゴリズム 2. クライアント側 ローカル差分プライバシーの定義に基づき、参加者がローカルトレーニング中に (δ, ε)-差分プライバシーを満たすことを保証するため、クリップされた更新 ∆ω′_e にガウスノイズを追加する必要がある。ノイズの標準偏差は：σ = ∆f / √(2 ln(1.25/δ))

ここで、δ は差分プライバシーの緩衝パラメータであり、ε はプライバシーバジェットである。ノイズ標準偏差と有界摂動関数 B を基に、クリップされた更新 ∆ω′_e にノイズを追加することで、差分プライバシー保護付きの更新が以下のように得られる：∆˜ω_e ← ∆ω′_e + B (σ, ε, η)。最後に、現在のラウンドに対するモデル更新は ω_e ← ω_e + ∆˜ω_e として計算される。このプロセスは E ラウンド繰り返され、ローカルモデルトレーニングが完了する。E ラウンドのローカルトレーニング完了後、参加者の更新は ∆ω_k = ω_e − ω_t として計算され、この値がサーバーに返される。

上記の σ 値について、∆ω_k が (δ, ε)-差分プライバシーを満たすことを示す数学的証明を以下のセクションで提供する。また、前述の有界摂動メカニズム B は後続の内容で具体的に設計・分析される。

有界摂動メカニズム 本論文で提案する ALDP-FL 手法は、差分プライバシーのノイズ源としてガウス分布を選択する。ガウス分布の確率密度関数は対称的なベル型の曲線である。この曲線は単峰性を持ち、平均値において最高点に達し、平均値について完全に左右対称であり、平均値の左側と右側の分布形状が同一であることを意味する。ガウス分布の平均を 0 に設定することで、ゼロ平均ノイズを追加でき、体系的バイアスを回避できる。しかし、ガウス分布は無限のサポートを持つため、そのロングテール効果がモデルのパフォーマンスに潜在的な害を与える可能性がある。本論文では、ガウス分布のロングテール効果による影響を排除するために有界摂動メカニズムを設計する。追加されるノイズは [–b, b] の範囲内に制限される。

b = (e^ε − η) / (e^ε + η) (3) ここで、ε はプライバシー保護バジェットであり、η は超パラメータで、η ∈ (−1, 1) である。

f(x; σ) = (1 / (σ√2π)) e^(−x²/2σ²) (4) 関数 f(x; σ) は平均値が 0 で標準偏差 σ の高次元確率密度関数を表す。高次元ノイズ値の範囲に制限されているため、高次元分布を正規化する必要がある。正規化後の高次元確率密度関数は f_b(x; σ) と定義される。ここで Z は正規化定数である。

f_b(x; σ) = { (1 / (Zσ√2π)) e^(−x²/2σ²), −b < x < b; 0, その他 } (5)

Z = ∫_{-b}^{b} (1 / (σ√2π)) e^(−x²/2σ²) dx (6)

正規化定数には標準正規分布の累積分布関数が導入される。

Z = Φ(a/σ) − Φ(−a/σ) = 2Φ(a/σ) − 1 (7)

切り捨てられたガウス分布の標準偏差 σ²_b は、標準偏差 σ_b を推定するために使用できる。

σ²_b = ∫_{-b}^{b} x² f_b(x) dx = (1/Z) ∫_{-b}^{b} x² e^(−x²/2σ²) dx = (σ²/Z) ∫_{-b}^{b} (u²/σ²) e^(−u²/2σ²) du = σ² [ 1 − (2b/σ ϕ(b/σ)) / (2Φ(b/σ) − 1) ] (8)

正規分布の標準偏差に基づき、ホーフェディング不等式（Hoeffding inequality）53 を使用して、経験的平均から分布の真の平均への乖離を計算できる。ホーフェディング不等式は、確率変数の独立性や同一分布性の仮定を必要としない濃縮不等式の一種である。これは、サンプル平均が真の平均から一定量乖離する確率を推定するものである。X_1, X_2, …, X_n が a と b の間で拘束された独立した確率変数であり、そのサンプル平均が ¯X = (1/n) ∑_{i=1}^{n} X_i であると仮定すると、任意の ϵ > 0 に対して、ホーフェディング不等式は以下のように表現できる：

P(|X − E[X]| ≥ ϵ) ≤ 2e^(−2nϵ² / (d−c)²) (9) ここで、E[X] は確率変数 X の期待値であり、ϵ は平均推定の誤差バジェットである。切り捨てられたガウス分布の平均がゼロであるため、E[X] = 0 となる。切り捨てられたガウス分布の範囲 (-b, b) をホーフェディング不等式に代入すると、以下が得られる：

P(|X| ≥ ϵ) ≤ 2e^(−2nϵ² / (2b)²) = 2e^(−nϵ² / 2b²) (10) この不等式は、固定された確率 δ であれば、サンプル平均 ¯X が真の平均 0 から乖離する確率が 2e^(−nε²/2b²) を超えないことを示している。便宜上、信頼水準を δ に設定し、対応する ε を求めることができる。

ε = b√(2/n ln(2/δ)) (11) 上記の分析から、境界摂動メカニズムによって処理されたノイズは高次元ガウス分布 (0, σ²_b) に従うことが結論付けられる。さらに、少なくとも確率 1 − δ であれば、平均ノイズ値 ¯X は区間 (−b√(2/n ln(1/δ)), b√(2/n ln(1/δ))) の内側に収まる。この方法はモデルの精度を向上させるが、ノイズサンプリングの精度は低下する。

プライバシーセキュリティ分析 本論文で提示する ADP-FL が (ε_i, δ_i)-プライバシーを満たすことを保証するためには、対応するデータセット D と D′ および任意の出力集合 S ⊆ R に対して、以下の条件が成立することを示す必要がある：

Pr[M(D) ∈ S] ≤ e^ε_i Pr[M(D′) ∈ S] + δ_i (12) f(D) と f(D′) が近傍データセット D と D′ に対する関数 f の出力であると仮定する。前述のテキストから、感度 ∆f = |f(D) − f(D′)| = 2c/d であることがわかる。ガウスメカニズムの出力は以下の通りである：

M(D) = f(D) + Z (13)

M(D′) = f(D′) + Z (14) ここで、Z ∼ N(0, σ²_i) は平均ゼロと分散 σ²_i のガウス分布から抽出された確率変数である。したがって、以下を示す必要がある：

∫_S (1/√2πσ²_i) exp(−(x − f(D))² / 2σ²_i) dx ≤ e^ε_i ∫_S (1/√2πσ²_i) exp(−(x − f(D′))² / 2σ²_i) dx + δ_i (15) M(D) と M(D′) の確率の比率を計算する：

P_M(x|D) / P_M(x|D′) = e^((f(D)−f(D′))/σ²_i * (x − f(D) + f(D′)/2)) (16) 任意に選択された x について、x が区間 (f(D) − ∆f, f(D) + ∆f) にあると仮定し、x = f(D) + ∆f に対して境界分析を行う。

p_M(f(D) − ∆f|D′) / p_M(f(D) + ∆f|D) ≈ e^(∆f² / 2σ²_i) (17) 差分プライバシーの定義によると、以下の条件を満たす必要がある：

p_M(x|D) / p_M(x|D′) ≤ e^ε_i (18) 明らかに：

σ ≥ ∆f / √(2ε_i) (19) δ_i の影響を考慮するため、ガウスメカニズムの性質を使用する必要がある：

Pr[ |M(D) − M(D′)| > δ_i ] ≤ 2e^(−δ²_i / 2σ²_i) (20) 最後に、σ の下限は以下の通りである：

σ_i ≥ ∆f / √

実験 実験設定 ALDP-FL 手法をテストするために、2 つの畳み込みニューラルネットワークモデルである LeNet と ResNet-18 を採用した。LeNet は合計 7 レイヤーで構成され、2 つの畳み込み層、2 つのプーリング層、3 つの全結合層を含む。これは軽量でシンプルなモデルであり、基本的な画像分類などの比較的単純なタスクに適している。ResNet-18 は 18 レイヤーで構成され、17 の畳み込み層と 1 つの全結合層を含む。その深いアーキテクチャとより複雑なパターンを処理する能力により、より複雑な画像分類タスクに一般的に使用される。

3 つのデータセットを利用した：MNIST、Fashion MNIST、および CIFAR-10。MNIST データセットには 70,000 枚のグレースケールの手書き数字画像が含まれており、それぞれ 28x28 ピクセルで、60,000 枚がトレーニング用、10,000 枚がテスト用に使用される。ラベルは 0 から 9 の範囲で、それぞれ手書きの数字に対応する。Fashion MNIST データセットも 70,000 枚のグレースケール画像で構成され、MNIST と同じ寸法を持ち、60,000 枚がトレーニング用、10,000 枚がテスト用に使用される。ただし、これらの画像は T シャツ、ズボン、プルオーバーなど 10 の異なる衣料カテゴリを表しており、MNIST よりも複雑である。CIFAR-10 データセットには 60,000 枚のカラー画像が含まれており、それぞれ 32x32 ピクセルで 3 つの色チャネルを持ち、そのうち 50,000 枚がトレーニング用、10,000 枚がテスト用に使用される。これらの画像は飛行機、自動車、鳥など 10 の一般的なオブジェクトカテゴリに属しており、メソッド評価において CIFAR-10 データセットをより困難なものにしている。実験トレーニングプロセス中に使用されたハードウェアプラットフォームおよび環境パラメータを表 2 に示す。

本実験では、FL クライアントの総数を N = 40、各グローバルイテレーションにおける参加者数を K = 10 と設定した。グローバルイテレーションの総数を T = 80、参加者あたりのローカルイテレーション数を E = 10 と設定した。バッチサイズは 128 に設定し、学習率 α は 0.001 であった。最適化アルゴリズムには、適応型学習率機能で知られる Adam オプティマイザーを採用した。組み込まれた差分プライバシーについては、参加者あたりのプライバシーバジェットを ϵ = 4、スラック変数 δ = 1 × 10−7 と設定した。

提案された ALDP-FL 手法の有効性を検証するために、既存のメソッドと比較した：FedAvg（差分プライバシー保護なし）、Fed-DPA、GFL-ALDPA、および LDP-Fed。3 つの実験セットを設計した： (1) 異なるモデルとデータセットを使用して、スライディングウィンドウがパフォーマンスに与える影響を検証する。 (2) 異なるモデルとデータセットにわたって ALDP-FL のパフォーマンスを最先端メソッドと比較する。 (3) モデル逆引き攻撃を通じて異なるメソッドのプライバシー保護能力をテストする。

評価指標 ALDP-FL の包括的なパフォーマンスを定量的に評価するために、4 つの広く採用された指標を採用した：Accuracy（精度）は最も直感的な指標であり、正解予測の割合を表す。Precision（適合率）は陽性予測の正確さを測定し、Recall（再現率）は陽性サンプルを特定する能力を評価し、F1-score は適合率と再現率の両方をバランスさせる。

ALDP-FL のプライバシー保護能力を評価するために、4 つの確立された指標を使用した：Mean Squared Error (MSE) はピクセル値間の平均二乗差を計算し、低い値が優れた再構成品質を示す。Peak Signal-to-Noise Ratio (PSNR) は信号と歪み電力の比率を測定し、均一な歪みに敏感であるが構造的なものにはあまり敏感ではない。Mean Absolute Error (MAE) はピクセル間の平均絶対差を計算し、ピクセル単位の誤差の直感的解釈を提供する。Structural Similarity Index (SSIM) は [0,1] スケール上で輝度、コントラスト、構造的類似性を評価し、高い値がより大きな類似性と人間の視覚知覚とのより良い整合性を示す。

スライディングウィンドウが ALDP-FL パフォーマンスに与える影響の実験的検証 この実験セットは、異なるモデルとデータセットにおいてローカルイテレーションラウンド E が 10 の場合の ALDP-FL メソッドに対する最適なスライディングウィンドウサイズ k を探索し、グローバルモデルの最高のパフォーマンスを達成することを目的としている。スライディングウィンドウ k の範囲を [2,5] と設定した。

実験プロセスを図 5 に示す。最初の行は LeNet-5 アーキテクチャを使用して取得された結果を示し、2 つ目の行は ResNet-18 に対応する。MNIST データセットでは、すべての構成が初期トレーニングエポック内で急速に収束し、90% を超える精度を達成する。図 5a（上段）に示すように、LeNet-5 はスライディングウィンドウサイズが k = 3 の場合に最適なパフォーマンスを達成し、他の設定をわずかに上回る。より大きなウィンドウサイズ (k = 5) は精度のわずかな低下をもたらす。これはおそらくデータセットの単純さのためであり、過度なコンテキスト情報が学習に利益をもたらすのではなく冗長性を導入する可能性があるためである。ResNet-18 の場合（図 5a、下段）、異なる k 値間のパフォーマンスギャップは最小限であるが、k = 3 と k = 4 が依然としてわずかに高い最終精度を示し、中程度のウィンドウサイズが深いモデルでも肯定的に貢献することを示唆している。

MNIST よりもクラス内変動性と視覚的複雑性が高い Fashion MNIST データセット（図 5b）では、ウィンドウサイズの影響がより顕著になる。LeNet-5 では、k を 2 から 3 に増加させることでパフォーマンスに目に見える改善が見られるが、さらに k = 4 や k = 5 に拡大しても継続的な利益をもたらさず、特にトレーニングの初期段階で精度のわずかな低下を引き起こす。注目すべきは、k = 5 が初期エポックで最も低い精度を生成することである。この観察結果は、過度なウィンドウサイズがノイズを導入し、シャローネットワークでの一般化を妨げる可能性があることを示唆している。ResNet-18 は、その強化された表現能力と残差接続により、さまざまなウィンドウサイズにわたって改善された頑健性を示すが、k = 3 が依然として最も効果的な設定である。

CIFAR-10 データセットは、複雑な空間的特徴と著しいクラス間変動を特徴とし、ネットワークの深さとウィンドウ構成の影響をさらに増幅する（図 5c）。LeNet-5 は限定的なパフォーマンスを示し、どの構成でも精度が 70% を超えることはなく、スライディングウィンドウサイズ間の違いがより明確になる。k = 3 と k = 4 の構成は、k = 2 と k = 5 の構成を常に上回る。ResNet-18 では、すべての設定が 80 エポック後に精度 80% を超え、k = 3 が再び最高のパフォーマンスを提供する。注目すべきは、k = 3 と k = 5 の間のパフォーマンスギャップが初期トレーニングフェーズで最も顕著であることで、これは過度に大きなスライディングウィンドウが高分散情報を注入し、複雑なタスクでの収束速度と安定性に悪影響を及ぼす可能性があることを示している。

要約すると、これらの結果は、スライディングウィンドウサイズがモデルの収束と一般化に影響を与える重要なハイパーパラメータであることを実証しており、特にシャローアーキテクチャと複雑なデータセットにおいて顕著である。すべてのデータセットとモデル構成にわたって、k = 3 のウィンドウサイズが一貫して優れたまたはほぼ最適な結果を達成する。小さなウィンドウサイズ (k = 2) は不十分なコンテキスト符号化をもたらす可能性があり、大きなウィンドウ (k = 5) は無関係な情報を組み込み、過学習のリスクを増加させる可能性がある。これらの知見は、文脈認識学習シナリオにおけるスライディングウィンドウパラメータの選択を情報提供するための実証的証拠を提供し、特に時間的または空間的依存性を伴うものにおいて重要である。

さらにスライディングウィンドウサイズがモデルパフォーマンスに与える影響を評価するために、表 3 は異なるウィンドウ長 k = 2, 3, 4, 5 における 4 つの主要な評価指標—Accuracy（精度）、Precision（適合率）、Recall（再現率）、F1-score—を報告している。表 3 から観察されるように、LeNet-5 と ResNet-18 の両方が MNIST データセット上ですべての指標で強力なパフォーマンスを達成し、このタスクの単純さを反映している。LeNet-5 は k = 3 で最適な結果を達成し、Accuracy (0.9721)、Precision (0.9701)、Recall (0.9714)、F1-score (0.9707) がすべて最高値に達する。k が 5 に増加すると、パフォーマンスはわずかに低下する。ResNet-18 でも同様の傾向が観察され、k = 3 で最もよく機能し（Accuracy = 0.9805、F1 = 0.9774）、k = 5 ですべての指標にわずかな減少が生じる。これらの結果は、MNIST に対して k = 3 のような中程度のスライディングウィンドウサイズが最も適しており、過度に大きなウィンドウは冗長な空間情報を導入し、限定的なパフォーマンス低下を引き起こす可能性があることを示唆している。

より複雑な Fashion MNIST データセットでは、モデルのウィンドウサイズへの感度がより顕著になる。LeNet-5 は k = 3 で最高のパフォーマンスを達成し、F1-score が k = 2 の 0.8038 から k = 3 で 0.8283 に増加し、k = 4 ではわずかな改善（0.8333）のみを示し、k = 5 では明確な低下（0.7923）が見られる。これは特にトレーニングの初期段階である。これは、過度に大きなスライディングウィンドウがノイズや無関係な特徴を導入し、シャローネットワークの一般化能力を損なう可能性があることを示唆している。ResNet-18 もこのデータセットで k = 3 で最適な結果を達成する（Accuracy = 0.9129、F1 = 0.9111）。k = 2 と k = 5 のパフォーマンスはわずかに低いものの、モデルは全体的により安定した挙動を示し、適切なウィンドウサイズからの利益も享受している。

CIFAR-10 は、カテゴリの多様性と構造的複雑性が高いため、3 つのデータセットの中で最も挑戦的である。このタスクでは、LeNet-5 のパフォーマンスは他のデータセットよりも著しく悪く、精度が 0.5658 から 0.6083 の範囲にあり、最適なパフォーマンスも k = 3 で観察される。一方、ResNet-18 は大幅により良い結果を示し、k = 3 で精度 0.8495 と F1-score 0.8486 を達成する。k = 4 と k = 5 でわずかなパフォーマンス低下があるものの、全体的な指標は安定している。これは、深いネットワークがウィンドウサイズの変化により寛容であることを示しており、複雑なタスク条件下でも k = 3 が最高の結果をもたらす。

全体として、表 3 の結果は明確に、スライディングウィンドウサイズ k がモデルパフォーマンスに影響を与える重要なハイパーパラメータであることを示している。すべてのデータセットとモデルアーキテクチャにわたって、k = 3 は一貫して最適またはほぼ最適なパフォーマンスを達成する。シャローモデル（例：LeNet-5）はウィンドウサイズの変化により敏感である一方、深いモデル（例：ResNet-18）はより大きな頑健性を示すが、適切に選択されたウィンドウサイズからの利益も享受する。小さすぎるウィンドウ（例：k = 2）は不十分なコンテキスト情報を引き起こす可能性があり、大きすぎるウィンドウ（例：k = 5）は冗長性やノイズを導入し、過学習のリスクを増加させ、収束を遅らせる可能性がある。

ALDP-FL と最先端メソッド間のパフォーマンス比較実験 この実験セットでは、異なるネットワークモデルとデータセットを使用して、ALDP-FL メソッドを FedAvg、Fed-DPA、GFL-ALDPA、および LDP-Fed メソッドと比較した。前述の実験に基づき、ALDP-FL メソッドのスライディングウィンドウパラメータ k を 3 に設定した。

図 6 に示すように、5 つのメソッド—Fed-DPA、FedAvg、LDP-Fed、GFL-ALDPA、および ALDP-FL—が 3 つのベンチマークデータセット：MNIST、Fashion MNIST、および CIFAR-10 におけるテスト精度で比較される。2 つのバックボーンモデルを採用する：LeNet-5（上段）と ResNet-18（下段）。MNIST データセットでは、すべてのメソッドが最初の 20 グローバルエポック内で急速に収束し、精度はすぐに安定化する。ベースラインメソッドである FedAvg は LeNet-5 と ResNet-18 の両方のモデルで最高のパフォーマンスを達成し、精度は一貫して 95% を超える。プライバシー保護アプローチの中で、ALDP-FL が最高の結果を達成し、次に GFL-ALDPA が続き、Fed-DPA が最も弱い。特に注目すべきは、ALDP-FL が FedAvg とのパフォーマンスギャップを大幅に縮小することであり、特に深い ResNet-18 モデルを使用する場合である。これらの結果は、ALDP-FL が比較的単純なタスクにおいてプライバシー保護とモデル有用性の良好なバランスを達成することを示唆している。

Fashion MNIST データセットは、より高い複雑性とクラス類似性を提示する。この場合、FedAvg は依然として最高の精度を達成するが、プライバシー強化メソッドとの優位性は小さくなる。ALDP-FL は他のすべてのプライバシー保護メソッドを上回り、FedAvg とのギャップをさらに縮小する。GFL-ALDPA が 2 位にランクされ、Fed-DPA が依然として最悪のパフォーマンスを示す。ResNet-18 では、全体的なパフォーマンスが大幅に向上し、ALDP-FL は深いモデルからより顕著に利益を得て、より速い収束と高い精度をもたらす。これらの知見は、ALDP-FL がデータの複雑性により頑健であり、深いアーキテクチャでよくスケーリングすることを示している。

CIFAR-10 は、高い視覚的複雑性と曖昧なセマンティック境界のため、本研究において最も挑戦的なタスクである。メソッド間のパフォーマンスの違いがより顕著になる。FedAvg は両方のモデルで最高の精度を依然として達成する。プライバシー保護アプローチの中で、ALDP-FL が明らかに最高のパフォーマンスを示し、ResNet-18 条件下でほぼ 85% の精度を達成する。一方、Fed-DPA は最悪のパフォーマンスを示し、深いモデル下でも精度が 73% を超えることはできない。これらの結果は、ALDP-FL が複雑なシナリオで強力なパフォーマンスを維持し、プライバシー制約を持つ実世界の展開により適用可能であることを示している。

表 4 はさらに、5 つのメソッドにわたる 4 つの主要な評価指標—Accuracy（精度）、Precision（適合率）、Recall（再現率）、F1 Score—の定量的結果を示す。実験結果は明確に、ALDP-FL が複数のパフォーマンス指標で顕著な優位性を示し、特に複雑なタスクと深いモデルアーキテクチャで強力なパフォーマンスを発揮することを示している。この優位性により直感的な理解を提供するために、4 つのコアメトリクスを比較分析し、他のプライバシー保護メソッドに対する ALDP-FL の平均パフォーマンス改善度を計算した。

統計分析によると、ALDP-FL はすべての指標で 10% を超える平均改善を達成する：Accuracy は 10.57% 増加し、Precision は 10.64% 増加し、Recall は 10.52% 増加し、F1 Score は 10.64% 増加する。特に最も挑戦的なデータセットである CIFAR-10 では、ResNet18 モデルを使用する場合、ALDP-FL は LDP-Fed に対して F1 Score で 9.60% の大幅な改善を示す。これは、微細な分類タスクと曖昧なオブジェクト境界を処理する効果性を強調している。

これらの知見は、ALDP-FL が堅牢なプライバシー保護を提供するだけでなく、画像認識タスクで従来のプライバシー保護技術に関連するパフォーマンス低下を効果的に緩和することを示唆している。一方、Fed-DPA は基本的な差分プライバシーメカニズムを実装しているが、モデルパフォーマンスを深刻に損ない、平均パフォーマンス低下は 17% を超える。GFL-ALDPA と LDP-Fed はこの問題を部分的に軽減するが、Accuracy と F1 Score の点で依然として顕著な欠陥を示す。

結論として、ALDP-FL は強力なプライバシー保証を維持しながら全体的なパフォーマンスにおいて既存のプライバシー保護メソッドを大幅に上回り、プライバシー感受性の高い連合学習シナリオに対する有望なソリューションである。

モデル逆引き攻撃に基づくプライバシー保護能力テスト実験 再構築攻撃に対する異なるプライバシー保護メソッドの有効性を評価するために、本研究は改良型 Deep Leakage from Gradients (iDLG) アルゴリズムを採用し、3 つのベンチマークデータセット：MNIST、Fashion MNIST、および CIFAR-10 でトレーニングされた ResNet モデルに対して勾配漏洩攻撃を実行する。再構築された画像を比較分析のために視覚化する。実験結果を図 7 に示す。

可視化から、以下の観察を行うことができる：MNIST データセットでは、元の画像は明確に認識可能な数字と鋭いエッジを示す。プライバシー保護を組み込まない FedAvg メソッド下では、攻撃者は元の画像をほぼ完全に再構築することができ、モデルの勾配が回復可能な機密情報の大量を含んでいることを示している。一方、Fed-DPA、GLF-ALDPA、LDP-Fed、および ALDP-FL などのプライバシー保護メカニズムが適用されると、再構築された画像の品質は著しく低下する。境界がぼやけ、多くの場合数字は認識不能になる。特に、ALDP-FL は最も歪んだ再構築を生成し、明らかな数字構造がなく、iDLG 攻撃に対する強力な耐性を示している。

Fashion MNIST データセットでは、画像は MNIST よりも複雑であり、より微細なテクスチャ情報を含む。MNIST と同様に、FedAvg 下での再構築は依然として比較的高い忠実度を維持し、識別可能な衣料の輪郭がある。一方、他のプライバシーメソッドは再構築に substantial な干渉を導入する。特に、GLF-ALDPA と ALDP-FL は多くのサンプルで再構築された画像を著しく歪ませ、ほぼ完全にノイズ化して情報漏洩を効果的に抑制する。

意味論的に複雑なコンテンツを持つカラー画像で構成される CIFAR-10 データセットでは、再構築に対するより高い頑健性が必要である。元の画像は飛行機、馬、船などの自然物体を明確に描写している。FedAvg は依然として画像のグローバルな色構造を部分的に回復できるが、再構築はぼやけて詳細に欠ける。プライバシー保護メソッド、特に ALDP-FL は、このシナリオでより効果的な保護を示す。ALDP-FL 下での再構築された画像はほぼ完全にカラーノイズで覆われ、視覚的に認識不能であり、優れた漏洩防止能力を示している。

全体として、プライバシー保護メソッドはデータセットにわたって一貫した傾向を示す：MNIST や Fashion MNIST のようなグレースケールデータセットでは、メソッドが構造的情報を強く乱す。CIFAR-10 のようなカラーデータセットでは、防御効果も頑健である。これらの中で、ALDP-FL はすべての 3 つのデータセットで一貫して最高のパフォーマンスを達成し、iDLG 攻撃下での再構成可能性を最大限に損ない、画像プライバシーを保護するための有効なアプローチであることを実証している。

メソッドの保護効果をさらに定量化するために、表 5 は iDLG 攻撃下の再構築された画像品質の 4 つの評価指標—Mean Squared Error (MSE)、Peak Signal-to-Noise Ratio (PSNR)、Mean Absolute Error (MAE)、Structural Similarity Index (SSIM)—を示す。FedAvg をベースラインとして使用し、ALDP-FL のすべての指標におけるパフォーマンスの変化率を計算する：MNIST データセットでは、ALDP-FL は MSE を 0.2226 に増加させる（FedAvg に対して 237.6% の増加）し、SSIM を 0.5368 から 0.0525 に減少させる（90.% の減少）。これは再構築された画像が元の画像との構造的類似性をほぼ完全に失ったことを示している。Fashion MNIST では、ALDP-FL は MSE を 0.0341 から 0.1852 に増加させる（443.7% の増加）し、SSIM を 82.6% 減少させ、グレースケール画像シナリオでの再構築に対する強力な耐性をさらに確認する。CIFAR-10 カラー画像データセットでは、ALDP-FL は MSE で 0.1836 を達成（492.3% の増加）し、SSIM を 0.0808 に減少させる（83.5% の減少）。MAE が減少するが、これは全体的な構造的破壊に大きく影響しない。これらの結果は、ALDP-FL がすべての 3 つのデータセットで再構築された画像の認識不能性を効果的に増加することを示している。具体的には、MSE と SSIM における平均改善度はそれぞれ 391.2% と -85.4% に達し、比較された他のすべてのメソッドを大幅に上回っている。

要約すると、ALDP-FL は勾配ベースの再構築攻撃に対して最も頑健で包括的な防御パフォーマンスを示す。再構成エラーを著しく増加させながら構造的類似性を破壊し、連合学習におけるプライバシー保護を強化するための非常に効果的で一般的に適用可能なソリューションである。

結論 結論 本論文は、連合学習におけるプライバシー漏洩問題に対処するため、適応型ローカル差分プライバシーに基づく連合学習手法である ALDP-FL を提案する。このアルゴリズムは、中央サーバーによる機密データの悪意ある傍受や、リアルタイムの分散攻撃者、その他の敵対者によって引き起こされるプライバシーリスクを軽減するように設計されている。さらに、ノイズがグローバルモデルの精度に与える影響を低減するために有界ノイズメカニズムを導入した。一連の実験により、ALDP-FL の有効性と実用性が検証された。 今後の研究では、参加者のプライバシーを維持しつつグローバルモデルの精度を向上させるための合理的なプライバシーバジェットの配分や、差分プライバシーに基づく連合学習手法をより多くの現実世界のアプリケーションに拡張することを探求する予定である。

データの利用可能性 本研究で生成または分析されたデータセットは、このリポジトリ https://github.com/C-Kepler/Federated-Learning.git で利用可能です。

受付日：2025 年 5 月 22 日；受理日：2025 年 7 月 17 日

参考文献

  1. Thapa, C. & Camtepe, S. Precision health data: Requirements, challenges and existing techniques for data security and privacy. Comput. Biol. Med. 129, 104130 (2021).
  2. Janiesch, C., Zschech, P. & Heinrich, K. Machine learning and deep learning. Electron. Mark. 31, 685–695 (2021).
  3. Sharifani, K. & Amini, M. Machine learning and deep learning: A review of methods and applications. World Inf. Technol. Eng. J. 10, 3897–3904 (2023).
  4. Liu, Z. et al. Privacy-preserving aggregation in federated learning: A survey. IEEE Transactions on Big Data (2022).
  5. Banabilah, S., Aloqaily, M., Alsayed, E., Malik, N. & Jararweh, Y. Federated learning review: Fundamentals, enabling technologies, and future applications. Inf. Process. Manag. 59, 103061 (2022).
  6. Li, L., Fan, Y., Tse, M. & Lin, K.-Y. A review of applications in federated learning. Comput. Ind. Eng. 149, 106854 (2020).
  7. Liu, G., Wang, C., Ma, X. & Yang, Y. Keep your data locally: Federated-learning-based data privacy preservation in edge computing. IEEE Netw. 35, 60–66 (2021).
  8. Jia, B. et al. Blockchain-enabled federated learning data protection aggregation scheme with differential privacy and homomorphic encryption in iiot. IEEE Trans. Ind. Inform. 18, 4049–4058 (2021).
  9. Li, Q., He, B. & Song, D. Model-contrastive federated learning. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 10713–10722 (2021).
  10. Cinà, A. E. et al. Wild patterns reloaded: A survey of machine learning security against training data poisoning. ACM Comput. Surv. 55, 1–39 (2023).
  11. Li, Q. et al. A survey on federated learning systems: Vision, hype and reality for data privacy and protection. IEEE Trans. Knowl. Data Eng. 35, 3347–3366 (2021).
  12. Zhang, K., Song, X., Zhang, C. & Yu, S. Challenges and future directions of secure federated learning: a survey. Front. Comput. Sci. 16, 1–8 (2022).
  13. Yin, X., Zhu, Y. & Hu, J. A comprehensive survey of privacy-preserving federated learning: A taxonomy, review, and future directions. ACM Comput. Surv. (CSUR) 54, 1–36 (2021).
  14. Gupta, P., Yadav, K., Gupta, B. B., Alazab, M. & Gadekallu, T. R. A novel data poisoning attack in federated learning based on inverted loss function. Comput. Secur. 130, 103270 (2023).
  15. Gu, Y., Bai, Y. & Xu, S. Cs-mia: Membership inference attack based on prediction confidence series in federated learning. J. Inf. Secur. Appl. 67, 103201 (2022).
  16. Zhu, L., Liu, Z. & Han, S. Deep leakage from gradients. Advances in neural information processing systems 32 (2019).
  17. Hu, K. et al. An overview of implementing security and privacy in federated learning. Artif. Intell. Rev. 57, 204 (2024).
  18. Gosselin, R., Vieu, L., Loukil, F. & Benoit, A. Privacy and security in federated learning: A survey. Appl. Sci. 12, 9901 (2022)

データセット アプローチ MSE PSNR MAE SSIM MNIST FedAvg 0.0659 11.81 0.1609 0.5368 Fed-DPA 0.2025 6.93 0.2949 0.1891 GFL-ALDPA 0.2213 6.36 0.3234 0.0974 LDP-Fed 0.2088 6.80 0.2972 0.1090 ALDP-FL 0.2226 6.5 0.3004 0.0525 Fashion MNIST FedAvg 0.0341 14.67 0.1306 0.5085 Fed-DPA 0.1279 8.93 0.2624 0.2494 GFL-ALDPA 0.1317 8.8 0.2594 0.1468 LDP-Fed 0.1492 8.26 0.2745 0.1354 ALDP-FL 0.1852 7.32 0.2827 0.0882 CIFAR-10 FedAvg 0.0310 0.0753 15.08 0.4895 Fed-DPA 0.1003 0.2320 9.9 0.1870 GFL-ALDPA 0.1214 0.2716 9.16 0.1231 LDP-Fed 0.1062 0.2489 9.74 0.1403 ALDP-FL 0.1836 0.3352 7.36 0.0808 表 5．iDLG 攻撃下での元画像と再構成画像間のプライバシー評価指標。

Scientific Reports | (2025) 15:26679 16 | https://doi.org/10.1038/s41598-025-12575-6 www.nature.com/scientificreports/

  1. Adnan, M., Kalra, S., Cresswell, J. C., Taylor, G. W. & Tizhoosh, H. R. Federated learning and differential privacy for medical image analysis. Sci. Rep. 12, 1953 (2022).
  2. Ma, X., Zhu, J., Lin, Z., Chen, S. & Qin, Y. A state-of-the-art survey on solving non-iid data in federated learning. Fut. Gener. Comput. Syst. 135, 244–258 (2022).
  3. Zhang, L., Zhu, T., Xiong, P., Zhou, W. & Yu, P. S. A robust game-theoretical federated learning framework with joint differential privacy. IEEE Trans. Knowl. Data Eng. 35, 3333–3346 (2022).
  4. McMahan, H. B., Ramage, D., Talwar, K. & Zhang, L. Learning differentially private recurrent language models. arXiv preprint arXiv:1710.06963 (2017).
  5. Yang, J. et al. Gfl-aldpa: A gradient compression federated learning framework based on adaptive local differential privacy budget allocation. Multimed. Tools Appl. 83, 26349–26368 (2024).
  6. Truex, S., Liu, L., Chow, K.-H., Gursoy, M. E. & Wei, W. Ldp-fed: Federated learning with local differential privacy. In Proceedings of the third ACM international workshop on edge systems, analytics and networking, 61–66 (2020).
  7. Yang, X., Huang, W. & Ye, M. Dynamic personalized federated learning with adaptive differential privacy. Adv. Neural Inf. Process. Syst. 36, 72181–72192 (2023).
  8. Chen, C. et al. Trustworthy federated learning: privacy, security, and beyond. Knowl. Inf. Syst. 67, 2321–2356 (2025).
  9. Bai, L. et al. Membership inference attacks and defenses in federated learning: A survey. ACM Comput. Surv. 57(4), 1–35 (2024).
  10. Zhao, B., Mopuri, K. R. & Bilen, H. idlg: Improved deep leakage from gradients. arXiv preprint arXiv:2001.02610 (2020).
  11. Khraisat, A. et al. Securing federated learning: a defense strategy against targeted data poisoning attack. Discov Internet Things 5, 16 (2025).
  12. Sharma, A. & Marchang, N. A review on client-server attacks and defenses in federated learning. Comput. Secur. 140, 103801 (2024).
  13. Tripathy, R., Meshram, J. & Bera, P. Halffedlearn: A secure federated learning with local data partitioning and homomorphic encryption. Fut. Gener. Comput. Syst. 171, 107858 (2025).
  14. Xie, Q. et al. Efficiency optimization techniques in privacy-preserving federated learning with homomorphic encryption: A brief survey. IEEE Internet Things J. 11, 24569–24580 (2024).
  15. Aziz, R., Banerjee, S., Bouzefrane, S. & Le Vinh, T. Exploring homomorphic encryption and differential privacy techniques towards secure federated learning paradigm. Fut. Internet 15, 310 (2023).
  16. Chang, Y., Zhang, K., Gong, J. & Qian, H. Privacy-preserving federated learning via functional encryption, revisited. IEEE Trans. Inf. Forensics Secur. 18, 1855–1869 (2023).
  17. Park, J. & Lim, H. Privacy-preserving federated learning using homomorphic encryption. Appl. Sci. 12, 734 (2022).
  18. Shan, F., Mao, S., Lu, Y. & Li, S. Differential privacy federated learning: A comprehensive review. Int. J. Adv. Comput. Sci. Appl. https://doi.org/10.14569/IJACSA.2024.0150722 (2024).
  19. Xu, Z. et al. Federated learning of gboard language models with differential privacy. arXiv preprint arXiv:2305.18465 (2023).
  20. Xie, H., Zhang, Y., Zhongwen, Z. & Zhou, H. Privacy-preserving medical data collaborative modeling: A differential privacy enhanced federated learning framework. J. Knowl. Learn. Sci. Technol. 3, 340–350 (2024).
  21. Fu, J. et al. Differentially private federated learning: A systematic review. arXiv preprint arXiv:2405.08299 (2024).
  22. Ling, J., Zheng, J. & Chen, J. Efficient federated learning privacy preservation method with heterogeneous differential privacy. Comput. Secur. 139, 103715 (2024).
  23. Ren, X., Yang, S., Zhao, C., McCann, J. & Xu, Z. Belt and braces: When federated learning meets differential privacy. Commun. ACM 67, 66–77 (2024).
  24. Banse, A., Kreischer, J. et al. Federated learning with differential privacy. arXiv preprint arXiv:2402.02230 (2024).
  25. Pakina, A. K. & Pujari, M. Differential privacy at the edge: A federated learning framework for gdpr-compliant tinyml deployments. IOSR J. Comput. Eng. 26, 52–64 (2024).
  26. Wang, D. & Guan, S. Fedfr-adp: Adaptive differential privacy with feedback regulation for robust model performance in federated learning. Inf. Fusion 116, 102796 (2025).
  27. Talaei, M. & Izadi, I. Adaptive differential privacy in federated learning: A priority-based approach. arXiv preprint arXiv:2401.02453 (2024).
  28. Beltrán, E. T. M. et al. Decentralized federated learning: Fundamentals, state of the art, frameworks, trends, and challenges. IEEE Commun. Surv. Tutor. 25, 2983–3013 (2023).
  29. Reina, G. A. et al. Openfl: An open-source framework for federated learning. arXiv preprint arXiv:2105.06413 (2021).
  30. Cheng, K. et al. Secureboost: A lossless federated learning framework. IEEE Intell. Syst. 36, 87–98 (2021).
  31. Rahman, K. J. et al. Challenges, applications and design aspects of federated learning: A survey. IEEE Access 9, 124682–124700 (2021).
  32. Wang, N. et al. Collecting and analyzing multidimensional data with local differential privacy. In 2019 IEEE 35th International Conference on Data Engineering (ICDE), 638–649 (IEEE, 2019).
  33. Dong, J., Roth, A. & Su, W. J. Gaussian differential privacy. J. R. Stat. Soc.: Ser. B (Stat. Methodol.) 84, 3–37 (2022).
  34. Zhang, J. et al. idp-fl: A fine-grained and privacy-aware federated learning framework for deep neural networks. Inf. Sci. 679, 121035 (2024).
  35. Zheng, S. et al. Error-bounded correction of noisy labels. In International Conference on Machine Learning, 11447–11457 (PMLR, 2020)

著者貢献 Lixin Cui：メソドロジー、可視化、データキュレーション、原稿執筆。Xu Wu：概念化、監督、レビューおよび編集。

宣言事項 競合利益 著者は競合利益を有しないことを宣言する。

追加情報 資料に関する問い合わせは X.W. までご連絡ください。 再印刷および許可情報は www.nature.com/reprints で利用可能です。 出版社の注記 Springer Nature は、出版された地図や機関所属に関する管轄権主張に対して中立である。 Scientific Reports | (2025) 15:26679 17 | https://doi.org/10.1038/s41598-025-12575-6 www.nature.com/scientificreports/

オープンアクセス 本論文は、Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License に従ってライセンスされています。このライセンスにより、適切なクレジットを元の著者とソースに与え、Creative Commons ライセンスへのリンクを提供し、ライセンスされた素材を変更した場合はその旨を示す限り、非商用の使用、共有、配布および任意の媒体または形式での複製が許可されます。本論文から派生した適応素材やその一部を共有する権限はこのライセンス下では与えられていません。本論文に含まれる画像その他の第三者資料は、特にクレジットラインで示されていない限り、本論文の Creative Commons ライセンスに含まれています。もし資料が本論文の Creative Commons ライセンスに含まれておらず、かつあなたの使用目的が法規制によって許可されていないか、許可された使用を超えている場合は、著作権所有者から直接許可を得る必要があります。このライセンスのコピーを閲覧するには、https://creativecommons.org/licenses/by-nc-nd/4.0/ を訪れてください。 © The Author(s) 2025 Scientific Reports | (2025) 15:26679 18 | https://doi.org/10.1038/s41598-025-12575-6 www.nature.com/scientificreports/

グラフビュー

バックリンク