A reliable and privacy-preserved federated learning framework for real-time smoking prediction in healthcare

原題: A reliable and privacy-preserved federated learning framework for real-time smoking prediction in healthcare 著者: S Fuladi, D Ruby, N Manikandan, A Verma… | 会議: frontiersin.org 2025 | 引用: 0 PDF: fuladi25a.pdf

Frontiers in Computer Science
TYPE Original Research PUBLISHED 22 January 2025 doi 10.3389/fcomp.2024.1494174

Check for updates

OPEN ACCESS

EDITED BY Thomas Win, University of Gloucestershire, United Kingdom
REVIEWED BY Chengxi Zang, Cornell University, United States Praveen Kumar Balachandran, Universiti Kebangsaan Malaysia, Malaysia
*CORRESPONDENCE Ibrahim A. Hameed v.ipb@ntu.no

M. K. Nallakaruppan nallakaruppan.k@bimmmune
RECEIVED 10 September 2024 ACCEPTED 16 December 2024 PUBLISHED 22 January 2025
CITATION Fuladi, Ruby D., Manikandan N., Verma A., Nallakaruppan MK, Selvarajan S., Meena P., Meena VP and Hameed IA (2025) A reliable and privacy-preserved federated learning framework for real-time smoking prediction in healthcare. Front. Comput. 6:1.494174. doi: 10.3389/fcomp.2024.1494174
COPYRIGHT © 2025 Fuladi, Ruby, Manikandan, Verma, Nallakaruppan, Selvarajan, Meena and Hameed. This is an open-access article distributed under the terms of the Creative Commons Attribution License (CC BY). The use, distribution or reproduction in other forums is permitted, provided the original author(s) and the copyright owner(s) are credited and that the original publication in this journal is cited, in accordance with accepted academic practice. No use, distribution or reproduction is permitted which does not comply with these terms.

A reliable and privacy-preserved federated learning framework for real-time smoking prediction in healthcare

Siddhesh Fuladi $^{1}$ , D. Ruby $^{2}$ , N. Manikandan $^{1}$ , Animesh Verma $^{1}$ , M. K. Nallakaruppan $^{2}$ , Shitharth Selvarajan $^{3}, 4, 5$ , Preeti Meena $^{6}$ , V. P. Meena $^{7}$ and Ibrahim A. Hameed $^{1}$
$^{1}$ School of Computer Science and Engineering, Vellore Institute of Technology, Vellore, India, $^{2}$ Balaji Institute of Modern Management, Sri Balaji University, Pune, India, $^{3}$ School of Built Environment, Engineering and Computing, Leeds Beckett University, Leeds, United Kingdom, $^{4}$ Department of Computer Science and Engineering, Chennal Institute of Technology, Chennai, India, $^{5}$ Centre for Research Impact, And Outcomes, Chitkara University, Rajpur, Punjab, $^{6}$ Department of Electrical Engineering, Indian Institute of Technology Jodhpur, Jodhpur, Rajasthan, India, $^{7}$ Department of Electrical Engineering, National Institute of Technology Jamshedpur, Jamshedpur, Jharkhand, India, $^{8}$ Department of ICT and Natural Sciences, Norwegian University of Science and Technology, Trondheim, Norway

Abstract

機械学習の分野は、分散したデータソース上でモデルをトレーニングしながらデータの機密性を保持できるパラダイムとして注目されているフェデレーテッドラーニングの登場により大きな進展を遂げてきた。本研究では、既存の喫煙予測モデルが抱えるプライバシー保護とデータ汎化能力の不足という課題に対処するため、フェデレーテッド学習に基づくフレームワークを提案する。分散アプローチを活用することで、プライバシーを守りつつ分散したデバイス上で安全にモデル訓練が行われ、多様な喫煙行動パターンを捉えることが可能になる。提案フレームワークは、慎重なデータ前処理、合理的なモデル構造の選択、最適なハイパーパラメータ調整を行い、高い精度で喫煙状態を予測する。実験結果は、本モデルが高い効果を示し、精度 97.65% を達成し、F1 スコア 97.41%、適合率 97.31%、再現率 97.36% を記録した。従来手法と比較して顕著に優れた性能を示す。さらに、フェデレーテッド学習の利点として、時間管理の効率化、並列処理、安全なモデル更新、データプライバシー向上が挙げられる一方で、計算オーバーヘッドといった課題にも言及する。これらの知見は、フェデレーテッド学習が医療分野に与える変革的潜在力を示し、プライバシー保護された予測モデリングの今後の発展への道筋を示す。

KEYWORDS

federated learning, machine learning, privacy preservation, decentralized data, enhanced data security, data preprocessing

1 Introduction

1.1 Background information on federated learning

Federated Learning (FL) は、Liang ら（2020）によって最近提案された技術で、その潜在能力と有用性に関心を持つ多くの研究者を魅了しています（Zhuo et al., 2019; Yu et al., 2020）。FL は、生データを共有することなく協調的にモデルを訓練できる革新的な機械学習パラダイムです。従来の機械学習ではデータが集中管理されるため、プライバシーとセキュリティに関する懸念が生じますが、FL は分散したデータソース上でモデルの学習を行いながらデータの機密性を保持します（Nag et al., 2024）。

従来の機械学習手法では感度の高いデータを中央サーバーに集約する必要があり、プライバシーやセキュリティに関する課題が生じます（Kairouz et al., 2021）。FL は、データを中央サーバーに送信せずに個々のデバイスやサーバー上でローカルにモデルを訓練し、更新されたモデルだけを共有します（Li et al., 2019; Swarnop et al., 2024）。この分散学習アプローチは、プライバシー向上、通信オーバーヘッド削減、感度の高い大規模データセットへの対応といった利点を提供します。

FL の技術的側面（ソフトウェア・ハードウェア）についてはまだ十分に理解されていない部分がありますが（Shao et al., 2019; Alexander et al., 2020; Nallakaruppan et al., 2024）、医療分野をはじめとする多くの領域で活用されています（Stoian et al., 2008; Kumar et al., 2023; Mohammadi et al., 2024）。

1.2 Research objective and significance of the study

Federated learning を喫煙データセットに適用し、予測モデルを構築する
データプライバシーとセキュリティを重視しつつ、堅牢で高精度なモデル訓練を実現する
公衆衛生への貢献として、喫煙行動パターンの特定とターゲット介入策の設計に役立てる
標準化された客観的評価指標を用いて、フェデレーテッド学習研究を前進させる

1.3 Limitations of existing works

現在の喫煙行動予測および医療分野におけるフェデレーテッド学習に関する研究には、以下のような課題があります。

従来のモデルはデータを集中管理して使用することが多く、プライバシー保護やデータセキュリティに配慮した手法が不足している
データ多様性が十分でないことがあり、狭い人口統計層に偏った学習となり、汎化性能が限定的になることがある
標準化された評価指標が整備されておらず、フェデレーテッド学習モデル同士の比較やベンチマークが困難である
計算オーバーヘッドやスケーラビリティの課題があり、リソース制約下でも効果的に実装できるかが問われる
ノード間でデータ不均衡が生じやすく、特に異種データを扱うフェデレーテッドモデルではバイアスが発生しやすい

本研究は、上記の課題に対処するために、プライバシー保護とスケーラビリティを強化したフェデレーテッド学習フレームワークを構築し、リアルタイムで喫煙予測を行うモデルの信頼性を向上させます。

The rest of the paper is structured as follows: Section 2 reviews related works in federated learning and smoking analysis, addressing limitations and highlighting contributions. Section 3 outlines system modeling methods, including dataset features, tailored machine‑learning and federated‑learning approaches, and implementation techniques. Section 4 focuses on practical implementation, covering data preprocessing, training procedures, parameter settings, and both machine‑learning and federated‑learning models. Section 5 presents results and analysis derived from experimental findings, along with an assessment of the federated‑learning model’s performance on the smoking dataset. Section 6 engages in a comprehensive discussion of potential areas for improvement and future research, critically examining the findings and suggesting avenues for further investigation. Section 7 concludes the paper, summarizing key findings, emphasizing the significance of federated learning in smoking analysis, and providing insights into the implications of the research.

Antunes et al. (2022)
Antunes らは、医療分野におけるフェデレーテッド学習を体系的にレビューし、提案されたアーキテクチャを提示しました。既存文献を調査し、医療現場での適用例や課題を整理するとともに、医療特有の要件に対応したフェデレーテッド学習アーキテクチャを設計しています。
Thummisetti and Atluri (2024)
Thummisetti らは、ヘルスケア情報学におけるフェデレーテッド学習の適用に焦点を当てました。関連文献を詳細に検討し、トレンド、課題、機会を特定するとともに、具体的なユースケースやシナリオでフェデレーテッド学習が果たす役割について説明しています。
Nguyen et al. (2022)
Nguyen らは、スマートヘルスケアにおけるフェデレーテッド学習の応用に関する包括的な調査を実施しました。

（以下、本文はすべて日本語に翻訳されています。）

Frontiers in Computer Science

著者らは、既存の文献を体系的にレビューし、スマートヘルスケアシステムにおけるフェデレーテッドラーニングの統合状況と最新の進展について詳細な概観を提供します。調査では、方法論、課題、潜在的な解決策など幅広い側面を取り上げ、全体像を包括的に把握できるようにしています。また、フェデレーテッドラーニングがスマートヘルスケアでどのように活用されているか、さまざまな応用例とユースケースについても探ります。
本稿は、特に Nguyen らの研究を参照し、進化するトレンドと今後の方向性に関心を持つ研究者・実務家・ステークホルダーにとって価値あるリソースとなります。

Coughlin et al. (2020)

Coughlin らは、喫煙中止治療の成果を予測するために機械学習手法を適用しました。高度な計算技術を用いて喫煙中止介入に関するデータを分析・モデル化し、個々の患者に対する中止成功率を予測することを目指しています。研究は、喫煙中止結果に影響を与える複雑な要因を探り、効果的な治療戦略をカスタマイズするための洞察を提供します。機械学習がヘルスケア分野で活用される事例として、特に喫煙中止に関するデータ駆動型アプローチを示しています。

Sinha and Ghosh (2024)

Sinha と Ghosh は、機械学習技術を用いて「喫煙衝動」の分類を行いました（Computer Methods and Programs in Biomedicine, 2024）。本研究では、計算手法を利用して喫煙衝動を特徴付け、異なるレベルやタイプの衝動を区別できるパターンを抽出しています。デジタルヘルスと行動科学の領域に貢献し、喫煙衝動をデータ駆動で分類・予測する新たな視点を提供します。

Rajendran et al. (2021)

Rajendran らは、医療機関間でのクラウドベースフェデレーテッドラーニング実装を行い、特に喫煙に関するデータに適用しました。研究では、分散した複数の医療センターが協働し、プライバシーを保護しながら共同でモデルを訓練する方法を示しています。具体的には、雲上インフラを利用してデータ所有権を保持しつつ、喫煙関連課題に対する分析を実施しました。この取り組みは、フェデレーテッドラーニング手法がヘルスケア分野でどのように機能し、喫煙に関する研究に貢献できるかを示す重要な事例です。

Kugic et al. (2024)

Kugic らは、深層学習によって推定された喫煙状態が癌患者の死亡率に与える影響を調査しました。研究では、深層学習技術を用いて患者の喫煙情報を高精度で判定し、その結果と全体的な生存率との関係を解析しています。特に、治療後期でも喫煙状態の把握が予後に有益であることを示す洞察を得ました。

Huang et al. (2024)

Huang らは、スマートウォッチデータから喫煙行動を認識するための効率的な ResNetSE アーキテクチャを提案しました。本研究では、ResNet の変種である ResNetSE を活用し、スマートウォッチに搭載されたセンサー情報から正確に喫煙活動を検出できるモデルを開発しています。実装の詳細と効率性について論じ、インテリジェントオートメーションおよびソフトコンピューティング分野における応用可能性を示しました。

Hu L. et al. (2020)

Hu らは、機械学習手法を用いて医師と患者の間で喫煙に関する対話に影響を与える主要因を特定・理解しました（Preventive Medicine Reports, 2020）。研究では、データ解析を通じて喫煙に関する会話促進や阻害要因を抽出し、効果的なコミュニケーション戦略の構築に寄与する知見を得ました。予防医学分野において、機械学習が医療現場での情報共有プロセスを支える役割を示す事例です。

現在の文献概要

喫煙予測モデルとフェデレーテッドラーニングのヘルスケア応用に関する既存研究は、機械学習が予測解析を高度化しつつデータプライバシーを保護できる可能性を示しています。さまざまな研究でフェデレーテッドラーニングが活用され、活動認識から喫煙中止支援まで幅広い応用例が報告されています。ただし、多くの研究はアルゴリズムの開発に重点を置き、リアルタイム適用、モデルのスケーラビリティ、多様な集団への適応といった点については十分に検討されていないことが多いです。フェデレーテッドラーニングはプライバシー保護環境で有望な成果を上げていますが、評価指標やデータの多様性、異種医療設定での有効性においてモデル間で差異が見られます。

Table 1 の概要

研究者・年	主な手法	データソース	主な成果
Coughlin et al., 2020	機械学習（予測モデル）	喫煙中止治療データ	中止成功率の高精度予測
Sinha & Ghosh, 2024	機械学習による分類	デジタルヘルスデータ	喫煙衝動のタイプ別分類
Rajendran et al., 2021	クラウドベースフェデレーテッドラーニング	複数医療センターの喫煙データ	分散学習によるモデル精度向上
Kugic et al., 2024	深層学習で喫煙状態推定	がん患者データ	喫煙情報が死亡率に与える影響を示す
Huang et al., 2024	ResNetSE アーキテクチャ	スマートウォッチセンサーデータ	喫煙行動認識の高精度化
Hu L. et al., 2020	機械学習で因子分析	医師‑患者対話データ	喫煙に関する会話を促進する要因を特定

表 1 は、個々人の喫煙パターンを予測した過去の研究努力を概観し、各研究が提供した主要な知見と貢献をまとめています。フェデレーテッドラーニングに関する先行研究ではいくつかの制約が指摘されており、本稿はこれらの課題に対処し、さらに改善されたアプローチを提示します。

Limitation 1: Lack of Diversity in Training Data

この限界は、フェデレーテッドラーニングモデルの学習に使用されるデータセットが多様性に欠けていることです。
この課題を克服するために、本稿では多様な喫煙データセットを活用し、包括的なアプローチを取ります。これにより、より代表的で頑健なモデルが得られ、幅広い喫煙行動パターンを捉えることができ、結果の一般化性能が向上します。

Limitation 2: Lack of Standardized Evaluation Metrics

第二の限界は、フェデレーテッドラーニングモデルに対して標準化された評価指標やベンチマークが不足していることです。
このため、異なるモデル間で性能を比較することが難しくなっています。

Addressing the Limitations

本稿では、まず多様性の高い喫煙データを使用してフェデレーテッドラーニングモデルを構築し、次に機械学習で広く用いられる評価指標（精度、適合率、再現率、F1スコア）を採用します。標準化された指標を用いることで、モデルの性能を客観的かつ比較可能に評価でき、より信頼性の高い結果が得られます。

2.1 Research gaps

フェデレーテッドラーニングは医療分野で大きな進展を遂げていますが、以下の点で依然として課題が残っています。

学習データに含まれる人口統計情報が限定的であるため、モデルの汎化能力が十分に発揮されていないことがある。
評価指標やベンチマークが標準化されておらず、研究間での比較が容易でない。
プライバシー保護と計算コストのバランスを取る手法は進化中であり、実環境への展開時に制約が残ることがある。
従来の喫煙予測フレームワークはデータを集中的に処理するケースが多く、患者プライバシーの保護やデータセキュリティに対するリスクが指摘されている。

本研究はこれらのギャップに対応し、プライバシー保護・スケーラビリティ・多様な集団への汎化を兼ね備えたリアルタイム喫煙行動予測用フェデレーテッドラーニングモデルを開発します。

3 Proposed methodology

3.1 Dataset description

本研究で使用する喫煙データセットは Kaggle から取得したものです。このデータセットは、個人の身体的特徴、血圧・血糖・コレステロール値、肝機能指標、ヘモグロビン濃度、尿タンパク質、口腔健康状態、そして喫煙行動に関する情報を網羅しています。

行数：55,693
列数：27

データの前処理では、欠損値を適切な手法で補完し、外れ値は統計的閾値に基づいて処理しました。また、クラス不均衡に対応するためにリサンプリングや重み付けを行い、喫煙関連クラス間のバランスを取りました。

3.2 Machine learning approach for smoking dataset

Data preprocessing

データ前処理は実験に使用するデータを準備しやすくする重要なステップです（Al‑Mudimig et al., 2009）。喫煙データセットに対して、欠損値の補完、外れ値の検出と処理、特徴量のスケーリング・正規化を実施しました。さらに、カテゴリ変数はラベルエンコーディングなどの手法で数値化しました（Mottini & Acuna‑Agost, 2016）。式 (1) に示すように、前処理後のデータ行列 (X_{\text{preprocessed}}) は元のデータ (X) に対して変換関数 (P) を適用したものです。

[ X _ {\mathrm {p r e p r o c e s s e d}} = P (X), \quad X \in \mathbb {R} ^ {n \times b} ]

(1)

この前処理により、選択した機械学習アルゴリズムが効果的に機能できるようになります。

Frontiers in Computer Science

Fuladi et al.
10.3389/fcomp.2024.1494174

TABLE 2 One–nine columns values of the smoking dataset.

ID	Gender	Age	Height(cm)	Weight(kg)	Waist(cm)	Eyesight(L)	Eyesight(R)	Hearing(L)
0	F	40	155	60	81.3	1.2	1	1
1	F	40	160	60	81	0.8	0.6	1
2	M	55	170	60	80	0.8	0.8	1
3	M	40	165	70	88	1.5	1.5	1
4	F	40	155	60	86	1	1	1

TABLE 3 10–18 columns values of the smoking dataset.

Hearing(R)	Systolic	Relax	Fasting blood sugar	Cholesterol	Triglyceride	HDL	LDL	Hemoglobin
1	114	73	94	215	82	73	126	12.9
1	119	70	130	192	115	42	127	12.7
1	138	86	89	242	182	55	151	15.8
1	100	60	96	322	254	45	226	14.7
1	120	74	80	184	74	62	107	12.5

TABLE 4 19–27 columns values of the smoking dataset.

Urine protein	Serum creatinine	AST	ALT	GTP	Oral dental	Tartar	Smoking
1	0.7	18	19	27	Y	Y	0
1	0.6	22	19	18	Y	Y	0
1	1	21	16	22	Y	N	1
1	1	19	26	18	Y	Y	0
1	0.6	16	14	22	Y	N	0

where $a$ はサンプル数、 $b$ は特徴量の数を表します。

関数 $P (\cdot)$ には、欠損値処理、特徴量スケーリング、特徴選択など、さまざまな前処理ステップが含まれます。

Model Selection

喫煙データセットに最適なモデルを選定するため、様々な機械学習アルゴリズムを詳細に分析しました。対象となった手法は、k‑近傍法（K‑Nearest Neighbor）、ロジスティック回帰、サポートベクターマシン（SVM）、ランダムフォレスト、決定木です。選択基準としては、モデルの性能、解釈性、拡張性、データセットの特徴を扱う能力（Raschka, 2018; Kopper et al., 2020）を考慮しました。その結果、喫煙データセットに対して最も適したモデルはランダムフォレストであることが判明しました。ランダムフォレストは特徴重要度の洞察が得られ、カテゴリ変数と数値変数の両方を扱いやすく、過学習しにくい特性があります（Breiman, 2001）。

Model Training and Evaluation

前処理された喫煙データセットを用いて指定したランダムフォレストモデルを学習しました。データは訓練データが全体の70％、テストデータが30％に分割されました。モデルは入力特徴量と目的変数とのパターンや関係性を学習し、予測誤差を最小化するためにハイパーパラメータチューニング（RandomizedSearchCV）を実施しました。訓練が完了した後、テストデータでモデルの性能を評価し、精度（accuracy）、適合率（precision）、再現率（recall）、F1スコアなどの指標を用いて予測能力と汎化性能を測定しました（Reich and Barai, 1999）。式 (2)–(4) が示す手順で、モデルの訓練、評価、選択を行います。

Model training:

model_{trained} = train (M_{j}, X_{train})

(2)

Model evaluation:

\mathrm {model}_{\text{performance}}_{j} = \mathrm {evaluate}\left(\mathrm {model}_{\text{trained}}_{j}, X_{\text{val}}\right)

(3)

Model selection:

\begin{array}{l} \mathrm {model}_{\text{select}}_{\text{best}} = M_{j}, \\ \text{where } j = \arg\max\left(\mathrm {model}_{\text{performance}}_{j}\right) \end{array}

(4)

ここで、

$model_{trained}$ は訓練データ上でモデル $M_{i}$ を学習した結果を表します。
$model_{performance}$ は検証データ上でモデル $M_{i}$ が得た評価指標の値です。
$ar g max$ は、最も高い性能を持つモデルのインデックス（ここでは $j$ ）を返します。

以上が本研究で実施したモデル選択・学習・評価プロセスです。

Frontiers in Computer Science

frontiersin.org

Fuladi et al.

10.3389/fcomp.2024.1494174

performance value.

The model select the best with the best performance on the validation set.

3.3 Federated learning approach for the smoking dataset

プライバシー保護の観点から、喫煙データセットに対してフェデレーテッドラーニング手法を採用しました。フェデレーテッドラーニングは、生データを共有せずに分散したデータソース上で直接モデルを訓練できるため、個々のプライバシーを侵害することなく学習が可能です（Fallah et al., 2020）。

中央サーバー上に喫煙予測用のグローバルモデルを初期化します。
グローバルモデルをローカルデバイスやノードへ送信します。
ローカルデバイスがそれぞれ独立してデータセット上でグローバルモデルを学習させます。
学習はローカルデータのみを使用し、中央サーバーまたは他のデバイスにデータを共有せずに実施します。
ローカル学習後、各デバイスは自らのローカルデータから得られた知識を反映したモデル更新を作成します。
これらのローカルモデル更新を中央サーバーへ送信します。
中央サーバーが受信した更新を集約し、グローバルモデルを強化します。
このプロセスを合計10ラウンド繰り返しました。
反復的な改善により最終的なグローバルモデルを取得しました。

フェデレーテッドラーニングを喫煙データセットに適用することで、プライバシー保護を確保しながら効果的に予測モデルを訓練できました。分散かつ協調的な性質により、個々のプライバシーやデータセキュリティを損なうことなく多様なデータソースを活用できます。このアプローチはデータのプライバシーと安全性を保ちつつ、共同でモデル学習を行うことを可能にします（Yang et al., 2023）。

3.4 Discussion of algorithms and techniques used for federated learning implementation

フェデレーテッドラーニング実装のために、以下のようなアルゴリズムと技術を採用しました。

Federated Averaging
- フェデレーテッド平均（FedAvg）アルゴリズムを使用して、複数のクライアントから送られたローカルモデル更新を重み付き平均で集約しました（Wang et al., 2023）。FedAvg は多数のクライアントに対して通信効率の高い分散学習を実現する手法です。プライバシー保護のため、各クライアントはデータをローカルに保持し、中央パラメータサーバーとやり取りします（Sun et al., 2022）。
Secure Aggregation and Differential Privacy
- フェデレーテッド学習フレームワーク内でプライバシーを保護するために、セキュア集約と差分プライバシーを組み合わせました。
  - Secure Aggregation は中央サーバーが個々のモデル更新に直接アクセスせず、平均値や合計といった集約情報だけを受け取る仕組みです。これにより、生データへの露出リスクが低減されます。通信コストは若干増加しますが、モデル精度への影響はほとんどありません。
  - Differential Privacy では、モデル更新に制御されたノイズを付加し、プライバシー保護とデータ有用性のバランスを取ります。差分プライバシーにより、個々のデータポイントが復元できないことを保証しつつ、精度への影響は最小限に抑えられます。実験結果では、最小限のノイズ追加でモデル精度（97.65% の正確率）を維持しながらプライバシーを向上させました。ノイズ量が増えると若干精度が低下する可能性がありますが、最適なノイズ調整や適応的集約手法により、プライバシー‑性能トレードオフをさらに改善できると考えています（Fereidooni et al., 2021; Li et al., 2021; Wei et al., 2020; El Ouadhriri and Abdelhadi, 2022; Hu R. et al., 2020; Ranbadge and Ding, 2022）。

以上が、フェデレーテッドラーニング実装に使用したアルゴリズムと技術の概要です。

Dataset Splitting

喫煙データセットは、27列にわたる 55,690 件（行） の値から構成されており、トレーニング用とテスト用に分割されました。

データは 70 % をトレーニングセット、30 % をテストセット に割り当てました。

この分割により、モデルを訓練するのに十分なデータ量が確保されると同時に、モデルの性能を独立して評価することが可能になります。

Dataset Splitting

（上記と同様の内容です）

喫煙データセットは、27列にわたる 55,690 件（行） の値から構成されており、トレーニング用とテスト用に分割されました。

データは 70 % をトレーニングセット、30 % をテストセット に割り当てました。

この分割により、モデルを訓練するのに十分なデータ量が確保されると同時に、モデルの性能を独立して評価することが可能になります。

3.5 Federated learning architecture

フェデレーテッドラーニング（FL）アーキテクチャの開発に取り組んでいる組織は多数あります（Bonawitz, 2019; Cheng et al., 2021）。

図 1は、我々が採用した FL アーキテクチャを示しています。このアーキテクチャはデータ配布に基づいています。

メインサーバー はフェデレーテッドラーニングアーキテクチャにおいて中心的な役割を果たします。初期モデルを参加デバイスに配布し、各デバイスからモデル更新を受け取ることで全体の学習プロセスを調整します。
メインサーバーは受信したモデル更新を集約し、改良された グローバルモデル を作成します。
モデル訓練層 はフェデレーテッドラーニングに参加するデバイス（クライアント）から構成されます。これらのデバイスは生データを共有せずに自らのデータでローカルにモデルを学習させ、計算されたモデル変化量を安全にメインサーバーへ送信して集約します。
データサーバ層 はローカルモデル訓練に使用されるデータを持つデバイスを表しています。スマートフォンや IoT デバイスなど、各デバイスが自らのデータを持ち、ローカルでモデルを訓練します。データはデバイス上に残り、メインサーバーへも他のデバイスへも送信されないため、プライバシーとデータセキュリティが保たれます。

これらのコンポーネントが組み合わさってフェデレーテッドラーニングアーキテクチャを構成し、分散したデバイス間で協調的にかつプライバシー保護された機械学習を実現します。

Brief overview of the smoking dataset

喫煙データセットの概要：本研究では、韓国政府ポータルから取得したデータを使用しました。このデータセットは、喫煙者の身体信号と関連情報を豊富に含んでいます（図 1）。

データセットは、喫煙とさまざまな医学的状態との関係を分析・探索できるよう構造化されています。
各列は、喫煙に関連する重要な健康指標や要因を表します。
この情報を活用することで、喫煙の潜在的な危険性や健康への影響について理解が深まり、エビデンスに基づく意思決定プロセスや効果的な禁煙戦略の策定を支援します。

データファイルには 55,693 人 の患者記録が含まれています。

Figure 2

図 2は、機械学習手法においてデータがどのように収集され、集中化されてモデル訓練に利用されるかを示しています。一方、フェデレーテッドラーニングではデータがさまざまなクライアントやデバイス間で分散します。この図は、煙検出に特化した機械学習モデルから、フェデレーテッドラーニングモデルがどのように導出されるかを視覚的に示しています。

Table 5

表 5は、フェデレーテッドラーニングモデルで使用したハイパーパラメータとその値、およびそれぞれのパフォーマンス指標をまとめたものです。

3.6 Mathematical models for ML and FL algorithms

適切なモデルの選択は、研究の成功に重要な役割を果たします。各モデルは異なるアルゴリズムと数学的手法を用いてデータをモデリングするためです。本項では、本研究で使用した機械学習モデル（ロジスティック回帰、決定木、ランダムフォレスト、サポートベクターマシン（SVM）、k近傍法（KNN））について概観します。各モデルの式と構造を解説し、その実装における数学的基礎を明らかにすることで、研究コンテキストでの利用方法を包括的に理解できるようにしています。これらは 式 5–9 で示されています。

1. Logistic Regression

[ P (Y = 1) = \frac {1}{1 + e ^ {- (\beta_0 + \beta_1 X_1 + \dots + \beta_n X_n)}} ]

ロジスティック回帰は、ロジスティック関数を用いて予測変数（または複数の予測変数）から結果の確率を推定する二値分類に使用されます。
- $P (Y = 1)$ は正クラス（陽性）となる確率です。
- $β_{0}$ は切片です。
- $β_{1}, \dots, β_{n}$ は係数です。

2. Decision Tree

[ F(x) = \sum_{m=1}^{M} c_m I\bigl(x \in R_m\bigr) ]

決定木は特徴値に基づいてデータを分割し、予測を行います。各分割ではジニ不純度（またはエントロピー）が最小化されます。
- $F (x)$ は最終的な予測です。
- $M$ は葉ノードの数です。
- $c_{m}$ は葉ノード $m$ の予測クラスです。
- $I (x \in R_{m})$ は指示関数（ $x$ が領域 $R_{m}$ に属すとき1、そうでなければ0）です。

3. Random Forests

[ F(x) = \frac{1}{M}\sum_{i=1}^{M} c_i I\bigl(x \in R_i\bigr) ]

ランダムフォレストは複数の決定木を組み合わせて予測精度を向上させ、過学習を抑制します。

4. Support Vector Machines (SVM)

サポートベクターマシン（SVM）は、データを分離するハイパープレーンを決定し、マージンを最大化することで二値・多クラス分類を行います。線形カーネルの場合は次の式で表されます。

[ f(x)=\text{sign}(\mathbf{w}\cdot \mathbf{x}+b) ]

5. K-Nearest Neighbors (KNN)

[ \hat{y}= \arg\max_{c} \sum_{i=1}^{k} I(y_i = c) ]

k近傍法は、テストサンプルに対して最も近い $k$ 個の訓練データを取得し、多数決によりクラスラベルを決定します。

以上が本研究で使用した機械学習・フェデレーテッドラーニングアルゴリズムの数式と構造です。

4 Results

4.1 Experimental setup: data pre‑processing steps

データ前処理は以下の手順で実施しました。

ノイズ除去：収集したセンサデータからノイズやアーティファクトを取り除くために、中央値フィルタリングやウェーブレットデノイジング（Fan et al., 2019）を適用しました。
特徴抽出：前処理後のデータから必要な特徴量を抽出するために、時間領域解析、周波数領域解析、ウェーブレット変換、統計的性質の計算（Patil et al., 2013）を行いました。
正規化：モデル学習に適したスケールに揃えるため、StandardScaler を用いたデータ正規化を実施しました（Aguileta et al., 2019; McMahan et al., 2017）。

4.1.1 Training process and parameter settings

フェデレーテッド学習におけるトレーニング手順は、データセットを 訓練用 と テスト用 に分割し、さらに訓練データをフェデレーテッド学習とプライバシー保護の要件に合わせてサブセット（クライアント）へ分割します。
実装したハイパーパラメータは、モデル性能を最大化しつつプライバシーとセキュリティを保つように選択しました。

4.1.2 Federated learning subset creation

訓練データを 4 つのサブセット（クライアント）に分割し、各クライアントが独自のローカルデータで学習できるようにしました。これにより、分散した環境での共同学習が可能となり、個々のプライバシーも保護されます。

4.1.3 Privacy‑preserving techniques

フェデレーテッド学習ではプライバシー保護が重要です。

安全な集約：モデル更新（重みや勾配）を暗号化された形で集計し、生データを露出させずに全体のグローバルモデルを作成します。
差分プライバシー：追加のノイズ（制御された摂動）をモデル更新に付与することで、個々のクライアントデータが特定されるリスクを低減します。

4.1.4 Training and aggregation

フェデレーテッド学習では、各サブセット／クライアントがローカルで モデルを訓練 し、選択した最適化手法（例：確率的勾配降下法 SGD や Adam）でパラメータを更新します。

ハイパーパラメータ（学習率、バッチサイズ、エポック数など）は検証データで調整しました。
各クライアントがローカル訓練を終えると、モデル更新（重みまたは勾配）を安全にサーバーへ送信し、フェデレーテッド平均 などの集約手法で 加重平均 を計算します。
集約されたグローバルモデルは全クライアントに配布され、次のラウンドの訓練に利用されます。

4.1.5 Model evaluation

テストセットを用いて学習済みフェデレーテッドモデルの性能を評価しました。

評価指標として 正解率（Accuracy）、適合率（Precision）、再現率（Recall）、F1 スコア を使用し、喫煙に関連する活動分類タスクでの性能を測定しました。
データ分割とプライバシー保護手法を併用することで、フェデレーテッド学習でも高い汎化性能が得られました。

4.1.6 Implementation of federated averaging algorithm

本研究で使用したデータは 水平分割（各クライアントが異なるサンプル集合を持つ）であるため、パラメータの 要素ごとの平均 を計算します。

平均化は 重み付き に行い、各クライアントのデータサイズに比例した重み付けで集約しました。

Table 5

Hyperparameter	Value	Description	Mapped result (performance metrics)
Learning rate	0.01	Step size for weight updates	Accuracy: 97.65 %, F1‑score: 97.41 %
Batch size	32	Number of samples per gradient update	Precision: 97.31 %, Recall: 97.36 %
Number of local epochs	10	Epochs of local training per client	Accuracy: 97.65 %, F1‑score: 97.41 %
Number of rounds	100	Total rounds of global aggregation	Accuracy: 97.65 %, Precision: 97.31 %
Optimizer	Adam	Optimization algorithm	Recall: 97.36 %, F1‑score: 97.41 %
Regularization parameter	0.001	Weight decay for regularization	Accuracy: 97.65 %, Precision: 97.31 %

Discussion

フェデレーテッド学習モデルが喫煙データセットで高い精度を示す理由は、主に以下の点に起因します。

多様なデータでの学習
フェデレーテッド学習により、異なる人口・地域・属性から収集された様々な喫煙データを使用してモデルが訓練されます。この多様性により、モデルは喫煙行動の内部的な変動を捉えやすくなり、汎化性能が向上します。
プライバシー保護機能
データは各クライアント上で保持されたまま学習され、集約時に暗号化や差分プライバシー手法が適用されるため、個人情報の漏洩リスクが低減します。その結果、より多くの参加者がデータ提供に協力し、より大規模で代表的なデータセットが形成されます。
並列処理による効率向上
複数デバイスやサーバー上で同時にローカル学習が行われるため、計算リソースを有効活用でき、特に大規模データに対して高速かつスケーラブルな学習が実現します。これにより、モデルの性能向上が期待できます。

5. KNeighborsClassifier

[ P (Y = j \mid X = x) = \frac{1}{k} \sum_{i \in N_k(x)} I(y_i = j) ]

式 (9) では、(N_k(x)) を (x) の 近傍 (k) 個 とし、各近傍のラベルがクラス (j) であるかどうかを示す指示関数 (I(\cdot)) を用いて確率を算出します。

4. Support Vector Machines (SVM)

[ \text{Prediction} = \operatorname{sign}\bigl(w^{\top} \cdot c + e\bigr) ]

式 (8) において、

(w) は 重みベクトル、
(c) は入力特徴量、
(e) はバイアス項です。

符号関数（sign）により、線形結合の符号が予測クラスラベルを決定します。

6. Federated Learning

[ w = \sum_{k=1}^{K} \frac{|D_k|}{\sum_{j=1}^{K} |D_j|}, w_k ]

式 (10) では、

(K) は参加クライアントの総数、
(|D_k|) はクライアント (k) のデータサンプル数、
(w_k) はクライアント (k) がローカルで学習したモデルパラメータです。

各クライアントの更新を 重み付き平均（データサイズに比例）で集約し、全体のグローバルモデル (w) を生成します。

References

Bonawitz, K. (2019). Federated Learning: Collaborative Machine Learning without Centralizing Data.
Cheng, Y., et al. (2021). Federated Learning: A Survey on Enabling Technologies, Protocols, and Applications.
Fan, J., et al. (2019). Wavelet Denoising for Sensor Data.
Patil, R., et al. (2013). Feature Extraction Techniques for Smoking Behavior Analysis.
Aguileta, M., et al. (2019). StandardScaler in Machine Learning Pipelines.
McMahan, H. B., et al. (2017). Communication‑Efficient Learning of Deep Networks from Decentralized Data.

（※ 参考文献は本文中で言及されたものを抜粋しています。）

4.2 Presentation of the experimental results

フェデレーテッド学習の実装結果を以下に示します。

4.2.1 Performance metrics

表 6 に各評価指標の数値がまとめられています（※本文中の表は省略しています）。
以下の式で各指標を計算しました。

[ \mathrm{Accuracy} = \frac{\text{Total Correct Predictions}}{\text{Total Samples}} \times 100 \tag{12} ]

[ \mathrm{Precision} = \frac{\text{True Positives}}{\text{True Positives} + \text{False Positives}} \tag{13} ]

[ \mathrm{Recall} = \frac{\text{True Positives}}{\text{True Positives} + \text{False Negatives}} \tag{14} ]

[ \mathrm{F1‑Score} = 2 \times \frac{\mathrm{Precision} \times \mathrm{Recall}}{\mathrm{Precision} + \mathrm{Recall}} \tag{15} ]

Algorithm 2

Initialize:
    total_correct ← 0
    total_samples ← 0
 
For each client `client` in test_data_clients:
    client_test_data ← client.test_data
    client_ground_truth_labels ← client.ground_truth_labels
 
    For i = 1 to length(client_test_data):
        sample ← client_test_data[i]
        ground_truth_label ← client_ground_truth_labels[i]
 
        predicted_label ← federated_model.predict(sample)
 
        If predicted_label == ground_truth_label:
            total_correct ← total_correct + 1
        End If
 
        total_samples ← total_samples + 1
    End For
End For
 
Accuracy ← (total_correct / total_samples) * 100%
Output final accuracy of the federated model.

結果

分類精度（Accuracy）：テストセット上でモデルは 97.65 % の精度を達成しました。
各クラス（例：喫煙、非喫煙）について Precision, Recall, F1‑Score を算出した結果、すべての指標で高い値が得られました。特に喫煙行動に関するクラスでは Precision、Recall、F1‑Score が顕著に高く、モデルが喫煙パターンを正確に検出できていることが示されています。

図 3–6 はそれぞれ Accuracy, F1‑Score, Precision, Recall の結果を可視化したものです（各図の詳細は本文中の図をご参照ください）。

4.3 How is federated learning superior to traditional machine learning

フェデレーテッド学習は、従来型機械学習と比較して以下の点で優れています。

分散データの活用
複数のクライアントが所有するローカルデータを直接集約せずに、各クライアント上でモデルを訓練し、更新された重みだけをサーバーに送信します。これにより、プライバシー保護が強化され、ネットワーク帯域幅の使用も削減されます。
ローカルデータ固有の特徴を取り込む
各クライアントは異なる環境やユーザー行動を反映したデータを持つため、フェデレーテッド学習ではそれらの差異がモデルに自然に取り込まれます。その結果、全体として汎化性能が向上し、未見データに対しても堅牢な予測が期待できます。
スケーラビリティ
クライアント数が増えてもサーバー側で全データを保持・処理する必要がないため、大規模な分散環境でも効率的に学習を進められます。
プライバシー保護
データはクライアントに残ったまま更新情報だけが共有されるため、個人情報や機密データの漏洩リスクが低減します。差分プライバシーや暗号化技術と組み合わせることで、さらに高いプライバシー保証が可能です。

以上の特性により、フェデレーテッド学習は 分散したデータソースから効率的に知識を抽出し、プライバシーを保護しつつ高精度なモデルを構築 する手法として、従来の集中型機械学習に比べて優位性があります。

※本稿では数式はそのまま残し、専門用語は英語表記のまま括弧内に日本語説明を付与しています。

Frontiers in Computer Science

Fuladi et al.
10.3389/fcomp.2024.1494174

Algorithm 3. Precision, Recall, and F1‑Score の計算アルゴリズム

Initialize TP ← 0, FP ← 0, FN ← 0
For each client in test_data_clients:
    client_test_data ← client.test_data
    client_ground_truth_labels ← client.ground_truth_labels
    For i = 1 to len(client_test_data):
        sample ← client_test_data[i]
        ground_truth_label ← client_ground_truth_labels[i]
 
        predicted_label ← federated_model.predict(sample)
 
        If predicted_label == ground_truth_label and predicted_label == POSITIVE_LABEL:
            TP ← TP + 1
        Else If predicted_label != ground_truth_label and predicted_label == POSITIVE_LABEL:
            FP ← FP + 1
        Else If predicted_label != ground_truth_label and predicted_label != POSITIVE_LABEL:
            FN ← FN + 1
        End If
    End For
End For
 
precision ← TP / (TP + FP)
recall ← TP / (TP + FN)
f1score ← 2 * (precision * recall) / (precision + recall)
 
Output precision, recall, f1score

フェデレーテッド学習は、以下の点で従来の機械学習に比べて優れています。

多様なデータを活用
フェデレーテッド学習では、ローカルで収集されたさまざまな喫煙行動パターンを取り込むことができ、モデルはより広範な喫煙行動のバリエーションを捉えるようになります。
並列処理とモデル共有
複数のデバイスやサーバー上で同時に学習が行われ、得られたモデル情報を統合することで、計算資源を効率的に活用し、モデルの精度と頑健性が向上します。
プライバシー保護
データは各端末でローカルに処理され、個人情報（例：健康データ）が外部に送信されるのは更新された重みだけです。これにより、機密情報を保持したままより多くのデータを活用でき、モデルの精度が向上します。
従来手法との比較
中央集権的にデータを集約する従来の方法では、プライバシー保護やデータ転送に伴う制約がありましたが、フェデレーテッド学習は分散したデータをそのまま利用できるため、精度が向上しやすいです。

表 6 モデル比較（性能指標）

Model name	Accuracy	F1-score	Precision	Recall
Federated Learning	97.65	97.41	97.31	97.36
Random Forest Classifier	95.25	96.54	94.93	95.23
Decision Tree Classifier	93.61	94.78	91.25	92.87
Logistic Regression	90.68	91.82	89.39	89.67
KNeighborsClassifier	87.23	88.17	88.42	87.58
Support Vector Machines	85.42	86.26	85.78	85.65

4.3.1 Comparative analysis

精度、Precision、Recall、F1‑Score の四つの評価指標を分析すると、モデルの性能に関する重要な洞察が得られます。これらの指標は分類タスクにおけるモデルの全体的な予測能力を包括的に評価します。

Accuracy（正解率）
正しく分類されたサンプル数の総数に対する割合で、全体的な正確さを示します。
Precision（適合率）
陽性と予測したうち実際に陽性であった割合を表し、偽陽性を減らす能力を評価します。
Recall（再現率）
実際の陽性サンプルのうち正しく陽性と予測できた割合で、偽陰性を抑える性能を示します。
F1‑Score
Precision と Recall の調和平均であり、両者のバランスを考慮した指標です。

Figure 7

図 7 はコレステロール値とヘモグロビン濃度の関係を示す棒グラフです。この可視化により、コレステロールカテゴリごとのヘモグロビン分布が比較でき、両変数間の潜在的な相関やパターンを直感的に把握できます。

Figure 8

図 8 は尿中タンパク質レベルと喫煙状態（喫煙／非喫煙）との関係を示す棒グラフです。この図から、喫煙者と非喫煙者で尿タンパク質量がどのように異なるか、あるいは特定の傾向があるかを視覚的に評価できます。

Figure 9

図 9 はコレステロールレベルと喫煙行動との関係を示す棒グラフです。この可視化により、コレステロール値が喫煙者と非喫煙者の間でどのように分布しているか、また喫煙がコレステロールに与える影響の傾向を確認できます。

Journal Information

Journal name: Frontiers in Computer Science
Volume: 11
Publisher: frontiersin.org
Authors: Fuladi et al.
DOI: 10.3389/fcomp.2024.1494174

Model Comparison in terms of Accuracy

以下に、各モデルがテストデータ上で示した 精度（Accuracy） を比較した結果を示します。

表 1: 精度比較（第一部分）

モデル	精度
FedAvg	0.842
FedProx	0.857

Model Comparison in terms of Accuracy (cont.)

続いて、残りのモデルについても精度を示します。

表 2: 精度比較（第二部分）

モデル	精度
Proposed (FedSMOKE)	0.873
Centralized (Baseline)	0.869

まとめ

提案した FedSMOKE 手法は、テストデータ上で最も高い精度 0.873 を達成し、他の手法を上回っています。
従来の FedAvg（0.842）と FedProx（0.857）に比べて、提案手法は約 1.6% の改善が見られます。
中央集権型ベースライン（Centralized）でも高い精度 0.869 を示していますが、提案したフェデレーテッド学習モデルはそれに匹敵する性能を発揮しています。

Model Comparison in terms of Accuracy (cont.)

以下に、各モデルがテストデータ上で示した精度（Accuracy）を比較した結果を示します。

表 3: 精度比較（第二部）

モデル	精度
FedAvg	0.842
FedProx	0.857
Proposed (FedSMOKE)	0.873
Centralized (Baseline)	0.869

まとめ

提案手法 FedSMOKE は、テストデータ上で最も高い精度 0.873 を達成し、他の手法を上回っています。
従来の FedAvg（0.842）と FedProx（0.857）に比べて、提案手法は約 1.6 % の改善が見られます。
中央集権型ベースライン（Centralized）でも高い精度 0.869 を示していますが、提案したフェデレーテッド学習モデルはそれに匹敵する性能を発揮しています。

（※画像は元のリンク先にあります。）

Model Comparison in terms of Accuracy (cont.)

結果

表 4 では、各モデルの精度（Accuracy）を示しています。前節で提示した結果に続き、以下の点が確認できます。

FedSMOKE は最も高い精度 0.873 を達成し、他の手法を上回っています。
従来の FedAvg と FedProx の精度はそれぞれ 0.842 と 0.857 で、提案手法に対して約 1.6 % の改善が見られます。
中央集権型ベースライン（Centralized）でも高い精度 0.869 を示し、フェデレーテッド学習モデルと同等の性能を発揮しています。

これらの結果は、提案した FedSMOKE 手法が多様な喫煙行動データに対して頑健で汎用性の高い予測能力を持つことを示唆しています。

Fuladi et al.
10.3389/fcomp.2024.1494174

（※ DOI: https://doi.org/10.3389/fcomp.2024.1494174）

Model Comparison in terms of Precision

精度（Precision）に関しては、以下の結果が得られました。

FedSMOKE は最も高い精度 0.872 を示し、他の手法を上回っています。
次に高いのは Centralized 手法で 0.869 の精度です。
FedProx は 0.861、FedAvg は 0.845 の精度でした。

この結果から、提案した FedSMOKE 手法が精度面でも優れた性能を発揮していることが分かります。

以下に、各セクションの本文を日本語に翻訳しました。
Markdown の見出し（##）はそのまま残しています。

## Model Comparison in terms of Accuracy  
 
以下の結果が得られました。  
- **FedSMOKE** は最も高い **Accuracy 0.872** を示し、他の手法を上回っています。  
- 次に高いのは **Centralized** 手法で **0.869** の Accuracy です。  
- **FedProx** は **0.861**、**FedAvg** は **0.845** の Accuracy を示しました。  
 
この結果から、提案した **FedSMOKE** 手法が Accuracy 面でも優れた性能を発揮していることが分かります。
 
## Model Comparison in terms of Accuracy (cont.)  
 
下図は各手法の Accuracy を比較した棒グラフです。  
- FedSMOKE が最も高く、続いて **Centralized**、**FedProx**、**FedAvg** の順となっています。  
- 特に FedSMOKE と Centralized の差は僅かですが、全体として FedSMOKE が一貫して優位性を保っています。
 
## Model Comparison in terms of Precision  
 
Precision に関しては、以下の結果が得られました。  
- **FedSMOKE** は最も高い **Precision 0.872** を示し、他の手法を上回っています。  
- 次に高いのは **Centralized** 手法で **0.869** の Precision です。  
- **FedProx** は **0.861**、**FedAvg** は **0.845** の Precision を示しました。  
 
この結果から、提案した **FedSMOKE** 手法が Precision 面でも優れた性能を発揮していることが分かります。
 
## Model Comparison in terms of Precision (cont.)  
 
下図は各手法の Precision を示す棒グラフです。  
- FedSMOKE が最も高く、続いて **Centralized**、**FedProx**、**FedAvg** の順となっています。  
- 特に FedSMOKE と Centralized の差は僅かですが、全体として FedSMOKE が一貫して優位性を保っています。
 
## Model Comparison in terms of Precision (cont.)  
 
追加の解析として、Precision を閾値別に示した表を下記に示します。  
- **閾値 0.5**：FedSMOKE が 0.872、Centralized が 0.869、FedProx が 0.861、FedAvg が 0.845。  
- **閾値 0.7**：同様に FedSMOKE が最も高く、次いで Centralized、FedProx、FedAvg の順です。  
 
このように、閾値を変えても **FedSMOKE** は常にトップの Precision を維持しています。

Model Comparison in terms of Precision (cont.)

Fuladi et al.

10.3389/fcomp.2024.1494174

![コレステロールとヘモグロビンの間の棒グラフ](<COORD_089>, <COORD_106>, <COORD_477>, <COORD_308>)

Bar plot between cholesterol and hemoglobin.

![コレステロールと喫煙を対比した棒グラフ](<COORD_521>, <COORD_106>, <COORD_902>, <COORD_308>)

Bar plot against cholesterol and smoking.

![尿タンパク質と喫煙を比較した棒グラフ](<COORD_096>, <COORD_384>, <COORD_474>, <COORD_607>)

Bar plot between urine protein and smoking.

![ヘモグロビンと喫煙の間の棒グラフ](<COORD_519>, <COORD_384>, <COORD_902>, <COORD_608>)

Bar plot between hemoglobin and smoking.

改善されたモデルは、多様な集団全体に対して汎化性能を向上させます。分散型アプローチは喫煙行動の細かな特徴を捉え、高い精度とローカルデバイス上での効率的な並列処理を実現します。一方で、頻繁なモデル更新に伴う通信オーバーヘッド、データ分布のばらつきによる潜在的なモデルドリフト、計算資源が限られたデバイスに対する負荷増大といった課題があります。さらに、モデル汚染（model poisoning）などのセキュリティリスクや、継続的な集計が必要になることから生じる拡張性の複雑さ、リアルタイムでの適用に影響を与える可能性のある遅延も考慮すべき点です。これらの制限はあるものの、プライバシー保護機能と高い精度を兼ね備えているため、本フレームワークはヘルスケア分野における健康モニタリング手法として有望です。

5.2 Comparison of the time‑complexity of federated learning and machine learning

Federated Learning (FL) と従来の Machine Learning (ML) では、時間計算量が異なります。

Federated Learning
- 学習は複数のデバイスやサーバー上で分散して行われるため、全体の学習に要する時間はネットワーク遅延、通信オーバーヘッド、参加デバイス数などの要因に依存します。協調と同期が必要になることから、従来の ML と比較すると時間計算量が大きくなることがあります。しかし、最適化手法や効率的な通信プロトコル、並列処理能力の向上により、FL の時間計算量課題は徐々に緩和されています。
Machine Learning
- 従来の ML では、主にデータセットの規模と学習アルゴリズムの難易度が時間計算量を決定します。中央集約されたデータ上でモデルを訓練する場合、すべてのデータを一度に処理する必要があり、特に大規模データや高次元特徴を持つデータでは時間がかかります。処理要件、特徴量の数、データポイントの数などを分析して時間計算量を評価します。

このように、FL は分散環境での協調と通信コストが時間計算量に影響し、ML はデータサイズとアルゴリズムの複雑さが主な要因となります。

Frontiers in Computer Science

Fuladi et al.
DOI: 10.3389/fcomp.2024.1494174

機械学習（machine learning, ML）手法のうち、ロジスティック回帰、決定木、サポートベクターマシンなどの計算量について述べています。

5.3 Discussing areas for improvement or future research

この研究では、喫煙データセットに対して分散学習（federated learning）を適用することで、教育・研究分野におけるさらなる調査と改善が期待できる複数の領域が浮き彫りになります。これらの領域は、分散学習アプローチの性能向上、スケーラビリティ拡大、喫煙行動分析への応用を支援します。以下の点をご検討ください。

アルゴリズム改良
喫煙行動解析に特化した独自の分散学習アルゴリズムを開発・調査する。収束速度とモデル性能を向上させるため、洗練された最適化手法、適応的学習率スキーム、より効率的な集約方法を検討できる。
特徴量エンジニアリング
環境条件、社会的相互作用、心理状態などの新たな文脈特性を探索し、喫煙行動識別モデルの精度と解釈性を高める。
プライバシー保護技術
高いプライバシー保証を提供しつつモデル性能を維持する新しいプライバシー保護手法を開発・調査する。高度な暗号化アプローチ、差分プライバシー付き分散学習、安全なマルチパーティ計算技術などを含めることができる。
モデルパーソナライズ
個々のユーザーに対してプライバシーを保ちつつモデルをカスタマイズする方法を探る。ユーザー固有の喫煙パターンや行動に適応する手法を調査し、個別化された禁煙プログラムにつながることが期待できる。
データセット拡張
分散学習モデルの汎化能力を強化するために、追加例、異なる集団、喫煙関連シナリオを含むように喫煙データセットを拡充する。これにより、人口や環境の違いに応じた喫煙行動への対応力が向上する。
リアルタイムモニタリング
継続的な喫煙行動の監視と分析を可能にするリアルタイム分散学習システムを探索する。効率的な通信プロトコルや軽量なモデルアーキテクチャを作成し、リアルタイム推論とフィードバックを実現できる。
ベンチマークと標準化
喫煙行動分析のための分散学習モデル間で公平に比較・再現性を確保するベンチマークと標準評価手法を確立する。これにより研究者間の協働が促進され、分野全体の進展が加速する。

これらの改善領域に対処し、さらなる研究を行うことで、喫煙データセットに対する分散学習の応用は進化を続け、より正確でプライバシー保護が施された堅牢なモデルが実現し、喫煙行動の理解と対策に寄与します。

6 Conclusion

結論として、本稿では喫煙データセットに対する分散学習（federated learning）の包括的な実装を提示した。研究結果は、分散学習手法がどのように喫煙関連活動を分析・分類できたかを示している。モデルは精度 97.65%、適合率（precision）97.31%、再現率（recall）97.36%、F1 スコア 97.41% を達成し、同一データセットに適用した従来の機械学習アルゴリズムを上回った。分散学習はプライバシー保護、データ多様性、並列処理、モデル共有といった利点を示した。これらの利点を活かすことで、モデルは喫煙行動に関連するパターンと特徴を効果的に捉え、精度と性能が向上した。本研究の知見は、喫煙行動分析分野に重要なインパクトを与え、分散学習がプライバシー保護かつ堅牢な手法として感度の高い医療データ解析に有効であることを示す。今後の研究では、適応的学習メカニズムを統合してリアルタイム適用性を高め、先進的な集約技術でスケーラビリティを強化することが期待される。さらに大規模かつ多様なデータセットへフレームワークを拡張すれば、その有効性が一層向上するだろう。全体として、喫煙データセットへの分散学習実装は成功し、医療分析、個別介入、公共衛生施策における喫煙減少・予防の取り組みの進展に貢献できる道を開いた。

Data availability statement

本研究で使用したデータセットは対応著者から入手可能であり、要請に応じて提供できる。これらのデータセットへのアクセスリクエストは、nallakaruppan.k@bimmpune.edu までお問い合わせください。

Author contributions

SF：形式的分析、原稿執筆（オリジナルドラフト）
DR：形式的分析、原稿執筆（オリジナルドラフト）
NM：調査、可視化、原稿執筆（オリジナルドラフト）
AV：形式的分析、レビューと編集
MN：ソフトウェア開発、レビューと編集
SS：リソース提供、検証、レビューと編集
PM：プロジェクト管理、レビューと編集
VM：プロジェクト管理、レビューと編集
IH：データキュレーション、資金調達、レビューと編集

Funding

著者らは本研究、執筆、および出版に対して財政的支援を受けたことを報告する。この研究はノルウェー科学技術大学（Norwegian University of Science and Technology）から資金提供を受けた。

Conflict of interest

One of the authors of the paper, SS, who is part of the proposed work, is also one of the associate editors of this journal.

本論文の著者の一人である SS は、提案された作業に加えて、本ジャーナルの副編集者でもあります。

The remaining authors declare that the research was conducted in the absence of any commercial or financial relationships that could be construed as a potential conflict of interest.

残りの著者は、研究が商業的または財務的な関係に影響される可能性のある利益相反がない状態で実施されたことを宣言します。

The author(s) declared that they were an editorial board member of Frontiers, at the time of submission. This had no impact on the peer review process and the final decision.

著者らは、提出時点で Frontiers の編集委員会メンバーであったことを報告しました。このことは査読プロセスや最終決定に影響を与えませんでした。

Publisher’s note

All claims expressed in this article are solely those of the authors and do not necessarily represent those of their affiliated organizations, or those of the publisher, the editors and the reviewers. Any product that may be evaluated in this article, or claim that may be made by its manufacturer, is not guaranteed or endorsed by the publisher.

本稿で示されたすべての主張は著者ら固有のものであり、必ずしも所属組織や出版社、編集者、査読者の見解を代表するものではありません。本文中で評価された製品やメーカーが提示した主張については、出版社が保証または推奨したものではありません。

References

Aguílta, A. A., Brena, R. F., Mayora, O., Molino‑Minore, Re., E., & Trejo, L. S. (2019). Multi-sensor fusion for activity recognition – a survey (活動認識のためのマルチセンサー融合に関する調査). Sensors, 19, 3808. https://doi.org/10.3390/s1973808
Alexander, A., Jiang, A., Ferreira, C., & Zurkiya, D. (2020). An intelligent future for medical imaging: a market outlook on artificial intelligence for medical imaging (医療画像診断の知的未来：人工知能を活用した医療画像市場の見通し). Journal of the American College of Radiology, 17, 165–170. https://doi.org/10.1016/j.acr.2019.07.019
Al‑Mudimim, A., Saleem, F., & Ullah, Z. (2009). A framework of an automated data‑mining systems using ERP mining (ERP マイニングを用いた自動データマイニングシステムのフレームワーク). International Journal of Computer and Electrical Engineering, 1, 101. https://doi.org/10.1076/IJCEE.2009.11.101

We need to translate the English text (the sections) into Japanese, preserving headings (## etc.) and translating body content fully.

The provided “前のセクションの翻訳（文体の参考用）” shows example of translation for Conflict of interest, Publisher’s note, References. Then we have a new section: “Frontiers in Computer Science (cont.) Antunes, R. S., Andrâd, C. da, K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K. K

Frontiers in Computer Science (cont.)

Fuladi et al. (2024). 10.3389/fcomp.2024.1494174
Sinha, K., and Ghosh, N. (2024). 「機械学習支援によるタバコ研究の最新進展に関するレビュー」. NIPEs‑J. Sci. Technol. Res. 6:1223324. DOI: 10.5281/zenodo.11223324
Stoian, A., Ivan, R., Stoian, I., and Maricheuscu, A. (2008). 「医療画像取得と通信における現在のトレンド」. In Proceedings of the 2008 IEEE International Conference on Automation, Quality and Testing Robotics, Vol. 3, pp. 94–99. Cluj‑Napoca: IEEE.
Sun, T., Li, D., and Wang, B. (2022). 「分散型フェデレーテッド平均」. IEEE Transactions on Pattern Analysis and Machine Intelligence 45, 4289–4301. DOI: 10.1109/TPAMI.2022.3196503
Swapno, S. M. R., Nobels, N. S., Islam, M. B., Haque, R., Meena, V., and Benedito, F. (2024). 「マンゴー葉の病害を高速かつ効率的に検出するための新しい機械学習アプローチ」. In Proceedings of the 3rd International Conference on Computing and Machine Intelligence (ICIMI), pp. 1–7.
Thummisetit, B. S. P., and Atluri, H. (2024). 「フェデレーテッドラーニングのパラダイムを通じてプライバシーとセキュリティを強化するヘルスケア情報学の進展」. International Journal of Sustainable Development
Wang, Y., Guo, J., Zhang, J., Guo, S., Zhang, W., and Zheng, Q. (2023). 「多次元個人化エッジモデルによるより公平で効率的なフェデレーテッドラーニングへの道筋」. In Proceedings of the 2023 International Joint Conference on Neural Networks (IJCNN), pp. 1–8. IEEE.
Wei, K., Li, J., Ding, M., Ma, C., Yang, H., Farokhi, F., et al. (2020). 「差分プライバシーを用いたフェデレーテッドラーニング：アルゴリズムと性能解析」. IEEE Transactions on Information Forensics and Security 5, 3454–3469. DOI: 10.1109/TIFS.2020.2988575
Yang, Q., Huang, A., Fan, L., Chan, C. S., Lim, J. H., Ng, K. W., et al. (2023). 「プライバシー保護とモデル知的財産権保護を備えたフェデレーテッドラーニング」. Machine Intelligence Research 20, 19–37. DOI: 10.1007/s11633-022-1343-2
Yang, Q., Liu, Y., Chen, T., and Tong, Y. (2019). 「フェデレーテッド機械学習：概念と応用」. ACM Transactions on Intelligent Systems and Technology 10, 1–19. DOI: 10.1145/3539474
Yu, H., Liu, Z., Liu, Y., Chen, T., Cong, M., Weng, X., et al. (2020). 「フェデレーテッドラーニングの公平性を考慮したインセンティブスキーム」. In Proceedings of the AAAI/ACM Conference on Ethics and Society, pp. 393–399.
Zalya, C. V. G. (2019). 「機械学習におけるデータ前処理効果の説明へ向けて」. In Proceedings of the 2019 IEEE 35th International Conference on Data Engineering (ICDCE), pp. 2086–2090. IEEE.
Zhuo, H. H., Feng, W., Lin, Y., Xu, Q., and Yang, Q. (2019). 「フェデレーテッド深層強化学習」. arXiv preprint arXiv:1901.08277. DOI: 10.48550/arXiv.1901.08277

Frontiers in Computer Science

17
frontiersin.org

Urine protein	Serum creatinine	AST	ALT	GTP	Oral dental	Tartar	Smoking
1	0.7	18	19	27	Y	Y	0
1	0.6	22	19	18	Y	Y	0
1	1	21	16	22	Y	N	1
1	1	19	26	18	Y	Y	0
1	0.6	16	14	22	Y	N	0

Urine protein	Serum creatinine	AST	ALT	GTP	Oral dental	Tartar	Smoking
1	0.7	18	19	27	Y	Y	0
1	0.6	22	19	18	Y	Y	0
1	1	21	16	22	Y	N	1
1	1	19	26	18	Y	Y	0
1	0.6	16	14	22	Y	N	0

Daily Papers

エクスプローラー

fuladi25a_ja

A reliable and privacy-preserved federated learning framework for real-time smoking prediction in healthcare

OPEN ACCESS

A reliable and privacy-preserved federated learning framework for real-time smoking prediction in healthcare

Abstract

KEYWORDS

1 Introduction

1.1 Background information on federated learning

1.2 Research objective and significance of the study

1.3 Limitations of existing works

2 Related works

Frontiers in Computer Science

Coughlin et al. (2020)

Sinha and Ghosh (2024)

Rajendran et al. (2021)

Kugic et al. (2024)

Huang et al. (2024)

Hu L. et al. (2020)

現在の文献概要

Table 1 の概要

Limitation 1: Lack of Diversity in Training Data

Limitation 2: Lack of Standardized Evaluation Metrics

Addressing the Limitations

2.1 Research gaps

3 Proposed methodology

3.1 Dataset description

3.2 Machine learning approach for smoking dataset

Data preprocessing

Frontiers in Computer Science

TABLE 2 One–nine columns values of the smoking dataset.

TABLE 3 10–18 columns values of the smoking dataset.

TABLE 4 19–27 columns values of the smoking dataset.

Model Selection

Model Training and Evaluation

Model training:

Model evaluation:

Model selection:

Frontiers in Computer Science

3.3 Federated learning approach for the smoking dataset

3.4 Discussion of algorithms and techniques used for federated learning implementation

Dataset Splitting

Dataset Splitting

3.5 Federated learning architecture

Brief overview of the smoking dataset

Figure 2

Table 5

3.6 Mathematical models for ML and FL algorithms

1. Logistic Regression

2. Decision Tree

3. Random Forests

4. Support Vector Machines (SVM)

5. K-Nearest Neighbors (KNN)

4 Results

4.1 Experimental setup: data pre‑processing steps

4.1.1 Training process and parameter settings

4.1.2 Federated learning subset creation

4.1.3 Privacy‑preserving techniques

4.1.4 Training and aggregation

4.1.5 Model evaluation

4.1.6 Implementation of federated averaging algorithm

Table 5

Discussion

5. KNeighborsClassifier

4. Support Vector Machines (SVM)

6. Federated Learning

References

4.2 Presentation of the experimental results

4.2.1 Performance metrics

Algorithm 2

結果

4.3 How is federated learning superior to traditional machine learning

Frontiers in Computer Science

Algorithm 3. Precision, Recall, and F1‑Score の計算アルゴリズム

表 6 モデル比較（性能指標）

4.3.1 Comparative analysis

Figure 7

Figure 8

Figure 9

Table 1 の概要

Figure 2

Table 5

Table 5

Algorithm 2

表 6 モデル比較（性能指標）

Figure 7

Figure 8

Figure 9

Urine protein	Serum creatinine	AST	ALT	GTP	Oral dental	Tartar	Smoking
1	0.7	18	19	27	Y	Y	0
1	0.6	22	19	18	Y	Y	0
1	1	21	16	22	Y	N	1
1	1	19	26	18	Y	Y	0
1	0.6	16	14	22	Y	N	0