The Right to be Forgotten in Pruning: Unveil Machine Unlearning on Sparse Models

原題: The Right to be Forgotten in Pruning: Unveil Machine Unlearning on Sparse Models 著者: Y Xiao, G Li, J Ji, R Ye, X Ma, B Hui | 会議: arxiv.org 2025 | 引用: 0 PDF: xiao25a.pdf

arXiv:2507.18725v2 [cs.LG] 2 Dec 2025

The Right to be Forgotten in Pruning: Unveil Machine Unlearning on Sparse Models

Yang Xiao University of Tulsa

Gen Li Clemson University

Jie Ji Clemson University

Ruimeng Ye University of Tulsa Xiaolong ma The University of Arizona

Xiaolong ma The University of Arizona

Abstract

機械的忘却（machine unlearning）は、訓練済みモデルから削除されたデータに関する記憶を効率的に除去し、忘れられる権利に対応することを目指します。既存の忘却アルゴリズムは多数提案されていますが、スパース（疎）化されたモデルに対する忘却については十分に研究されていません。本稿では、削除データがスパースモデルのプルーニング構造に影響を与えることを実証的に確認しました。観測結果と忘れられる権利に基づき、「un‑pruning」という新しい用語を定義し、削除データの影響を除去したプルーニング構造を得る手法を提案します。

任意の既存忘却アルゴリズムを本提案の un‑pruning ワークフローに組み込むことが可能であり、理論的に un‑pruning の誤差は上限が保証されています。
提案した un‑pruning アルゴリズムは、構造化プルーニングと非構造化プルーニングの両方に適用できます。

実験では、Membership Inference Attack（MIA）精度だけではモデルが削除データを忘れているかどうかを評価するのに十分でないことを確認し、スパースモデル向けに新しい性能指標を導入しました。さらに、さまざまなプルーニング手法と忘却アルゴリズムを組み合わせた実験により、提案手法の有効性を広範に検証しました。コードは https://github.com/NKUShaw/SparseModels にて公開しています。

1 Introduction

「忘れられる権利」は、GDPR（General Data Protection Regulation）や CCPA（California Consumer Privacy Act）、カナダの消費者プライバシー保護法（CPPA）などに示された AI 分野における新たな原則です [1‑3]。
直感的な忘却戦略として、削除されたデータを除いた残りのデータだけでモデルを再訓練し、削除データが存在しなかったかのように新しいモデルを得る方法があります。しかし、複雑なモデルに対して頻繁に削除要求に対応する際には、再訓練はコストが高くなることがあります。そこで、機械的忘却（machine unlearning）手法が多数提案され、再訓練せずにモデルを効率的に更新できることが示されています [4‑21]。

既存の忘却アルゴリズムは成功を収めていますが、スパース化されたモデルに対する忘却についてはまだ十分に研究されていません。スパースモデルへの忘却は非自明です。図 1(a) では、元データでプルーニングしたスパースモデルと、残りのデータ（5% を削除）で再プルーニングしたモデルとの差異を可視化しています。具体的には Lottery Ticket Hypothesis [22] を用いて、元データと残りのデータそれぞれでモデルをプルーニングしました。

ほとんどのプルーニングされたパラメータインデックスは二つのスパースモデルで異なります。
ResNet‑18（60% のスパース率）において、プルーニングされたインデックスの重複率は約 58% です。

構造化プルーニングでも同様に、プルーニングされたチャネルが大きく異なることが図 1(b) から分かります。これらの結果は、プルーニングされたインデックスはデータ依存であることを示しています。

この観察に基づき、次の新しい研究課題を提起します：

課題：スパースモデルにおいて、削除されたデータの影響を除去したプルーニング構造を得るにはどうすればよいか？

具体的には、元のスパースモデルが持つ「忘れられた」データの影響を取り除き、残りのデータだけで再プルーニングしたかのように見える新しいスパースモデルを作成します。

un‑pruning を新たな用語として定義し、削除データがプルーニングに与える影響を除去するプロセスを指します（表 1 参照）。
un‑pruning の特徴は次の通りです：
1. 再訓練＋再プルーニングはゴールドスタンダードですが、頻繁なデータ削除に対して大規模モデルで実行するのはコストがかかります。
2. 従来の忘却アルゴリズムはスパースモデルの残存パラメータを更新しますが、プルーニングされた構造自体は変更できません。これに対し、un‑pruning ではプルーニング構造も更新できます。
3. ユーザーは削除データがプルーニングに与えた影響を取り消す権利を持ちます。実証的に、削除データはスパースモデルの構造に対して大きな影響を与えることが分かります（例：ResNet‑18 の 40% スパース率で、元のスパースモデルと比較して un‑pruned モデルの方が訓練データ再構築精度がやや低くなります）。
4. プルーニングは学習プロセスの一形態とみなすことができ、忘却は「プルーニングされた」情報を取り除くことに対応します。

本稿では、任意の既存忘却アルゴリズムを組み合わせて使用できる un‑pruning アルゴリズムを提案します。具体的には：

プルーニングされたパラメータを「活性化」させ、構造変更が可能になるようにします。
既存の忘却アルゴリズムで削除データの影響を推定し、新しいパラメータとプルーニング構造（マスク）を近似します。
プルーニングされた構造は元のスパース率に合わせて調整され、再プルーニングした結果と比較できるようにします。

このアルゴリズムは 非構造化 と 構造化 の両方のプルーニングに対して適用可能です。理論的に、un‑pruning のマスク誤差は上限が保証され、スパース率に依存して特性付けられます。

実験では、従来の忘却評価指標であるテスト精度（TA）、忘却精度（UA）に加えて Membership Inference Attack（MIA）を報告しました。ただし、MIA はモデルが削除データを忘れているかを測る指標として必ずしも信頼できないことが実証されました。そこで、以下の新しい評価指標を導入します：

構造的類似度：再プルーニングされたスパースモデルと un‑pruned スパースモデルが持つプルーニングインデックスの交差率（intersection ratio）を計算し、2 つの構造の類似度を定量化します。

実験結果は、様々な忘却アルゴリズムとプルーニング手法に対して提案手法が有効であることを示しています。

貢献点

プルーニングにおけるデータ依存性と MIA の脆弱性を実証的に調査しました。
「削除データの影響を除去したプルーニング構造」を得るという新しい研究課題を提示しました。
任意の忘却アルゴリズムを組み込める un‑pruning アルゴリズムを提案し、非構造化・構造化プルーニングの両方に対応できることを示しました。
新しい評価指標を設計し、広範な実験で提案手法の有効性と効率性を検証しました。

2 Preliminary

Machine Unlearning

モデル $A$ を完全データセット $D$ 上で訓練したとします。ユーザーはデータ $D_{f} \subseteq D$ の削除を要求でき、忘却は次の手順で行われます：

$D_{r} = D ∖ D_{f}$ とし、残りのデータ $D_{r}$ を用いて新しいモデル $A_{u}$ を生成します。
直感的には再訓練により得られるモデル $A_{r}$ （ $D_{r}$ のみで訓練）と同等になるように、元のモデル $A$ から直接更新したモデル $A_{u}$ が求められます。

近似忘却アルゴリズム [8‑10, 36, 37] は、再訓練せずに $A$ から直接新しいモデル $A_{u}$ を生成し、
[ A_r(\cdot) \approx A_u(\cdot) ] を満たすようにします。

Pruning

プルーニングには 非構造化 と 構造化 の二種類があります [38‑44]。モデル $A$ のパラメータ集合を $Θ$ とし、

非構造化プルーニングはバイナリマスク $M$ （ $∣ M ∣ = ∣Θ∣$ ）を導入し、 $M_{ij} = 0$ がその位置の重みをゼロにします。例として Lottery Ticket Hypothesis [22] では、絶対値が小さい重みから順にマスクします。
構造化プルーニングはフィルタ、チャネル、層などの単位で削除を行い、 $A = {s_{1}, s_{2}, \dots, s_{L}}$ の各要素 $s_{i}$ （例：チャネル集合）を部分集合 $s_{i}^{'} \subseteq s_{i}$ に置き換えてプルーニングします。

Problem Setup

スパースモデルは、重み $Θ$ とマスク $M$ の積 $Θ ⊙ M$ で表現されます。元データ $D$ 上で訓練・プルーニングされたスパースモデル $A$ を考え、サブセット $D_{f} \subseteq D$ （削除対象）を除去した残りのデータ $D_{r} = D ∖ D_{f}$ に対して次の課題が設定されます：

課題：元のマスク $M$ のまま、または新しいマスク $M_{u}$ を用いて、
[ A_u = (\Theta_u) \odot M_u ]
を生成し、再訓練＋再プルーニングした結果と同等になるようにする。

再訓練＋再プルーニングは計算コストが高くなることがあるため、直接 $Θ_{u}$ と $M_{u}$ を求めることで効率的に課題を解決します。

3 Un‑pruning

Challenge

プルーニングされたパラメータは訓練時に固定されるため、従来の忘却アルゴリズムは パラメータ のみを更新し、マスク（プルーニング構造）自体は変更できません。先行研究 [45] でもスパースモデルに対する忘却が検討されていますが、マスクの更新は行われていませんでした。

Proposed Algorithm

本稿では、再訓練・再プルーニングせずに新しいパラメータと新しいマスクを直接生成する un‑pruning アルゴリズムを提案します。アルゴリズム 1（以下）に概要を示します。

Algorithm 1: Un‑pruning
Input: Original sparse model A = (Θ, M), deleted data D_f, remaining data D_r,
        unlearning algorithm U (e.g., influence-based or second-order methods)
Output: Updated sparse model A_u = (Θ_u, M_u)
 
1. Activate pruned parameters:
   - Set the mask of pruned entries to 1 temporarily so that they can be updated.
2. Compute influence of deleted data on the original model using U,
   obtaining a set of updates ΔΘ and ΔM for the activated parameters.
3. Apply updates to obtain new parameters Θ_u = Θ + ΔΘ
   and new mask M_u = M + ΔM (where added entries become 1).
4. Prune back to the original sparsity level:
   - Retain the top‑k entries of |Θ_u| according to magnitude,
     where k is determined by the target sparsity.
5. Return A_u = (Θ_u, M_u).

この手順により、

パラメータ は削除データの影響を除去した形で更新され、
マスク も新しいプルーニング構造を反映して調整されます。

理論的には、再訓練＋再プルーニングと比較したときのマスク誤差は上限が保証され、スパース率に依存して特性付けられます。

4 Experiments

（実験詳細は論文本文をご参照ください）

データセット：CIFAR‑10、FashionMNIST、ImageNet など。
プルーニング手法：Lottery Ticket Hypothesis、Magnitude pruning、L2‑norm pruning、Structured channel pruning など。
忘却アルゴリズム：Influence Function, Second‑order Approximation, Randomized Smoothing, etc.

Metrics

Metric	Definition
Test Accuracy (TA)	標準的なテスト精度
Unlearning Accuracy (UA)	再訓練＋再プルーニングしたモデルと比較したときの精度差
Membership Inference Attack (MIA)	メンバーシップ推定攻撃による正確度
Intersection Ratio	再プルーニングされたマスクと un‑pruned マスクの共通インデックス比率

Results

MIA は削除データ量が小さくても変動しやすく、信頼性が低いことが確認できました。
提案した Intersection Ratio が高いほど、un‑pruning 後のプルーニング構造が再プルーニング結果に近いことを示します。
各データセット・プルーニング手法・忘却アルゴリズムの組み合わせで、提案手法は TA と Intersection Ratio の両方で一貫して良好な性能を示しました。

5 Conclusion

本研究では、スパースモデルに対する「忘れられる」プロセスとして un‑pruning を導入し、削除データがプルーニング構造に与える影響を除去する手法を提案しました。任意の既存忘却アルゴリズムと組み合わせ可能で、理論的に誤差上限が保証され、非構造化・構造化プルーニングの両方に適用できます。新しい評価指標 Intersection Ratio を用いることで、スパースモデルの忘れられる度合いを定量的に測定できました。実験結果は、提案手法が多様なデータセット・プルーニング手法・忘却アルゴリズムに対して有効であることを示しています。

※ 本稿で使用したコードは https://github.com/NKUShaw/SparseModels にて公開されています。

Bo Hui $^{*}$ University of Tulsa (cont.)

Algorithm 1: Un‑pruning

入力

モデルパラメータ $Θ$
マスク $M$
元データセット $D$
削除データセット $D_{f}$
元のスパース率 $s_{Θ}$
アンプルーニング比 $p_{Θ}$
忘却アルゴリズム $U$
アンプルーニングイテレーション数 $T$

出力

新しいパラメータ $Θ_{u}$
新しいマスク $M_{u}$

for each iteration $t = 0, 1, 2, \dots, T - 1$ do
ランダムにプルーニングされたパラメータを非ゼロ値で再初期化する:
$Θ \leftarrow Θ + (1 - M) Θ_{0}$
全結合モデルに対して忘却（任意の忘却アルゴリズム）を実行する:
$Θ \leftarrow U (Θ, D_{f}, D)$
マスク $M$ を更新し、対応するパラメータの絶対値が最大の $p_{Θ}$ 個のインデックスを 1 に設定する。
パラメータを更新する: $Θ \leftarrow Θ ⊙ M$
end for
新しいモデルを元のスパース率 $s_{Θ}$ までプルーニングする（絶対値が小さい順にマスクし、該当インデックスを 0 にする）。
$Θ_{u} = Θ$ , $M_{u} = M$

各イテレーションでは、まずプルーニングされたパラメータを「アンフリーズ」し、再初期化して忘却アルゴリズムを適用します。

再初期化は、ほとんどの忘却アルゴリズムにおいてゼロ値のパラメータが変化せず、プルーニングされたインデックスも変わらないことから行います。本稿では、元の初期化とランダム初期化という 2 種類の再初期化戦略を導入し、実験でその違いを調査しました。
更新後は、絶対値が大きいプルーニングインデックス $p_{Θ} %$ を「復元」させます。たとえば 1 回目のイテレーションの後、スパース率は $(s_{Θ} - p_{Θ}) %$ になります。
各イテレーションで忘却を実行した後にマスクとパラメータを更新し、 $T$ 回繰り返すと最終的なスパース率は $(s_{Θ} - T \times p_{Θ}) %$ になります。
公平な比較のため、再プルーニング（repruning）と同様に ワンショット プルーニングで元のスパース率 $s_{Θ}$ に戻します。

忘却アルゴリズムの統合

本稿では、以下の 6 種類の代表的な近似忘却手法を調査しました（参考文献 [46]–[53]）:

GradientAscent
SCRUB
Fisher
WoodFisher
CertifiedUnlearning
SFRON

これらの忘却アルゴリズムは目的関数が異なるものの、すべて本手法に組み込むことが可能です。

アンプルーニングの適用範囲

アンプルーニング戦略は、追加パラメータを必要としない 非構造化 のプルーニングアルゴリズムに対して有効です。各イテレーションで最も重要なチャンネル、フィルタ、または層を「アンフリーズ」し、以下の基準で重要度を選択します。

例として Soft Filter Pruning [54] では、訓練時に $l_{2}$ ノルムが大きいフィルタをプルーニング対象とします。同様に、復元すべきフィルタも $l_{2}$ ノルムに基づいて選択できます。
構造化プルーニングアルゴリズム（BiP [55]–[57] など）は、追加の学習可能なパラメータでプルーニング対象を決定します。これらのアルゴリズムに対しては、忘却アルゴリズムがモデル自体だけを更新する点に留意し、必要に応じて新しい忘却手法を開発することが推奨されます。

アンプルーニングの評価

忘却されたモデルと再訓練（repruned）したモデルとの類似度は、忘却アルゴリズムの品質を測る指標として広く用いられています [35]。しかし、構造的類似性 を測定する方法はまだ確立されていません。ここでは、2 つのプルーニングモデル間の交差率（Intersection of Masks, IoM）と和集合率（Union of Masks, UoM）を次のように定義します。

[ IoM = \frac{| M_{u} \odot M_{r} |_{1}}{N} \tag{1} ]

[ UoM = \frac{| M_{u} + M_{r} - M_{u} \odot M_{r} |_{1}}{N} \tag{2} ]

ここで $∥ \cdot ∥_{1}$ はマスク中の 1 の個数を表し、 $N$ は全パラメータ数です。
$M_{u}$ と $M_{r}$ をそれぞれ アンプルーニング 後のマスクと 再プルーニング 後のマスクとします。

交差率と和集合率から、Intersection‑over‑Union（IoU）を次のように計算できます。

[ IoU = \frac{| M_{u} \odot M_{r} |{1}}{| M{u} + M_{r} - M_{u} \odot M_{r} |_{1}} \tag{3} ]

図 2 は、異なる忘却アルゴリズムと組み合わせたアンプルーニングにおける交差率を可視化したものです。また、忘却精度（unlearning accuracy）も併せて示し、提案したアンプルーニング手法が忘却精度を保ちつつ構造的類似性も向上させていることを確認しました。

KL ダイバージェンスによる評価

構造的類似性に加えて、KL ダイバージョン（Kullback‑Leibler divergence）[48] を用いてモデル分布の差異を測定します。

[ K(\Theta_{u}, \Theta_{r}, M_{u}, M_{r}) = \mathrm{KL}\bigl( P(M_{u,i} \odot \Theta_{u,i}) ,|, P(M_{r,i} \odot \Theta_{r,i}) \bigr) ]

ここで $P (\cdot)$ はマスクされたパラメータに対する確率分布を表します。

以上が、un‑pruning 手法の詳細と評価指標に関する説明です。

To estimate the un‑pruning error regarding $M$ , we approximate the unlearning error in [45] in the un‑pruning process

具体的には、まず初期マスク $M^{0} = M$ を中心に損失関数を二次テイラー展開で近似する。

[ L (M) = L (1) + \frac {1}{2} (1 - M) ^ {T} \mathbb {E} \left[ \frac {\partial^ {2} L (1)}{\partial M ^ {2}} \right] (1 - M) \tag{10} ]

Hessian 行列の定義

損失関数のヘッセ行列を次のように表す。

[ H = \nabla^ {2} L (\Theta ; D _ {f}) \tag{11} ]

パラメータ変化の近似

この時点で、パラメータの変化は次のようになる（近似）:

[ \Delta (\tilde {\Theta}) := \tilde {\Theta} - \tilde {\Theta} ^ {0} \approx H ^ {- 1} \nabla L \left(\tilde {\Theta} _ {o}; D _ {f}\right) \tag{12} ]

最大特異値

ここで、最大特異値を次のように定義する。

[ \lambda (M) := \max \left{\lambda_ {j} (H), 1 \right} \tag{13} ]

全体的なパラメータ変化（文献 [4] の結果）

文献 [4] によれば、全体のパラメータ変化は次のように書ける。

[ \tilde {\Theta} ^ {t} \approx \tilde {\Theta} _ {0} + \eta \sum_ {i = 0} ^ {t - 1} \frac {\partial L}{\partial \tilde {\Theta}} + \sum_ {i = 1} ^ {t - 1} k (i) \tag{14} ]

ここで $k (i)$ を次のように再帰的に定義する。

[ k (i) = - \eta \frac {\partial^ {2} L}{\partial^ {2} \tilde {\Theta}} (k (i - 1)), \qquad k (0) = 0 \tag{15} ]

マスクを導入したパラメータ変化

マスクを導入すると、パラメータ変化は次の形に書き換えられる。

[ \tilde {\Theta} ^ {t} \approx \tilde {\Theta} _ {0} + \eta M ^ {t - 1} \sum_ {i = 1} ^ {t - 1} \nabla L \left(M ^ {t - 1} \odot \tilde {\Theta} ; D _ {f}\right) + M ^ {0} \sum_ {i = 1} ^ {t - 1} k (i) \tag{16} ]

アンプルーニング誤差

式 (6) と式 (16) を比較すると、アンプルーニング誤差（元の $Θ_{0}$ と $\tilde{Θ}^{t}$ の間の差）は次のようになることが分かる。

[ \boxed{ \tilde{\Theta}^{t} - \Theta_{0} } ]

Bo Hui $^{*}$ University of Tulsa

[ e(g(\Theta)) = \left|M^{0}\sum_{i=1}^{t-1}k(i)\right|{2} \approx \eta^{2}\Bigl|\operatorname{diag}^{(0)}\sum{i=1}^{t-1} \nabla^{2}l(\Theta_{0}, D_{f})\sum_{j=0}^{i-1}M^{0}\odot \nabla l(\Theta_{0}, D_{f})\Bigr|_{2} \tag{17} ]

三角不等式より

[ e(g(\Theta)) \le \frac{\eta^{2}}{2}(t-1) \bigl|M^{0}\odot(\Theta^{t}-\Theta_{0})\bigr|_{2} \lambda(M^{0}) \tag{18} ]

まとめると、マスクに関するアンプルーニング誤差の上限は最大特異値 (\lambda(M)) とモデルのスパース性で表せる。

[ e(g(\Theta)) = O!\left(\eta^{2}t|M\odot\Theta|_{2},\lambda(M)\right) \tag{19} ]

Table 3

KL divergence at different sparsity levels

Method	40 %	60 %	95 %
Original	19.06	19.68	21.79
Retrain	0.00	0.00	0.00
Fisher	16.47	16.85	15.09
WoodFisher	19.06	19.68	21.79
GradientAscent	19.05	19.66	21.79
CertifiedUnlearning	16.49	19.32	19.08
SCRUB	19.04	19.57	21.54
SFRon	19.03	19.60	21.59

理論は Table 3 の結果で実証できる。スパース率が高くなるほど、un‑pruning（再プルーニング）と re‑pruning の間の KL ダイバージェンスも大きくなり、アンプルーニング誤差がデータに依存していることが確認できる。

さらに KL ダイバージェンスを調べる

[58] を参照し、次の不等式を導入する。

[ \begin{aligned} \mathbb{E}{\Theta}!\bigl[L(\Theta;M;D)\bigr] &\le \mathbb{E}{\Theta}!\bigl[L(\Theta;M;D_{r})\bigr] \ &\quad + \sqrt{\frac{\mathrm{KL}(Q|P)+\log\frac{|D_{r}|}{\delta}} {2(|D_{r}|-1)}}, \qquad \forall \delta>0 . \end{aligned} \tag{20} ]

ここで (Q) と (P) はそれぞれ事前分布と事後分布である。

[ \mathrm{KL}(Q|P) \le \frac12\sum_{i}\Bigl(1+k_i\log!\bigl(\tfrac{1+\alpha_i^{2} |\Theta_i^{t}-\Theta_i^{0}|}{k_i\sigma_{Q,i}^{2}}\bigr)\Bigr), \tag{21} ]

(k_i) はモジュール (i) のパラメータ数、(\sigma) はガウスノイズの標準偏差である。

さらに次の不等式が得られる（[59]）：

[ \begin{aligned} \mathbb{E}{\Theta}!\bigl[L(\Theta;M;D)\bigr] -\mathbb{E}{\Theta}!\bigl[L(\Theta;M;D_{r})\bigr] &\le \sqrt{ \frac{\displaystyle\frac14\sum_{i=1}^{k_i} \log!\Bigl(1+\frac{\mu_{i,\epsilon}(\Theta)}{n_i}\Bigr)

\log!\bigl(\tfrac{|D_r|}{\sigma}\bigr)
\tilde O(1)} {|D_r|-1} }. \end{aligned} \tag{22} ]

ここで

[ \mu_{i,\epsilon}(\Theta)= \min_{0\le\alpha_i,\sigma_i\le1} \Bigl{ \frac{\alpha_i^{2}|\Theta^{t}-\Theta_i^{0}|^{2}}{\sigma_i} ;\bigg|; \mathbb{E}_{u\sim N(0,\sigma_i^{2})} L(\theta_i;D_r)\le\epsilon \Bigr}. \tag{23} ]

以上より、un‑pruning と re‑pruning の差は上記の不等式で上限が示される。

4 Experiment

本研究では [45] を参考に実験を設定した。具体的には次の 3 種類のモデルをプルーニング対象とした：ResNet‑18、AlexNet、ViT。
各モデルは CIFAR‑10、FashionMNIST、ImageNet の 3 データセット上で学習・プルーニングした。すべてのデータセットとモデル構成について、ランダムに 10 % のサンプルを削除した。

非構造化プルーニング：LTH [22] を使用
構造化プルーニング：Soft Filter Pruning [54] を使用

スパースモデルは学習データの再構成が可能であり、これはモデルがデータを「記憶」していることを示す。ここでは 40 % スパース率の ResNet‑18 が訓練データをどれだけ保持しているかを評価した。

プルーニング後は以下の指標を導入した：

IoM（Intersection over Mask）
TA（Test Accuracy）
UA（Unlearning Accuracy）
MIA（Membership Inference Attack）

注記：MIA は機械学習におけるプライバシー評価指標として広く用いられるが、今回の実験では MIA が比較的脆弱であることが確認できた。

Figure 3

構造化プルーニングにおける IoM の結果を示す。

Figure 4

非構造化プルーニングにおける IoM の結果を示す。

Figure 5

非構造化プルーニングの IoU（Intersection over Union）を示す。

Figure 6

「元の初期化」 vs. 「ランダム初期化」の比較。図 6 から、元の初期化がランダム初期化よりも高い性能を示すことが分かる。これは元の初期化がパラメータ分布を安定させ、プルーニング後のモデルがより良い再構成能力を持つことを意味する。

Table 4

実行時間（秒）

	40 %	60 %	95 %
Retraining + Repruning	6749	12217	39235
Fisher	189	182	184
WoodFisher	50	48	48
Gradient Ascent	1793	1778	1779
Certified Unlearning	878	908	846
SCRUB	133	132	134
SFRON	91	89	88

5 Vulnerability of MIA in machine unlearning

当初、MIA（Membership Inference Attack）を基準指標として使用し、ベースライン結果を算出した。実験の過程で次のことが分かった：

MIA の Correctness：データが訓練集合に属しているかどうかを判定する精度は、サンプルサイズやデータ分布に依存しやすい。
Confidence, Entropy, Probability などの指標も併せて評価した。

Figure 7

5 種類の性能指標（Correctness, Confidence, Entropy, Probability, …）をレーダーチャートで示す。

Figure 8

MIA の Correctness を示す。サンプルサイズが一定範囲を超えると、Correctness が安定し、逆に小さい／大きい場合は 0〜1 の間で変動する。

他の指標についても、データ比率を調整することで任意の値（0〜1）を取り得ることが確認できた（付録参照）。特に MIA は比較的脆弱で、訓練データが削除されたことを正確に示すかどうかは、サンプルサイズやデータ分布に依存する。

Pruning

モデルのサイズが大きくなるにつれて、パラメータ数を削減しつつ精度を保つ pruning が注目されている。主な手法は次の二種類に分類できる：

構造化プルーニング：層やチャネルといった「構造」単位で重みを削除する（例：[67]–[76]）。
非構造化プルーニング：個々の重みをランダムに削除し、チャネル全体ではなく細かいパラメータまで削減できる（例：[77]–[83]）。

最近の研究では、プルーニングされたマスクが訓練データに対して感度が高いことが示されている（[60]）。また、モデルの sparsitization は機械学習におけるプライバシー保護を簡略化する効果があると報告されている（[9]）。

Machine Unlearning

機械学習において「忘れさせる」タスクは、削除されたデータの影響を除去したモデルを作成することを指す。主なアプローチは次の二つ：

Exact unlearning：再訓練により、削除データが完全に反映されたモデルを得る（例：[6], [53], [85]–[93]）。
Approximate unlearning：元のモデルを更新するだけで、削除効果を近似的に表現する（例：[46], [90], [100]）。

既存研究は主に dense（非スパース）モデルでの実験が中心だが、スパースモデルに対する機械学習忘れの研究はまだ十分でない。文献 [45] でもスパース化されたモデルに対して忘れを検討しているが、マスク自体を更新する手順は含まれていない。

7 Conclusion

本稿では、プルーニングがデータ依存性を持つことを実証し、un‑pruning アルゴリズムを提案した。具体的には、再訓練や再プルーニングを行わずに、残されたデータだけでマスクを近似的に更新することで、元のプルーニング構造を保ちつつ忘れられたデータの影響を除去できる。理論的には、un‑pruning と re‑pruning の差は最大特異値 (\lambda(M)) とモデルスパース性で上界が示され、実験結果でもこの上界が妥当であることが確認できた。

References

[1] A. J. Biega and M. Finck, “Reviving purpose limitation and data minimisation in data‑driven systems,” arXiv preprint arXiv:2101.06203, 2021.

[2] P. Regulation, “Regulation (EU) 2016/679 of the European Parliament and of the Council,” Regulation (EU), vol. 679, p. 2016, 2016.

[3] C. OAG, “CCPA regulations: Final regulation text,” Office of the Attorney General, California Department of Justice, p. 1, 2021.

[4] A. Thudi, G. Deza, W. Chandrasekaran, and N. Papernot, “Unrolling SGD: Understanding factors influencing machine unlearning,” in 2022 IEEE 7th European Symposium on Security and Privacy (EuroSP). IEEE, 2022, pp. 303–319.

[5] S. Schelter, “Amnesia—towards machine learning models that can forget user data very fast,” in 1st International Workshop on Applied AI for Database Systems and Applications (AIDB19), 2019.

[6] L. Bourtoule, V. Chandrasekaran, C. A. Choquette‑Choo, H. Jia, A. Travers, B. Zhang, D. Lie, and N. Papernot, “Machine unlearning,” in 2021 IEEE Symposium on Security and Privacy (SP). IEEE, 2021, pp. 141–159.

[7] A. Mahadevan and M. Mathioudakis, “Certifiable machine unlearning for linear models,” arXiv preprint arXiv:2106.15093, 2021.

[8] B. Zhang, Y. Dong, T. Wang, and J. Li, “Towards certified unlearning for deep neural networks,” arXiv preprint arXiv:2408.00920, 2024.

[9] J. Liu, P. Ram, Y. Yao, G. Liu, Y. Liu, P. Sharma, S. Liu et al., “Model sparsity can simplify machine unlearning,” Advances in Neural Information Processing Systems, vol. 36, 2024.

[10] J. Liu, J. Lou, Z. Qin, and K. Ren, “Certified minimax unlearning with generalization rates and deletion capacity,” Advances in Neural Information Processing Systems, vol. 36, 2024.

[11] A. Golatkar, A. Achille, and S. Soatto, “Eternal sunshine of the spotless net: Selective forgetting in deep networks,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 9304–9312.

[12] H. Xu, T. Zhu, L. Zhang, W. Zhou, and P. S. Yu, “Machine unlearning: A survey,” 2023. [Online]. Available: https://arxiv.org/abs/2306.03558

[13] S. Pal, C. Wang, J. Differderfer, B. Kailkhura, and S. Liu, “LLM unlearning reveals a stronger‑than‑expected coreset effect in current benchmarks,” arXiv preprint arXiv:2504.10185, 2025.

[14] (未記載の文献は本文中で参照されたものを含む)

（※ 参考文献リストは元の通りに残しています。）

Bo Hui $^{*}$ University of Tulsa (cont.)

S. Liu ら は「大規模言語モデルに対する機械的忘却の再考」と題し、Nature Machine Intelligence に掲載され、ページ 1–14（2025年）。
C. Fan ら は「再学習攻撃に対して頑健な LLM の忘却へ向けて：鋭さ認識最小化の視点とそれ以外」と題し、arXiv preprint arXiv:2502.05374（2025年）。
C. Sun ら は「忘れベクトルの活躍：画像分類における機械的忘却を駆動する汎用入力摂動」と題し、arXiv preprint arXiv:2412.16780（2024年）。
H. Zhuang ら は「UOE：Mixture‑of‑Experts LLM に対して、1つのエキスパートだけを忘却すれば十分」と題し、arXiv preprint arXiv:2411.18797（2024年）。
C. Fan ら は「シンプルさが勝る：LLM の忘却に対する負の好み最適化を再考」と題し、arXiv preprint arXiv:2410.07163（2024年）。
Y. Zhou ら は「分離された蒸留で消去：任意のクラス中心タスクに対する汎用的な忘却手法」と題し、arXiv preprint arXiv:2503.23751（2025年）。
Y. H. Khalil ら は「NOT：重み反転によるフェデレーテッド忘却」と題し、arXiv preprint arXiv:2503.05657（2025年）。
C. N. Spartalis ら は「LOTUS：不確実性の味を加えた大規模機械的忘却」と題し、arXiv preprint arXiv:2503.18314（2025年）。
J. Frankle と M. Carbin は「ロッタリーチケット仮説：スパースで学習可能なニューラルネットワークの探索」と題し、7th International Conference on Learning Representations（ICLR 2019）にて発表。
W. Wang、Z. Tian、S. Yu は「機械的忘却：包括的なサーベイ」と題し、arXiv preprint arXiv:2405.07406（2024年）。
Y. Qu ら は「忘却を学ぶ：機械的忘却に関するサーベイ」と題し、arXiv preprint arXiv:2305.07512（2023年）。
E. Fosch‑Villaronga、P. Kieseberg、T. Li は「人間は忘れるが機械は記憶する：人工知能と忘れられる権利」と題し、Computational Law and Security Review 第34巻第2号（2018年）pp. 304–313。
H. Zhou、J. Lan、R. Liu、J. Yosinski は「ロッタリーチケットの分解：ゼロ、符号、スーパーマスク」と題し、Advances in Neural Information Processing Systems 第32巻（NeurIPS 2019）pp. 3592–3602。
F. Tung と G. Mori は「CLIP‑Q：並列プルーニング‑量子化による深層ネットワーク圧縮学習」と題し、2018 IEEE Conference on Computer Vision and Pattern Recognition（CVPR 2018）にて発表。
N. Haim ら は「訓練済みニューラルネットワークから学習データを再構築する」と題し、Advances in Neural Information Processing Systems 第35巻（2022年）pp. 22911–22924。
— は「訓練済みニューラルネットワークから学習データを再構築する」と題し、Advances in Neural Information Processing Systems 第35巻（NeurIPS 2022）に掲載。
M. Duan ら は「大規模言語モデルに対してメンバーシップ推論攻撃は有効か？」と題し、arXiv preprint arXiv:2402.07841（2024年）。
D. Das、J. Zhang、F. Tramèr は「盲目的ベースラインがファウンデーションモデルに対するメンバーシップ推論攻撃を上回る」と題し、arXiv preprint arXiv:2406.16201（2024年）。
J. Zhang、D. Das、G. Kamath、F. Tramèr は「メンバーシップ推論攻撃だけではモデルが自分のデータで訓練されたことを証明できない」と題し、arXiv preprint arXiv:2409.19798（2024年）。
M. Klabunde、T. Schumacher、M. Strohmaier、F. Lemmerich は「ニューラルネットワークモデルの類似性：機能的・表現的測定指標に関するサーベイ」と題し、CoRR（arXiv）abs/2305.06329（2023年）。
S. Kornblith、M. Norouzi、H. Lee、G. E. Hinton は「ニューラルネットワーク表現の類似性を再考」と題し、Proceedings of the 36th International Conference on Machine Learning（ICML 2019）pp. 3519–3529。
H. Xu ら は「機械的忘却：サーベイ」と題し、ACM Computing Surveys 第56巻第1号（2024年）pp. 91–9:36。
Y. Park ら は「ロバストで安全なテキスト‑画像モデルに対する直接的な忘却最適化」と題し、CoRR（arXiv）abs/2407.21035（2024年）。
E. Chien、H. Wang、Z. Chen、P. Li は「ランゲヴィン忘却：ノイズ付き勾配降下を用いた機械的忘却の新たな視点」と題し、CoRR（arXiv）abs/2401.10371（2024年）。
H. Cheng、M. Zhang、J. Q. Shi は「深層ニューラルネットワークプルーニングに関するサーベイ：分類法、比較、分析、推奨事項」と題し、IEEE Transactions on Pattern Analysis and Machine Intelligence 第46巻第12号（2024年）pp. 10558–10578。
Y. He と L. Xiao は「深層畳み込みニューラルネットワークの構造化プルーニング：サーベイ」と題し、IEEE Transactions on Pattern Analysis and Machine Intelligence 第46巻第5号（2023年）pp. 2900–2919。
S. Xu、A. Huang、L. Chen、B. Zhang は「畳み込みニューラルネットワークプルーニング：サーベイ」と題し、2020年第39回中国制御会議（CCC）にて発表。
H. Cheng、M. Zhang、J. Q. Shi は「深層ニューラルネットワークプルーニングに関するサーベイ：分類法、比較、分析、推奨事項」と題し、IEEE Transactions on Pattern Analysis and Machine Intelligence（2024年）に掲載。
Y. Tang ら は「Transformer 圧縮に関するサーベイ」と題し、arXiv preprint arXiv:2402.05964（2024年）。
R. Ma と L. Niu は「深層ニューラルネットワークのスパース学習手法に関するサーベイ」と題し、2018年 IEEE/WICACM International Conference on Web Intelligence（WI）にて発表。
L. Deng ら は「ニューラルネットワークのモデル圧縮とハードウェア加速：包括的サーベイ」と題し、Proceedings of the IEEE 第108巻第4号（2020年）pp. 485–532。
J. Jia ら は「モデルのスパース性が機械的忘却を簡素化できる」と題し、Advances in Neural Information Processing Systems 第36巻（NeurIPS 2023）に掲載。
L. Graves、V. Nagisetty、V. Ganesh は「忘却型機械学習」と題し、AAAI 2021（第35回）・IAAI 2021・EAAI 2021 の共同発表で掲載。
M. Kurmanji ら は「無制限の機械的忘却へ向けて」と題し、Advances in Neural Information Processing Systems 第36巻（NeurIPS 2023）に掲載。
A. Golatkar、A. Achille、S. Soatto は「永遠の晴れ渡るネットワーク：深層ネットワークにおける選択的忘却」と題し、CVPR 2020（シアトル）にて発表。
J. Foster、S. Schoepf、A. Brintup は「再訓練不要で高速に機械的忘却を実現する選択的シナプス減衰」と題し、Proceedings of the AAAI Conference on Artificial Intelligence 第38巻第11号（2024年）pp. 12043–12051。
J. Kirkpatrick ら は「ニューラルネットワークにおける破滅的忘却を克服する」と題し、Proceedings of the National Academy of Sciences 第114巻第13号（2017年）pp. 3521–3526。
S. P. Singh と D. Alistarh は「Woodfish：ニューラルネットワーク圧縮のための効率的な二階近似」と題し、Advances in Neural Information Processing Systems 第33巻（NeurIPS 2020）に掲載。
B. Zhang ら は「深層ニューラルネットワークに対する認証付き忘却へ向けて」と題し、ICML 2024（ウィーン）にて発表。
Z. Huang ら は「残存幾何学強化を伴う統一勾配ベースの機械的忘却」と題し、arXiv preprint arXiv:2409.19732（2024年）。
Y. He、G. Kang、X. Dong、Y. Fu、Y. Yang は「深層畳み込みニューラルネットワークを高速化するソフトフィルタプルーニング」と題し、arXiv preprint arXiv:1808.06866（2018年）。
Y. Zhang ら は「二段階最適化によるモデルプルーニングの進展」と題し、Advances in Neural Information Processing Systems 第35巻（2022年）pp. 18309–18326。
V. Sehwag ら は「Hydra：敵対的にロバストなニューラルネットワークのプルーニング」と題し、Advances in Neural Information Processing Systems 第33巻（2020年）pp. 19655–19666。
H. Wang と Y. Fu は「学習可能性を保つニューラルプルーニング」と題し、arXiv preprint arXiv:2207.12534（2022年）。
G. K. Dziugaite と D. M. Roy は「学習データより多くのパラメータを持つ深層（確率的）ニューラルネットワークに対する非自明な汎化境界の計算」と題し、Proceedings of the Thirty‑Third Conference on Uncertainty in AI（UAI 2017）に掲載。
N. S. Chatterji、B. Neyshabur、H. Sedghi は「深層ネットワークの汎化におけるモジュール臨界性の興味深い役割」と題し、International Conference on Learning Representations（ICLR 2020）にて発表。
H. Zhou ら は「ロッタリーチケットの分解：ゼロ、符号、スーパーマスク」と題し、Advances in Neural Information Processing Systems 第32巻（2019年）に掲載。
Y. LeCun、J. S. Denker、S. A. Solla は「最適脳損傷」と題し、Advances in Neural Information Processing Systems 第2巻（NIPS 1989）pp. 598–605。
T. Liang ら は「深層ニューラルネットワーク高速化のためのプルーニングと量子化：サーベイ」と題し、Neurocomputing 第461巻（2021年）pp. 370–403。
L. Yin ら は「外れ値重み付け層ごとのスパース性（OWL）：LLM を高スパース化するための隠れた秘訣」と題し、arXiv preprint arXiv:2310.05175（2023年）。
T. Kumar、K. Luo、M. Sellke は「無料のプルーニングはない：初期化時のプルーニングに対する情報理論的限界」と題し、arXiv preprint arXiv:2402.01089（2024年）。
H. Wang、J. Zhang、Q. Ma は「視覚‑言語モデルプルーニングのための固有次元探索」と題し、ICML 2024にて発表。
G. Bai ら は「Sparsellm：事前学習済み言語モデルの全体的プルーニングへ向けて」と題し、NeurIPS 2024にて発表。
Y. He、X. Zhang、J. Sun は「非常に深いニューラルネットワークを高速化するためのチャンネルプルーニング」と題し、ICCV 2017（ヴェニス）にて発表。
Z. Liu ら は「ネットワークスリミングを通じた効率的な畳み込みネットワーク学習」と題し、ICCV 2017（ヴェニス）にて発表。
H. Li ら は「効率的な convnet のためのフィルタプルーニング」と題し、ICLR 2017（トゥロン）にて発表。
H. Hu、R. Peng、Y. Tai、C. Tang は「データ駆動型ニューロンプルーニングによる効率的な深層アーキテクチャへのアプローチ」と題し、CoRR（arXiv）abs/1607.03250（2016年）。
W. Wen ら は「深層ニューラルネットワークにおける構造化スパース性の学習」と題し、Advances in Neural Information Processing Systems 第29巻（NeurIPS 2016）pp. 2074–2082。

Bo Hui $^{*}$ University of Tulsa (cont.)

[72] C. Hong, A. Sukumaran‑Rajam, B. Bandyopadhyay, J. Kim, S. E. Kurt, I. Nisa, S. Sabblok, Ü. V. Çatalyürek, S. Parthasarathy, and P. Sadayappan, “Efficient sparse‑matrix multi‑vector product on GPUs,” in Proceedings of the 27th International Symposium on High‑Performance Parallel and Distributed Computing, HPDC 2018, Tempe, AZ, USA, June 11‑15, 2018, M. Zhao, A. Chandra, and L. Ramakrishnan (Eds.). ACM, 2018, pp. 66–79. [Online]. Available: https://doi.org/10.1145/3208040.3208062

[73] M. Nonnenmacher, T. Pfeil, I. Steinwart, and D. Reeb, “SOSP: efficiently capturing global correlations by second‑order structured pruning,” in The Tenth International Conference on Learning Representations, ICLR 2022, Virtual Event, April 25‑29, 2022. OpenReview.net, 2022. [Online]. Available: https://openreview.net/forum?id=t5EmXZ3ZLR

[74] M. E. Halabi, S. Srinivas, and S. Lacoste‑Julien, “Data‑efficient structured pruning via submodular optimization,” in Advances in Neural Information Processing Systems 35: Annual Conference on Neural Information Processing Systems 2022, NeurIPS 2022, New Orleans, LA, USA, November 28‑December 9, 2022, S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh (Eds.). 2022.

[75] M. Yin, B. Uzken, Y. Shen, H. Jin, and B. Yuan, “GOHSP: A unified framework of graph and optimization‑based heterogeneous structured pruning for vision transformer,” in Thirty‑Seventh AAAI Conference on Artificial Intelligence, AAAI 2023, Thirty‑Fifth Conference on Innovative Applications of Artificial Intelligence, IAAI 2023, Thirteenth Symposium on Educational Advances in Artificial Intelligence, EAAI 2023, Washington, DC, USA, February 7‑14, 2023, B. Williams, Y. Chen, and J. Neville (Eds.). AAAI Press, 2023, pp. 10954–10962. [Online]. Available: https://doi.org/10.1609/aaai.v37i9.26298

[76] A. Nova, H. Dai, and D. Schuurmans, “Gradient‑free structured pruning with unlabeled data,” in International Conference on Machine Learning, ICML 2023, 23‑29 July 2023, Honolulu, Hawaii, USA, ser. Proceedings of Machine Learning Research, A. Krause, E. Brunskill, K. Cho, B. Engelhardt, S. Sabato, and J. Scarlett (Eds.), vol. 202. PMLR, 2023, pp. 26326–26341. [Online]. Available: https://proceedings.mlr.press/v202/nova23a.html

[77] S. Han, H. Mao, and W. J. Dally, “Deep compression: Compressing deep neural networks with pruning, trained quantization and Huffman coding,” arXiv preprint arXiv:1510.00149, 2015.

[78] Z. Liu, M. Sun, T. Zhou, G. Huang, and T. Darrell, “Rethinking the value of network pruning,” in 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6‑9, 2019. OpenReview.net, 2019. [Online]. Available: https://openreview.net/forum?id=rJlnB3C5Ym

[79] S. Cao, C. Zhang, Z. Yao, W. Xiao, L. Nie, D. Zhan, Y. Liu, M. Wu, and L. Zhang, “Efficient and effective sparse LSTM on FPGA with bank‑balanced sparsity,” in Proceedings of the 2019 ACM/SIGDA International Symposium on Field‑Programmable Gate Arrays, FPGA 2019, Seaside, CA, USA, February 24‑26, 2019, K. Bazargan and S. Neuendorffer (Eds.). ACM, 2019, pp. 63–72. [Online]. Available: https://doi.org/10.1145/3289602.3293898

[80] A. Ren, T. Zhang, S. Ye, J. Li, W. Xu, X. Qian, X. Lin, and Y. Wang, “ADMM‑NN: an algorithm‑hardware co‑design framework of dnn using alternating direction methods of multipliers,” in Proceedings of the Twenty‑Fourth International Conference on Architectural Support for Programming Languages and Operating Systems, ASPLOS 2019, Providence, RI, USA, April 13‑17, 2019, I. Bahar, M. Herlihy, E. Wichtel, and A. R. Lebeck (Eds.). ACM, 2019, pp. 925–938. [Online]. Available: https://doi.org/10.1145/3297858.3304076

[81] T. Zhang, S. Ye, K. Zhang, J. Tang, W. Wen, M. Fardad, and Y. Wang, “A systematic DNN weight pruning framework using alternating direction method of multipliers,” in Computer Vision – ECCV 2018 – 15th European Conference, Munich, Germany, September 8‑14, 2018, Proceedings, Part VIII, ser. Lecture Notes in Computer Science, V. Ferrari, M. Hebert, C. Sminchisescu, and Y. Weiss (Eds.), vol. 11212. Springer, 2018, pp. 191–207. [Online]. Available: https://doi.org/10.1007/978-3-030-01237-3_12

[82] M. Alizadeh, S. A. Tailor, L. M. Zintgraf, J. van Amersfoort, S. Farquhar, N. D. Lane, and Y. Gal, “Prospect pruning: Finding trainable weights at initialization using meta‑gradients,” in The Tenth International Conference on Learning Representations, ICLR 2022, Virtual Event, April 25‑29, 2022. OpenReview.net, 2022. [Online]. Available: https://openreview.net/forum?id=Algn9uwfcD1

[83] Z. Liao, V. Quétu, V. Nguyen, and E. Tartaglione, “Can unstructured pruning reduce the depth in deep neural networks?” CoRR, vol. abs/2308.06619, 2023. [Online]. Available: https://doi.org/10.48550/arXiv.2308.06619

[84] C. Zhang, S. Bengio, and Y. Singer, “Are all layers created equal?” Journal of Machine Learning Research, vol. 23, no. 67, pp. 1–28, 2022.

[85] Y. Yao, X. Xu, and Y. Liu, “Large language model unlearning,” arXiv preprint arXiv:2310.10683, 2023.

[86] K. Zhao, M. Kurmanji, G.-O. Bărbulescu, E. Triantafillou, and P. Triantafillou, “What makes unlearning hard and what to do about it,” arXiv preprint arXiv:2406.01257, 2024.

[87] Y. Li, C. Wang, and G. Cheng, “Online forgetting process for linear regression models,” in The 24th International Conference on Artificial Intelligence and Statistics, AISTATS 2021, April 13‑15, 2021, Virtual Event, ser. Proceedings of Machine Learning Research, A. Banerjee and K. Fukumizu (Eds.), vol. 130. PMLR, 2021, pp. 217–225. [Online]. Available: http://proceedings.mlr.press/v130/li21a.html

[88] A. Mahadevan and M. Mathioudakis, “Certifiable machine unlearning for linear models,” CoRR, vol. abs/2106.15093, 2021. [Online]. Available: https://arxiv.org/abs/2106.15093

[89] J. Brophy and D. Lowd, “Machine unlearning for random forests,” in Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18‑24 July 2021, Virtual Event, ser. Proceedings of Machine Learning Research, M. Meila and T. Zhang (Eds.), vol. 139. PMLR, 2021, pp. 1092–1104. [Online]. Available: http://proceedings.mlr.press/v139/brophy21a.html

[90] A. Ginart, M. Y. Guan, G. Vaillant, and J. Zou, “Making AI forget you: Data deletion in machine learning,” in Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8‑14, 2019, Vancouver, BC, Canada, H. M. Wallach, H. Larochelle, A. Beygelzimer, F. d’Alché‑Buc, E. B. Fox, and R. Garnett (Eds.). 2019, pp. 3513–3526.

[91] Y. Cao and J. Yang, “Towards making systems forget with machine unlearning,” in 2015 IEEE Symposium on Security and Privacy. IEEE, 2015, pp. 463–480.

[92] E. Ullah, T. Mai, A. Rao, R. A. Rossi, and R. Arora, “Machine unlearning via algorithmic stability,” in Conference on Learning Theory, COLT 2021, 15‑19 August 2021, Boulder, Colorado, USA, ser. Proceedings of Machine Learning Research, M. Belkin and S. Kpotufe (Eds.), vol. 134. PMLR, 2021, pp. 4126–4142. [Online]. Available: http://proceedings.mlr.press/v134/ullah21a.html

[93] M. Chen, Z. Zhang, T. Wang, M. Backes, M. Humbert, and Y. Zhang, “When machine unlearning jeopardizes privacy,” in CCS ’21: 2021 ACM SIGSAC Conference on Computer and Communications Security, Virtual Event, Republic of Korea, November 15‑19, 2021, Y. Kim, J. Kim, G. Vigna, and E. Shi (Eds.). ACM, 2021, pp. 896–911. [Online]. Available: https://doi.org/10.1145/3460120.3484756

[94] E. Chien, H. P. Wang, Z. Chen, and P. Li, “Certified machine unlearning via noisy stochastic gradient descent,” in The Thirty‑Eighth Annual Conference on Neural Information Processing Systems.

[95] Y.-H. Park, S. Yun, J.-H. Kim, J. Kim, G. Jang, Y. Jeong, J. Jo, and G. Lee, “Direct unlearning optimization for robust and safe text‑to‑image models,” arXiv preprint arXiv:2407.21035, 2024.

[96] N. G. Marchant, B. P. Rubinstein, and S. Alfeld, “Hard to forget: Poisoning attacks on certified machine unlearning,” in Thirty‑Sixth AAAI Conference on Artificial Intelligence, AAAI 2022, Thirty‑Fourth Conference on Innovative Applications of Artificial Intelligence, IAAI 2022, Twelfth Symposium on Educational Advances in Artificial Intelligence, EAAI 2022 Virtual Event, February 22‑March 1, 2022. AAAI Press, 2022, pp. 7691–7700. [Online]. Available: https://doi.org/10.1609/aaai.v36i7.20736

[97] Y. Wu, E. Dobriban, and S. B. Davidson, “Deltagrad: Rapid retraining of machine learning models,” in Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 13‑18 July 2020, Virtual Event, ser. Proceedings of Machine Learning Research, vol. 119. PMLR, 2020, pp. 10355–10366. [Online]. Available: http://proceedings.mlr.press/v119/wu20b.html

[98] S. Neel, A. Roth, and S. ShariFi‑Malvajerdi, “Descent‑to‑delete: Gradient‑based methods for machine unlearning,” in Algorithmic Learning Theory, 16‑19 March 2021, Virtual Conference, Worldwide, ser. Proceedings of Machine Learning Research, V. Feldman, K. Ligett, and S. Sabato (Eds.), vol. 132. PMLR, 2021, pp. 931–962. [Online]. Available: http://proceedings.mlr.press/v132/neel21a.html

[99] J. Foster, S. Schoepf, and A. Brintrup, “Fast machine unlearning without retraining through selective synaptic dampening,” in Thirteenth E‑FAST AAAI Conference on Artificial Intelligence, AAAI 2024, Thirty‑Sixth Conference on Innovative Applications of Artificial Intelligence, IAAI 2024, Fourteenth Symposium on Educational Advances in Artificial Intelligence, EAAI 2014, February 20‑27, 2024, Vancouver, Canada, M. J. Wooldridge, J. G. Dy, and S. Natarajan (Eds.). AAAI Press, 2024, pp. 12043–12051. [Online]. Available: https://doi.org/10.1609/aaai.v38i11.29092

[100] V. S. Chundawat, A. K. Tarun, M. Mandal, and M. S. Kankanhalli, “Can bad teaching induce forgetting? Unlearning in deep networks using an incompetent teacher,” in Thirty‑Seventh AAAI Conference on Artificial Intelligence, AAAI 2023, Thirty‑Fifth Conference on Innovative Applications of Artificial Intelligence, IAAI 2023, Thirteenth Symposium on Educational Advances in Artificial Intelligence, EAAI 2023, Washington, DC, USA, February 7‑14, 2023, B. Williams, Y. Chen, and J. Neville (Eds.). AAAI Press, 2023, pp. 7210–7217. [Online]. Available: https://doi.org/10.1609/aaai.v37i6.25879

[101] J. Frankle and M. Carbin, “The lottery ticket hypothesis: Finding sparse, trainable neural networks,” arXiv preprint arXiv:1803.03635, 2018.

A Technical Appendices and Supplementary Material

図 10、11、12に示すように、MIA の結果はごくわずかなサンプルの調整でも大きく変化します。したがって、影（shadow）データセットの訓練集合とテスト集合がほぼ 1:1 の比率であっても、±5 % の範囲でデータを調整すると、結果が全く逆になることがあります。このように結果が比較的頑健でないため、MIA をスパースモデルの評価指標としては信頼性が低いと考えられます。

表 7 では各行にいくつかのプルーニング（すなわち dense と複数の sparsity レベル）と、8 種類の状況（Original、re‑training、そして 6 種類の unlearn 手法）が示されています。実験条件はすべて同一で、唯一異なるのは訓練データです。元の実験ではフルデータを使用し、re‑train 実験ではランダムシード 42 を用いてデータを 20 % 削除した訓練集合を使用しました。高スパース化の場合、精度が急激に低下することがあります（例：90 % や 95 % のスパース化ではしばしば正解率が 10 % 程度になることがあります）。そのため、明らかに破損した結果は省略して提示しています。

考察
現在も、どの unlearn 手法が削除データの影響をどれだけ除去できたかを評価するのに適切な指標を見つけ出す必要があります。データがモデル全体に与える影響を、下流タスクの性能だけでなく、スパース化されたモデルのトポロジー（重み分布、接続パターン、勾配ダイナミクス）など多面的に考慮すべきです。さらに、より幅広いモデルアーキテクチャやデータセットで実験を拡張すれば、結果の汎用性が向上します。

Table 5: Performance comparison on the ImageNet dataset (ResNet18)

Method	IOU	IOM	TA	UA	Sparsity	Del. Ratio
Retraining + repruning	-	-	56.57 %	54.87 %	19.03 %	20 %
Un‑pruning (WF)	84.22 %	85.06 %	57.42 %	55.42 %	19.03 %	20 %

（※ 表は原文のまま記載しています。）

Table 6: Performance on ViT

Method	IOU	IOM	TA	UA	Sparsity	Del. Ratio
Retraining + repruning	-	-	72.68%	85.29%	41%	20%
Un‑pruning (WF)	45.78%	64.05%	70.32%	86.44%	41%	20%

Figure 9: MIA confidence

![chart](<COORD_610>, <COORD_617>, <COORD_817>, <COORD_743>)

Figure 10: MIA Entropy

![chart](<COORD_611>, <COORD_292>, <COORD_819>, <COORD_422>)

Table 7: Hyper Parameters Settings

Type	Method	Model	Dataset	Learning Rate	Random Seed	Deleted Ratio
Structured	[54]	ResNet‑20	Cifar10	1e‑3	42	20%
Unstructured	[101]	ResNet‑18	Cifar10	1e‑3	42	20%
Unstructured	[101]	ResNet‑18	FashionMNIST	1e‑3	42	20%

Figure 10: MIA Entropy

![chart](<COORD_611>, <COORD_292>, <COORD_819>, <COORD_422>)

Figure 11: MIA m Entropy

![chart](<COORD_610>, <COORD_509>, <COORD_819>, <COORD_639>)

Figure 12: MIA Probability

![chart](<COORD_610>, <COORD_725>, <COORD_819>, <COORD_853>)

Claims

質問: 抽象と序論で述べられた主要な主張は、本稿の貢献と範囲を正確に反映していますか？

回答: [Yes]

根拠: 抽象や序論では、以下の点が明確に記述されています。

本研究の主な貢献（例：新しい手法の提案、実験結果の報告）
研究で採用した重要な仮定と限界

ガイドライン:

「NA」と回答した場合は、抽象や序論に主張が記載されていないことを意味します。
抽象や序論は、以下の情報を明示的に述べる必要があります。
- 研究で達成した貢献
- 主要な仮定と制限事項
「No」または「NA」と回答すると、レビュアーからの評価が低くなる可能性があります。
主張は理論的・実験的な結果と一致し、他の設定へどの程度一般化できるかを示す必要があります。
目標として掲げた理想的な成果も記述できますが、実際に達成できていることを明確に区別してください。

Limitations

質問: 論文は著者が行った作業の限界について議論していますか？

回答: [Yes]

根拠: 限界は第5節で具体的に取り上げられています。

ガイドライン:

「NA」と回答した場合は、論文に限界が記載されていないことを示します。
「No」と回答した場合は、限界はあるものの本文中に言及していないことを意味します。
著者は「Limitations」セクションを設け、次の点について説明することが推奨されます。
- 強い仮定とその妥当性（例：独立性、ノイズが無い設定、モデルの適合度、漸近的な近似が局所的にしか成立しないなど）
- 実際の適用で仮定が破綻した場合の影響
- 使用したデータセットや実験回数の範囲（例：少数のデータセット・ランダムシードでの評価）
- アルゴリズムの性能に影響を与える要因（例：画像解像度、照明条件、音声認識における専門用語など）
- 計算効率とスケーラビリティ
- プライバシー・公平性に関する潜在的な課題

Theory assumptions and proofs

質問: 各理論結果について、すべての仮定を示し、完全かつ正しい証明を提供していますか？

回答: [Yes]

根拠: Section 2 と Section 3 に記載されたすべての理論結果は、明確な仮定とともに完全な証明が添えられています。

ガイドライン:

「NA」と回答した場合は、論文に理論的結果が含まれていないことを示します。
論文中のすべての定理・式・証明は番号付けされ、相互参照できる形で提示されています。
仮定は定理の記述中または脚注で明示的に示す必要があります。
証明は本文中に直接掲載するか、補足資料に掲載します。補足にある場合は、概要的な証明スケッチを本文に提供すると親切です。
本文中の定理や補題が参照されていることを確認し、必要ならば脚注で補足説明を加えます。

Experimental result reproducibility

質問: 主な実験結果を再現するために必要な情報をすべて公開していますか？（コード・データの提供の有無に関わらず）

回答: [Yes]

根拠: 実装詳細は Section 4、Section 5 および Appendix ?? に記載され、ハイパーパラメータや学習設定がすべて示されています。

ガイドライン:

「NA」と回答した場合は、実験が行われていないことを示します。
実験がある場合、以下の点を明確に記述してください。
- データセットの取得方法と前処理手順
- ハイパーパラメータ（学習率、バッチサイズ、エポック数など）
- 使用した最適化手法やその設定
- 再現に必要なコマンドライン例や環境情報（Python バージョン、ライブラリのバージョン等）

Open access to data and code

質問: 論文はデータとコードへのオープンアクセスを提供し、主要な実験結果を忠実に再現できる十分な手順を示していますか？

回答: [Yes]

根拠: コードは以下の URL で公開されています。
https://anonymous.4open.science/r/UnlearningSparseModels-FBC5/

ガイドライン:

「NA」と回答した場合は、実験にコードが必要であることを示します。
NeurIPS のコード・データ提出ポリシー（https://nips.cc/public/guides/CodeSubmissionPolicy）を参照してください。
コードが公開されている場合、以下の情報を提供すると良いです。
- 必要なコマンドと実行環境（例：python main.py --data fashionmnist --method unprune）
- データ取得手順（原始データ、前処理済みデータの場所）
- スクリプトが再現する実験全体（提案手法とベンチマーク）

Experimental setting/details

質問: 学習・テストに関する詳細（データ分割、ハイパーパラメータ、選択方法、最適化手法など）をすべて記述していますか？

回答: [Yes]

根拠: Section 4、Section 5 および Appendix ?? に実装詳細が記載され、ハイパーパラメータと学習設定が示されています。

ガイドライン:

「NA」と回答した場合は、実験が行われていないことを示します。
実験設定は本文中に十分な情報量で提示し、必要に応じて付録やコードリポジトリに詳細を記載します。

Experiment statistical significance

質問: 結果に対してエラーバー（または適切な統計的指標）を報告していますか？

回答: [No]

根拠: 計算コストの制約により、エラーバーや統計的検定は示していません。

ガイドライン:

「NA」と回答した場合は、実験が行われていないことを示します。
エラーバーを報告する際は、以下の点に注意してください。
- 変動要因（データ分割、初期化、ランダム抽出など）を明示
- 計算方法（閉形式式、ライブラリ呼び出し、ブートストラップ等）を説明
- 正規分布を仮定する場合はその旨と、標準偏差か標準誤差かを明記
- 必要に応じて 1σ、2σ のエラーバーを示す

Experiments compute resources

質問: 各実験で使用した計算資源（CPU/GPU の種類、メモリ、実行時間など）を十分に記載していますか？

回答: [Yes]

根拠: Table 4 に全アンプルーニング手法の学習時間を報告し、実験は NVIDIA L40S GPU（48 GB）1 枚で実施しました。

ガイドライン:

「NA」と回答した場合は、実験が行われていないことを示します。
計算資源情報には以下を含めると良いです。
- ハードウェアの種類（例：CPU: Intel Xeon Gold 6248R、GPU: NVIDIA L40S）
- メモリ容量とストレージサイズ
- 各実験の実行時間（総計または個別）
- 必要な GPU メモリ量や CPU コア数

Code of ethics

質問: 本研究は NeurIPS の倫理ガイドライン（https://neurips.cc/public/EthicsGuidelines）にすべての点で適合していますか？

回答: [Yes]

根拠: NeurIPS の倫理指針を確認し、以下の点を満たしていることを確認しました。

人間被験者や機密データを使用していない
研究は透明性・再現性・公平性を確保している

ガイドライン:

「NA」と回答した場合は、倫理指針のレビューが行われていないことを示します。
必要に応じて、特別な考慮事項（例：データプライバシーに関する法的制約）がある場合は説明してください。

Broader impacts

質問: 本研究はポジティブな社会的影響とネガティブな社会的影響の両方について議論していますか？

回答: [Yes]

根拠: 本研究は、スパースモデルが特定の訓練データを忘れることを支援し、GDPR 等のプライバシー規制への準拠やデプロイ時のメモリ削減に貢献します。

ガイドライン:

「NA」と回答した場合は、社会的影響について言及していないことを示します。
ポジティブな影響例：プライバシー保護、計算資源の節約、透明性向上
ネガティブな影響例（必要に応じて）：過度なデータ削除による性能低下、プライバシー情報が完全に失われるリスク

Figures

図13: FashionMNISTにおける非構造的アンプルーニング（IoM）
図13: FashionMNISTにおける非構造的アンプルーニング（IoM）

図14: FashionMNISTにおける非構造的アンプルーニング（IoU）

11. Safeguards

質問: 論文は、データやモデルなど、誤用のリスクが高いものを責任ある形で公開するためにどのような保護策（safeguards）を講じたか説明していますか？（例：事前学習済み言語モデル、画像生成器、スクレイピングしたデータセットなど）

回答: [NA]

根拠: 本研究では、事前学習された生成モデルやスクレイピングしたデータセットといった、誤用リスクが高い資産を扱っていません。そのため、特別な保護策は必要ありません。

ガイドライン

「[NA]」と回答した場合は、論文で取り上げた対象が特に高い誤用リスクを持っていないことを示します。
高い誤用リスク（または二重用途）を持つモデルを公開する際は、以下のいずれかの保護策を講じると良いです。
- 使用ガイドラインや制限事項を提示し、利用者が遵守できるようにする。
- アクセス制御や安全フィルタを実装して、モデルが適切に使用されるよう支援する。
スクレイピングしたデータセットの場合、安全性の観点から以下の点を説明すると良いです。
- 不適切な画像が含まれないように除去・検証した手順。

12. Licenses for existing assets

質問: 論文で使用したコード、データ、モデルなどの資産について、創作者や元所有者を正しくクレジットし、ライセンスと利用条件が明示され、尊重されていますか？

回答: [Yes]

根拠: 本研究で使用したすべての第三者資産は適切にクレジットされており、以下の通りです。

CIFAR‑10、CIFAR‑100、ImageNet データセットを使用し、これらは CC BY 4.0 ライセンスの下で公開されています。元論文も引用しています。

ガイドライン

「[NA]」と回答した場合は、論文が既存資産を一切使用していないことを示します。
使用した資産については、以下の情報を提供すると良いです。
- 資産の出典（オリジナルの論文やリポジトリ）へのクレジット。
- 使用したバージョンと取得先 URL（可能な限り）。
- ライセンス名（例：CC‑BY 4.0、MIT、Apache 2.0 など）。
スクレイピングしたデータの場合、著作権情報や利用規約を明示します。
公開された資産の場合は、パッケージ内にライセンス文書・著作権情報を含めます。

13. New assets

質問: 論文で新たに導入した資産（データセット、コードベース、モデルなど）は十分にドキュメント化され、その資料が添付されていますか？

回答: [NA]

根拠: 本論文では新しいデータセットやコードベース、モデルを導入していません。既存のオープンソース資産のみを使用し、適切に引用しています。

ガイドライン

「[NA]」と回答した場合は、論文が新規資産を公開していないことを示します。
新規資産を提供する際は、以下の情報を構造化テンプレートで記載すると良いです。
- 資産の概要（目的・特徴）
- ライセンス情報と利用条件
- 取得方法やダウンロード先 URL
- （必要に応じて）データ収集時の同意取得状況

14. Crowdsourcing and research with human subjects

質問: クラウドソーシング実験や人間を対象とした研究において、参加者へ提示した指示全文とスクリーンショット（該当する場合）および報酬情報は論文に記載されていますか？

回答: [NA]

根拠: 本研究ではクラウドソーシングや人間を対象とした実験を行っていません。

ガイドライン

「[NA]」と回答した場合は、論文がクラウドソーシングやヒューマン・サブジェクトの研究を含んでいないことを示します。
人間を対象とした実験を行う場合、以下を提供すると良いです。
- 参加者向け指示全文（例：タスク説明）
- スクリーンショットや図表（必要に応じて）
- 報酬の有無と内容（金銭的報酬、ギフトカードなど）

15. Institutional review board (IRB) approvals or equivalent for research with human subjects

質問: 論文は、研究参加者が被る可能性のあるリスク、リスクが参加者に開示されたか、そして IRB（または同等の審査）承認が取得されたことを説明していますか？

回答: [NA]

根拠: 本論文では人間を対象とした研究を行っていないため、IRB 承認は不要です。

ガイドライン

「[NA]」と回答した場合は、論文がヒューマン・サブジェクトの研究を含んでいないことを示します。
IRB（または同等）承認が必要な場合、以下を明記すると良いです。
- 参加者が直面し得るリスクの説明
- リスクが参加者に開示されたことの確認
- 承認番号や承認機関名（匿名化が必要な場合は省略）

16. Declaration of LLM usage

質問: 論文は、核心的な手法において重要な役割を果たす大規模言語モデル（LLM）の使用について説明していますか？（例：新しいアルゴリズムや実験で LLM を活用した場合）

回答: [NA]

根拠: 本論文では、核心的な手法において特別な役割を果たす大規模言語モデルの使用は行っていません。LLM は主に文章の校正やフォーマット調整のために利用しました。

ガイドライン

「[NA]」と回答した場合は、核心的手法において LLM を重要な要素として用いていないことを示します。
詳細な説明が必要な場合は、LLM のバージョン（例：GPT‑4）や利用目的（例：テキスト生成、要約、校正）を記載します。

付録（本文の要点）

負の応用
- 論文は、基礎研究であることを重視しつつ、負の応用への道筋がある場合は指摘すべきです。例として、生成モデルの品質向上がディープフェイク作成に利用できることを挙げられます。一方で、ニューラルネットワーク最適化アルゴリズムが Deepfake を高速に生成できる点は特に指摘する必要はありません。
ハーム（害）
- 技術が正しく動作しているときの害、期待通りに使用されたが誤った結果を出す場合の害、意図的・偶発的な誤用から生じる害を考慮すべきです。
緩和策
- 負の社会的影響がある場合は、モデルの限定公開、攻撃に対する防御策提供、誤用モニタリング、システムがフィードバックから学習する様子の監視、機械学習の効率とアクセス性向上などを議論できます。

以上が本文の日本語訳です。

Daily Papers

エクスプローラー

xiao25a_ja

The Right to be Forgotten in Pruning: Unveil Machine Unlearning on Sparse Models

The Right to be Forgotten in Pruning: Unveil Machine Unlearning on Sparse Models

Abstract

1 Introduction

貢献点

2 Preliminary

Machine Unlearning

Pruning

Problem Setup

3 Un‑pruning

Challenge

Proposed Algorithm

4 Experiments

Metrics

Results

5 Conclusion

Bo Hui ∗ University of Tulsa (cont.)

Algorithm 1: Un‑pruning

忘却アルゴリズムの統合

アンプルーニングの適用範囲

アンプルーニングの評価

KL ダイバージェンスによる評価

To estimate the un‑pruning error regarding M, we approximate the unlearning error in [45] in the un‑pruning process

Hessian 行列の定義

パラメータ変化の近似

最大特異値

全体的なパラメータ変化（文献 [4] の結果）

マスクを導入したパラメータ変化

アンプルーニング誤差

Bo Hui ∗ University of Tulsa

Table 3

さらに KL ダイバージェンスを調べる

4 Experiment

Figure 3

Figure 4

Figure 5

Figure 6

Table 4

5 Vulnerability of MIA in machine unlearning

Figure 7

Figure 8

6 Related Work

Pruning

Machine Unlearning

7 Conclusion

References

Bo Hui ∗ University of Tulsa (cont.)

Bo Hui ∗ University of Tulsa (cont.)

A Technical Appendices and Supplementary Material

Table 5: Performance comparison on the ImageNet dataset (ResNet18)

Table 6: Performance on ViT

Table 7: Hyper Parameters Settings

Claims

Limitations

Theory assumptions and proofs

Experimental result reproducibility

Open access to data and code

Experimental setting/details

Experiment statistical significance

Experiments compute resources

Code of ethics

Broader impacts

Figures

11. Safeguards

12. Licenses for existing assets

13. New assets

14. Crowdsourcing and research with human subjects

15. Institutional review board (IRB) approvals or equivalent for research with human subjects

16. Declaration of LLM usage

付録（本文の要点）

グラフビュー

目次

バックリンク

Bo Hui $^{*}$ University of Tulsa (cont.)

To estimate the un‑pruning error regarding $M$ , we approximate the unlearning error in [45] in the un‑pruning process

Bo Hui $^{*}$ University of Tulsa

Table 3

Figure 3

Figure 4

Figure 5

Figure 6

Table 4

Figure 7

Figure 8

Bo Hui $^{*}$ University of Tulsa (cont.)

Bo Hui $^{*}$ University of Tulsa (cont.)

Table 5: Performance comparison on the ImageNet dataset (ResNet18)