The Right to be Forgotten in Pruning: Unveil Machine Unlearning on Sparse Models

原題: The Right to be Forgotten in Pruning: Unveil Machine Unlearning on Sparse Models 著者: Y Xiao, G Li, J Ji, R Ye, X Ma, B Hui | 会議: arxiv.org 2025 | 引用: 0 PDF: xiao25a.pdf

The Right to be Forgotten in Pruning: Unveil Machine Unlearning on Sparse Models Yang Xiao University of Tulsa Gen Li Clemson University Jie Ji Clemson University Ruimeng Ye University of Tulsa Xiaolong ma The University of Arizona Bo Hui∗ University of Tulsa

Abstract Machine unlearning aims to efficiently eliminate the memory about deleted data from trained models and address the right to be forgotten. Despite the success of existing unlearning algorithms, unlearning in sparse models has not yet been well studied. In this paper, we empirically find that the deleted data has an impact on the pruned topology in a sparse model. Motivated by the observation and the right to be forgotten, we define a new terminology “un-pruning” to eliminate the impact of deleted data on model pruning. Then we propose an un-pruning algorithm to approximate the pruned topology driven by retained data. We remark that any existing unlearning algorithm can be integrated with the proposed un- pruning workflow and the error of un-pruning is upper-bounded in theory. Also, our un-pruning algorithm can be applied to both structured sparse models and unstructured sparse models. In the experiment, we further find that Membership Inference Attack (MIA) accuracy is unreliable for assessing whether a model has forgotten deleted data, as a small change in the amount of deleted data can produce arbitrary MIA results. Accordingly, we devise new performance metrics for sparse models to evaluate the success of un-pruning. Lastly, we conduct extensive experiments to verify the efficacy of un-pruning with various pruning methods and unlearning algorithms. Our code is released at https://github. com/NKUShaw/SparseModels. 1

Introduction The Right to be Forgotten is an emerging principle in artificial intelligence (AI) outlined by regula- tions such as the General Data Protect Regulation (GDPR), the California Consumer Privacy Act (CCPA), and Canada’s proposed Consumer Privacy Protection Act (CPPA) [1–3]. A straightforward “forgetting” strategy is to retrain new models from scratch on the remaining data as if the deleted data has never been seen by the model. However, the retraining method is impractical due to the expensive cost of frequent deletion requests over complex models. To resolve this challenge, a plethora of machine unlearning methods have been developed to efficiently update the model without retraining [4–21]. Despite the success of existing unlearning algorithms, unlearning on sparse models has not been extensively studied yet. We remark that unlearning on sparse models is nontrivial. In Figure 1(a), we visualize the difference between a sparse model based on the original data and a retrained model based on the remaining data (5% data deletion). Specifically, we leverage the Lottery Ticket Hypothesis ∗Corresponding Author: bo-hui@utulsa.edu Workshop on Regulatable ML at the 39th Conference on Neural Information Processing Systems (NeurIPS 2025). arXiv:2507.18725v2 [cs.LG] 2 Dec 2025

Table 1: Terminologies. Terminology Data used Input model Description Retraining Retained data Dense Model Train the model from scratch Unlearning Retained and/or deleted data Dense Model Generate an unlearned model as though it has never seen the deleted data Pruning Full dataset Dense Model Prune a dense model to a sparse model with a sparse topology Retraining + repruning Retained dataset Dense Model Train and prune the model from scratch Un-pruning Retained and/or deleted data Sparse Model Update the topology of the sparse model to align with retraining + repruning Original Data Remaining Data Data Deletion Training + Pruning Retraining + Repruning … … Original Data Remaining Data Data Deletion … … … … … … … … … … Training + Pruning Retraining + Repruning (a) (b) Figure 1: (a) Pruning with the original data vs. repruning with the remaining data. The blue blocks indicate pruned parameters. (b) Structured pruning with the original data vs. the remaining data. The blue blocks indicate pruned channels. (LTH) [22] to prune a model with the original training data and the remaining data respectively. We can observe that most indexes of the pruned parameters are different between two sparse models. There is only around a 58% overlap of pruned indexes across two sparse models (60% sparsity) of a ResNet-18. The observation also holds for structured pruning. As shown in Figure 1(b), there are significant differences regarding pruned channels. The results indicate that the pruned indexes are data-dependent. Motivated by this observation, we raise a new research problem: how to eliminate the influence of deleted data on the pruned topology in a sparse model?More specifically, the problem is how to generate a new sparse model as if the model has never seen the forgotten data. We define “un-pruning” as a new terminology for eliminating the impact of deleted data on pruning. Table 1 lists the difference between un-pruning and other terminologies such as unlearning. We highlight that un-pruning is non-trivial because: (1) while retraining + repruning serves as the gold standard, it is impractical to perform retraining + repruning on a large-scale model for frequent data deletions. (2) existing unlearning algorithms on the remaining parameters in a sparse model cannot change the pruned topology. These algorithms based on approximating activation values may only align the model’s accuracy with the retrained model but fail to align the topology with the standard retraining

repruning [23, 24]; (3) users have the right to withdraw the influence of their data on pruning processes. Our empirical results demonstrate that deleted data has a significant impact on the topology of the sparse model. Consequently, the continued use of sparse models derived from deleted data instances can be deemed illegal [25]. (4) pruning has been considered as a process of learning from the training data [26–28]. Correspondingly, un-pruning can be considered as a process of unlearning. Thus, updating the topology of a sparse model provides us with a new way of unlearning. We use [29] to reconstruct training data with the sparse model. Compared with the original sparse model (ResNet-18, 40% sparsity), the un-pruned model is less accurate in reconstructing the training data. Table 2: Reconstruction with pruned models

Method 方法 Del. Ratio（削除比率） Extraction-Score（抽出スコア）（↓） SSIM（構造的類似度）（↑） Original（オリジナル） 0 5295.46 0.4438 Un-prune（アン・プルーニング） 20% 5786.37 0.3787 Un-prune（アン・プルーニング） 40% 5841.08 0.3521 本論文では、既存の学習忘却手法をアン・プルーニングプロセスに統合することを可能にする「アン・プルーニング」アルゴリズムを提案する。具体的には、スパースモデル内のトポロジー変化を可能にするために、プルーニングされたパラメータを活性化させる。その後、削除データが学習およびプルーニングに与える影響を見積もることにより、既存の忘却アルゴリズムを活用して新しいパラメータと新しいトポロジーを近似する。トポロジーは滑らかで安定した変化を可能にするためにインタラクティブな方法で成長させる。更新されたモデルは元のスパース度に戻さなければならないため、リテンション＋再プルーニング戦略と比較できることに注意されたい。我々のアルゴリズムが非構造的および構造的トポロジーの両方に適用可能であることを強調する。また、理論的にアン・プルーニングアルゴリズムを分析する。リテンション＋再プルーニングと比較して、マスクに関するアン・プルーニング誤差はモデルスパース度によって上界され特徴付けられる。

アン・プルーニングの有効性を検証するために、既存の忘却研究に従い、TA（テスト精度）、UA（忘却精度）、および MIA（メンバーシップ推定攻撃）を報告する。しかし、我々は経験的に MIA が忘却の質を測定するための信頼できる指標ではないことを発見した。二値分類モデルにおけるデータ比率の小さな変化（すなわち、訓練データ対テストデータ）により、MIA 値は 0 から 1 の範囲内でランダムにどこでも低下する可能性がある。大規模言語モデルに関する研究では、MIA の結果はほぼ推測と同様であることが示されている [30, 14, 31, 32]。本論文では、忘却の質を評価するための新しいパフォーマンス指標を考案した。具体的には、ニューラルネットワーク表現間の構造的類似度 [33–35] を計算して忘却の質を測定する。再訓練＋再プルーニングがゴールドスタンダード（金標準）として機能するため、残存データに基づく再プルーニングされたスパースモデルと、同じスパース度レベルにある「アン・プルーニング」されたスパースモデル間のプルーニングインデックスの交差を計算する。直感的には、高い交差比率は 2 つのトポロジー間の高い類似度を意味する。実験では、様々な忘却アルゴリズムおよび様々な忘却アルゴリズム（※原文の重複はそのまま訳出）を用いて、我々のアルゴリズムの有効性と効率性を検証する。本研究の貢献は以下の通り要約される： • プルーニングのデータ依存性および MIA の脆弱性を調査するための経験的研究を実施した。 • 新しい研究課題を提起した：スパースモデルのプルーニングトポロジーに対する削除データの影響をどのように除去するか？ • 高価な再訓練と再プルーニングなしで、残存データによって駆動されるプルーニングトポロジーを近似するアン・プルーニングアルゴリズムを提案する。本アルゴリズムは、非構造的トポロジーおよび構造的トポロジーの両方に任意の忘却アルゴリズムを統合できる。 • 新しいパフォーマンス指標を設計し、我々のアン・プルーニングアルゴリズムの有効性と効率性を検証するために広範な実験を実施した。

Preliminary（予備知識）機械学習忘却。完全データセット D 上で訓練されたモデル A が与えられた場合、ユーザーは D から自身のデータ Df を削除するよう要求できる。機械学習忘却は、Df の影響を A に除去し、Df から学んだことを忘れる新しいモデルを忘却することを目的とする。Dr を D = Df ∪Dr となる残存データと表記する。素朴な解決策は、Dr（※原文の重複 Dr Dr) はそのまま訳出）に基づいて新しいモデル Ar を最初から再訓練することである。しかし、この解決策は複雑なモデルにおける頻繁なデータ削除に対する高い計算コストのために非現実的である。最近では、近似忘却アルゴリズム [8–10, 36, 37] が開発され、再訓練なしで A から直接新しいモデル Au を生成し、忘却されたモデル Au が Dr を決して見たことがないかのように Ar を近似するようにした：Ar(·) ≈Au(·)。

プルーニング。プルーニングは 2 つのタイプに分類できる：非構造的および構造的プルーニング [38–44]。モデル A のパラメータを Θ と表記する。非構造的プルーニングは、|M| = |Θ| を満たすバイナリマスク M と関連付けることを目指し、M におけるゼロ値は対応するパラメータが Θ ⊙M によってマスキングされることを示す。例えば、Lottery Ticket Hypothesis（LTH）[22] は最小の大きさを持つパラメータをマスキングする。モデルフレームワーク上で不規則に分布したパラメータをプルーニングする代わりに、構造的プルーニングはフィルタ、チャネル、またはレイヤー全体を削除する。特定のプルーニング比率と A = {s1, s2, · · · , sL} を持つニューラルネットワークが与えられた場合（si はチャネル、フィルタ、ニューロン、または密集層の集合であり得る）、目標は、与えられたプルーニング比率の下で性能低下を最小化し速度向上を最大化する A′ = {s′ 1, s′ 2, · · · , s′ L} を検索することである（※原文の s′ i ⊆s′ i はそのまま訳出）。

問題設定。削除データがプルーニングに与える影響をどのように除去するかは未解決の問題である。図 1 の経験的研究により、プルーニング構造はデータ依存性を持つことが示されている。ユーザーには、自身のデータがプルーニングに与える影響を取り消す権利がある（※原文の continued use of sparsed models pruned based on deleted data instances can be deemed illegal [25] はそのまま訳出）。Θ ⊙M によってパラメータ化されたスパースモデル A を考える。ここで Θ は重みの集合であり、M はマスクである。スパース A が元のデータセット D に基づいて訓練およびプルーニングされたと仮定する。D から削除される部分データセット Df ⊆D が与えられた場合、問題は、Θu（新しいパラメータ）と Mu（新しいマスク）によってパラメータ化された新しいスパースモデル Au を生成することである。再訓練＋再プルーニング戦略は頻繁なデータ削除および反復的プルーニングのような高価なプルーニング戦略に対して非現実的であることを考慮すると、我々の目標は、Mu が M と区別可能であり、Θu ⊙Mu が再訓練＋再プルーニングの結果と区別不可能であるように、再訓練と再プルーニングなしで Θu および Mu を直接生成することである。

3 Un-pruning（アン・プルーニング）この研究問題の最初の課題は、プルーニングされたパラメータがトレーニングプロセス中に凍結されていることである。したがって、パラメータ更新を実行する従来の忘却アルゴリズムは、凍結されたパラメータの値を変更できない。先行研究 [45] もスパースモデル上の忘却を研究している。残念ながら、この研究は忘却プロセス中にマスクを更新しない（すなわち、プルーニングにおける忘れられる権利が扱われていない）。本論文では、再訓練と再プルーニングなしで新しいパラメータおよび新しいマスクを直接生成する「アン・プルーニング」アルゴリズムを提案する。一般性を損なわずに、Algorithm 1（アルゴリズム 1）は我々のアン・プルーニングプロセスを示す。

Algorithm 1 Un-pruning（アルゴリズム 1 アン・プルーニング） Input: モデルパラメータ Θ、マスク M、元のデータセット D、削除データセット Df、元のスパース度 sΘ%、アン・プルーニング比率 pΘ%、忘却アルゴリズム U、アン・プルーニング反復回数 T Output: 新しいパラメータ Θu、新しいマスク Mu 1: for each iteration t= in 0, 1, 2, · · · , T −1 do（各反復 t = 0, 1, 2, · · · , T −1 に対して） 2: Randomly re-initialize pruned parameters as non-zero values: Θ ←Θ + (1 −M)Θ0 3: Perform unlearning（any unlearning algorithm）on the dense full model Θ ←U(Θ, Df, D) 4: Update mask M: set pΘ% mask indexes whose corresponding parameters have the highest magnitude values as 1; 5: Update parameters: Θ ←Θ ⊙M 6: end for 7: Prune the new model to the original sparsity sΘ% by masking the lowest magnitude values; set the corresponding index in M as 0. 8: Θu = Θ, Mu = M

各反復において、まず凍結を解除してプルーニングされたパラメータを再初期化し、忘却アルゴリズムを実行する。これらのパラメータを再初期化する理由は、ゼロ値のパラメータがほとんどの忘却アルゴリズムで不変のままとなり、忘却を実行した後にプルーニングインデックスが変化しないことを発見したためである。本論文では、2 つの初期化戦略を導入した：オリジナル初期化およびランダム初期化。実験においてその違いを調査した。次に、対応するパラメータが最大の大きさ値を持つ pΘ% のプルーニングインデックスをロールバックすることによりスパースモデルを更新し、すなわち最初の反復後のスパース度は (sΘ −pΘ)% となる。各反復で忘却後にマスクおよびパラメータを更新することに注意されたい。T 回の反復後、スパース度は (sΘ −T ∗pΘ)% となる。公平な比較のために再プルーニングと比較する際、モデルを元のスパース度 sΘ% にワンショットプルーニングでプルーニングすることに注意されたい。

本論文では、6 つの最も一般的な近似忘却メソッドを調査した：GradientAscent（勾配上昇）[46]、SCRUB [47]、Fisher [48–50]、WoodFisher [51]、CertifiedUnlearning [52]、SFRON [53]。これらの忘却メソッドは忘却プロセスにおける目的関数が異なるが、既存のすべての忘却アルゴリズムを我々の方法と統合できる。

我々は注記する。本アン・プルーニング戦略は、プルーニングに追加パラメータを必要としないこれらの非構造的トーン（※原文の turning は typo の可能性あり）アルゴリズムで機能する。同様に、各反復において、最も重要なチャネル、フィルタ、または密集層を凍結解除する。具体的には、重要な構造を選択するためにプルーニング構造と同じ基準を使用する。例えば、Soft Filter Pruning（ソフトフィルタプルーニング）[54] は訓練段階におけるフィルタの l2 ノルムに基づいてプルーニングされるフィルタを選択する。したがって、l2 ノルムに基づいて復元するフィルタを選択できる。追加のパラメータを使用してどの部分をプルーニングするかを学習する一部の構造的プルーニングアルゴリズムがあることに注意されたい（BiP [55–57]）。追加の学習可能パラメータを持つそれらのアルゴリズムに対しては、既存の忘却アルゴリズムがモデル自体のみを更新するため、追加のパラメータに対処するための新しいアルゴリズムを推奨する。

アン・プルーニングの評価。忘却されたモデルと再訓練されたモデル間の類似度が通常、忘却アルゴリズムの質を測定するために使用される [35] 一方で、「アン・プルーニング」モデルと標準的な「再プルーニング」モデル間の構造的類似度を測定することは依然として未解決の問題である。まず、2 つのプルーニングモデルの交差比率および和比率を定義する： IoM = ∥Mu ⊙Mr∥1 / N (1) UoM = ∥Mu + Mr −Mu ⊙Mr∥1 / N, (2) ここで || · ||1 はマスク内の 1 の数であり、N はパラメータの総数である。Mu および Mr をアン・プルーニングされたマスクおよび再プルーニングされたマスクとして表す。交差および和に基づいて、さらに IoU（union の intersection）を定義できる： IoU = ∥Mu ⊙Mr∥1 / ∥Mu + Mr −Mu ⊙Mr∥1 (3)

Figure 2: Intersection ratio and unlearning accuracy.（図 2：交差比率および忘却精度。） Figure 2 は、異なる忘却アルゴリズムと統合された「アン・プルーニング」間の交差比率を可視化する。また、忘却精度も示し、結果は我々のアン・プルーニングアルゴリズムが忘却精度を保証できることを示している。

構造的類似度に加えて、我々は差異を測定するために KL-divergence（KL 発散）[48] も導入した： K(Θu, Θr, Mu, Mr) = KL(P(Mu,i⊙Θu,i)||P(Mr,i⊙Θr,i)) (4) ここで P(·) は学習アルゴリズムのランダム性によって導入された分布確率である。直感的には、K(θu, θr) = 0 の場合、忘却プロセスは正確な忘却を提供する。

アン・プルーニングの分析。重み Θ およびプルーニングマスク M が与えられた場合、プルーニング目標は以下のように簡略化できる： min L(Θ; M; D) = min 1/|D| Σ_{i=1}^{|D|} l(Θ ⊙M; xi, yi), (5) ここで (xi, yi) は D 内のデータポイントであり、l は損失関数である。モデル内の k コンポーネントが与えられた場合：Θ = Θ0, Θ1, …, Θk、Unrolling SGD: [4] に従い、忘却プロセス中のプルーニング反復 s における i 番目のコンポーネントの j 番目パラメータの更新を以下のように記述する： Θ^s_{i,j} = M^{s−1}{i,j} (Θ^{s−1}{i,j} −η∇_Θl(Θ ⊙M; Df), (6) ここで η は忘却率を表す。アン・プルーニングとアン・ラーニング（※原文の un-learning）間の接続を確立するために、プルーニング戦略を以下のように書き直す： M = g(Θ) = Sigmoid(log P(Θ) + ϵ / τ), ϵ ∼Gumbel(0, 1) (7) ここで確率 p はランダム学習アルゴリズム上のパラメータのサンプリング確率を表す。

トレーニングおよびプルーニングの S 反復後の ΘS として ˜Θ0 を開始し、パラメータを以下のようにロールバックする： ˜Θt = g(˜Θ_{t−1})(˜Θ_{t−1} + η ∂L((g(˜Θ_{t−1})˜Θ_{t−1}; Df) / ˜Θ_{t−1}) = g(˜Θ_{t−1})(˜Θ_{t−1} + η (∂/∂˜Θ_{t−1}) (1/|D| Σ_{i=1}^{|D|} l(˜Θ ⊙M; xi, yi)) (8) 新しいマスク Mt がデータ依存性であるため、与えられたパラメータの最終マスクは以下のようになる： M = g(˜Θt)g(˜Θ_{t−1}) … g(˜Θ_1)g(˜Θ_0) = Π_{i=0}^t g(˜Θ_i) (9)

M に関するアン・プルーニング誤差を見積もるために、アン・プルーニングプロセスにおいて [45] の忘却誤差を近似する。具体的には、まず初期マスク M 0 = M 周りの 2 次テイラー展開を使用して損失関数を近似する： L(M) = L(1) + 1/2 (1 −M)^T E[∂^2L(1)/∂M^2] (1 −M) (10) 損失関数のヘッシアン行列を以下のように表記する： H = ∇^2L(˜Θ; Df) (11) この時点で、パラメータの変化は以下のようになる： Δ(˜Θ) := ˜Θ −˜Θ0 ≈H^{−1}∇L(˜Θo; Df) (12) 次に σ を最大の特異値とする： λ(M) := max{λ_j(H), 1} (13) [4] に従い、全体のパラメータ変化は以下のように記述できる： ˜Θt ≈˜Θ0 + η Σ_{i=0}^{t−1} ∂L/∂˜Θ + Σ_{i=1}^{t−1} k(i) (14) ここで k(i) は再帰的に定義される： k(i) = −η (∂^2L/∂˜Θ^2)(k(i −1)), k(0) = 0 (15) マスクを導入することにより、パラメータ変化は以下のように書き直せる： ˜Θt ≈˜Θ0 + η M^{t−1} Σ_{i=1}^{t−1} ∇L(M^{t−1} ⊙˜Θ; Df) + M^0 Σ_{i=1}^{t−1} k(i) (16) Eq. (6) および Eq. (16) を比較することにより、˜Θt と元の Θ0 間のアン・プルーニング誤差は以下のようになることがわかる： e(g(Θ)) = M^0 Σ_{i=1}^{t−1} k(i) ≈η^2 diag(0) Σ_{i=1}^{t−1} ∇^2l(Θ0, Df) Σ_{j=0}^{i−1} M^0 ⊙∇l(Θ0, Df) (17)

三角不等式に従う： e(g(Θ)) ≤η^2/2 (t −1) ∥M^0 ⊙(Θt −Θ0)∥_2 λ(M^0) (18)

Table 3: KL divergence at different sparsity levels.（表 3：異なるスパース度レベルにおける KL 発散。）

Method 方法 KL 40% 60% 95% Original（オリジナル） 19.06 19.68 21.79 Retrain（再訓練） 0.00 0.00 0.00 Fisher 16.47 16.85 15.09 WoodFisher 19.06 19.68 21.79 GradientAscent（勾配上昇） 19.05 19.66 21.79 CertifiedUnlearning 16.49 19.32 19.08 SCRUB 19.04 19.57 21.54 SFRon 19.03 19.60 21.59 要約すると、マスクに関するアン・プルーニング誤差の上界は、最大の特異値λ(M)およびモデルスパース度によって特徴付けられる： e(g(Θ)) = O(η²t∥M ⊙ Θ∥₂λ(M)) (19) この理論は Table 3（表 3）によって経験的に正当化される。モデルのスパース度が増加するにつれて、「アン・プルーニング」と「再プルーニング」間の KL 発散も増加する。これは、アン・プルーニング誤差の上界がスパース度に関連していることを検証するものである。アン・プルーニング後の KL 発散をさらに調査するために、再プルーニングモデルと再訓練モデルの間の差異を測定し、[58] に従って以下の不等式を導入する： E_Θ L(Θ; M; D) ≤ E_Θ L(Θ; M; Dr) + √(KL(Q||P) + log|Df| / (2(|Dr| − 1))) , ∀δ > 0, (20) ここで Q と P は Θ 上の事前分布および事後分布である。 KL(Q||P) ≤ (1/2) Σ_i (1 + k_ilog(1 + α²_1∥Θ^t_i − Θ⁰_i∥ / (k_iσ²_Q,i))), (21) ここで k_i は Θ^t のモジュール i 内のパラメータ数であり、σ はガウスノイズの標準偏差である。すると、以下の不等式が得られる [59]： E_Θ L(Θ; M; D) − E_Θ L(Θ; M; Dr) ≤ √( (1/4 Σ_{i=1}^k_i log(1 + μ_i,ϵ(Θ)/n_i)) + log(|Dr|/δ) + Õ(1) ) / (|Dr| − 1), (22) ここで μ_i,ϵ(Θ) = min_{0≤α_i,σ_i≤1} { α²_i ∥Θ^t − Θ⁰_i∥² / σ_i : E_{u∼N(0,σ²_i)} L(θ_i; Dr) ≤ ϵ } (23) であり、α_i は再初期化された重みである。加えて、アン・プルーニングと再プルーニングの間の差異は上界される。

4 Experiment（実験）本論文では、[45] に従って実験を設定した。具体的には、プルーニング対象として 3 つのモデルを導入した：ResNet-18 および AlexNet、および ViT である。これらのモデルは 3 つのデータセット上で訓練およびプルーニングされる：CIFAR-10, FashionMNIST, および ImageNet。すべてのデータセットおよびモデルアーキテクチャにおいて、ランダムに 10% のデータを削除した。デフォルトの非構造的プルーニング手法として (LTH) [22] を、構造的プルーニング手法として Soft Filter Pruning（ソフトフィルタプルーニング）[54] を使用する。スパースモデルは訓練データを再構成できることが示されており、その再構成能力はデータ記憶化と関連している [28]。これに触発され、スパース ResNet-18 モデル（スパース度 40%）が訓練データを保持しているかどうかを、その再構成能力をテストすることによって評価する。再プルーニングされたマスクと「アン・プルーニング」されたマスク間の交差に加え、IoM(Intersection over Mask)、TA（テスト精度）、UA（忘却精度）、および MIA も導入した。我々は、MIA が忘却の評価において脆弱であることを強調する。これらの発見については Section 5 で示す。

Figure 3: Structured un-pruning (IoM)（図 3：構造的アン・プルーニング (IoM)） Figure 4: Unstructured un-pruning (IoM)（図 4：非構造的アン・プルーニング (IoM)） Figure 5: Unstructured un-pruning (IoU)（図 5：非構造的アン・プルーニング (IoU)）

Results and analysis.（結果と分析） Table 2（表 2）において、Extraction-Score は生成画像と実画像間の距離を指し、SSIM は生成画像と実画像間の構造的類似度を指す。

Figure 6: Original initialization vs. random initialization.（図 6：オリジナル初期化対ランダム初期化）実験結果は、新しい（アン・プルーニングされた）スパースモデルが元のスパースモデルと比較して訓練データを再構成する精度が低いことを示している。我々は Fisher [48], WoodFisher (WF) [51], Gradient Ascent (GA) [46], Certified Unlearning (CU) [52], SCRUB [47], および SFRON [53] を含む様々な忘却アルゴリズムをアン・プルーニング手法に統合した。Figure 3, 4 および 5 は、構造的プルーニングおよび非構造的プルーニングそれぞれについて 3 つのスパース度レベル（すなわち、40%, 60%, および 95%）での実験結果を示している。x 軸は IOU を示し、y 軸は UA を測定する。Figure 7 は、スパース度、TA、および UA を含む全体的なパフォーマンスを可視化する。元のモデルと比較して、アン・プルーニングされたモデルは IoM および UA の両方において再訓練＋再プルーニングされたモデルに closer である。同時に、アン・プルーニングされたモデルは元のモデルとは非常に異なるトポロジーおよび UA を有する。また、我々はアン・プルーニングが構造的プルーニングに対してより良いパフォーマンスを発揮することを発見した。これは、構造的トポロジーが非構造的トポロジーよりも近似しやすいからである（非構造的トポロジーでは、コンポーネント内（例えばチャネル）のパラメータの大きさにおける差が僅かである）。結果は、我々のアン・プルーニングアルゴリズムが再訓練＋再プルーニングと類似した新しいスパースモデルを生成できることを検証する。

Table 4: Running time.（表 4：実行時間）

Method 方法 Running Time (s) 実行時間（秒） 40% 60% 95% Retraining+Repruning 再訓練＋再プルーニング Fisher WF GA CU SCRUB SFRon Original initialization vs. random initialization. 我々は、2 つの初期化手法を用いた実験を分析する。オリジナル初期化では、元の初期化重みを保存し、アン・プルーニングプロセスで初期化重みを復元する。ランダム初期化では、プルーニングされたパラメータにランダム値を割り当てる。Figure 6 に示すように、オリジナル初期化はランダム初期化よりも優れた性能を示す。これは、オリジナル初期化がより安定したパラメータ分布を提供し、IoM メトリクスにおいてより良いパフォーマンスを実現するためである。この結果は [60] の見解と一致しており、与えられた初期化されたネットワークに対して、特定のデータセット上で最も良く機能するスーパーマスクが存在するというものである。オリジナル初期化は、残りのデータセットに対する超タスクに近づきやすくし、忘却データの忘却を促進する。 Running time analysis. この部分では、Table 4（表 4）の実験実行時間を提示・分析する。反復プルーニング手法の場合、スパース度が増加すると再訓練の実行時間が増加する。再訓練＋再プルーニングと比較して、我々のアン・プルーニング手法は計算複雑度を大幅に削減できる。同時に、異なる忘却アルゴリズムを統合した場合、実行時間には差異が生じる。 5 Vulnerability of MIA in machine unlearning 機械学習忘却における MIA の脆弱性我々は当初、MIA を使用してベースライン結果を計算する評価指標として計画していた。しかし、実験中に、MIA がモデルの忘却性能を効果的に検証できないことを発見した。我々は 5 つの MIA 評価指標を記録した：MIA の正解率 (Correctness)、信頼度 (Confidence)、エントロピー (Entropy)、8 IoU TA UA スパース度 (Sparsity) IoM 0.2 0.4 0.6 0.8 1.0 レーダーチャート例（スパース度：40%）再訓練＋再プルーニングアン・プルーニング（Fisher）アン・プルーニング（WF）アン・プルーニング（GA）アン・プルーニング（CU）アン・プルーニング（SCRUB）アン・プルーニング（SFRON） IoU TA UA スパース度 (Sparsity) IoM 0.2 0.4 0.6 0.8 1.0 レーダーチャート例（スパース度：60%）再訓練＋再プルーニングアン・プルーニング（Fisher）アン・プルーニング（WF）アン・プルーニング（GA）アン・プルーニング（CU）アン・プルーニング（SCRUB）アン・プルーニング（SFRON） IoU TA UA スパース度 (Sparsity) IoM 0.2 0.4 0.6 0.8 1.0 レーダーチャート例（スパース度：95%）再訓練＋再プルーニングアン・プルーニング（Fisher）アン・プルーニング（WF）アン・プルーニング（GA）アン・プルーニング（CU）アン・プルーニング（SCRUB）アン・プルーニング（SFRON） Figure 7: Radar charts of 5 performance metrics. 0.96 0.98 1.00 1.02 1.04 RetainSubset / TestSet 0.0 0.2 0.4 0.6 0.8 1.0 正解率 (Correctness) RetainSubset/TestSet vs Correctness（スパース度：40%） Original Retrain 0.96 0.98 1.00 1.02 1.04 RetainSubset / TestSet 0.0 0.2 0.4 0.6 0.8 1.0 正解率 (Correctness) RetainSubset/TestSet vs Correctness（スパース度：60%） Original Retrain 0.96 0.98 1.00 1.02 1.04 RetainSubset / TestSet 0.0 0.2 0.4 0.6 0.8 1.0 正解率 (Correctness) RetainSubset/TestSet vs Correctness（スパース度：95%） Original Retrain Figure 8: MIA correctness. m-エントロピー、および確率。しかし、正解率の評価プロセスにおいて、MIA がランダム推測に近い状態にあることが分かり、データが訓練セットに属するかどうかを判断することが困難であることが示された。その後、訓練セットとテストセットの比率を微調整したところ、サンプルサイズがある範囲を超えると MIA は元の値を維持することが分かった。しかし、サンプルサイズがある閾値を超えたり下回ったりすると、MIA は 1.0 に上昇したり 0 に減少したりする（Figure 8 を参照）。他の 4 つの指標については、比率を微調整することで 0 から 1 の任意の範囲の値を得ることができる（Figure 9 および付録を参照）。同時に、比率は常に約 1.0 で維持される必要があることに注意すべきである。これは、MIA を操作するために少数のサンプルを増減するだけでよいことを意味する。したがって、忘却における MIA の評価は脆弱であり、再訓練されたモデルが削除データを忘却したかどうかを区別することさえ不可能である。 6 Related Work 関連研究 Pruning. 深層学習モデルのサイズが増大するにつれ、精度を損なうことなくパラメータ数を削減し計算効率を向上させるためにモデルプルーニングが注目されている [61–66]。既存のプルーニング技術は、構造的プルーニングと非構造的プルーニングの 2 つに分類できる。一般的に、構造的プルーニング [67–76] は、フルモデルから層やチャネルなどのスパースパターンを除去する。非構造的プルーニング [77–83] は、チャネルなどの完全な重み構造ではなく、不規則に分布したパラメータを除去する。最近の研究では、プルーニングと訓練データとの間に依存関係があることが示されている。特定のマスクは訓練データにより敏感である [60]。[9] は、モデルのスパース化が機械学習忘却を簡素化できることを証明している。[84] の実験は、削除されたデータの影響がモデル内の層間の接続に永続的に残るという結論を示した。 Machine unlearning. 機械学習忘却は、訓練済みモデルからの削除されたデータの影響を除去することを目的としている。再訓練戦略は直感的でありながら高コストである一方、正確な忘却は、再訓練モデルと同じ性能を持つモデルを学習することを目指す [6, 53, 85–93]。近似忘却手法は、削除されたデータが訓練モデルに与える影響を近似することでモデルを更新する [94, 95, 46, 96–98, 90, 99, 100]。これらの忘却アルゴリズムが密なモデル上で成功しているにもかかわらず、スパースモデルにおける忘却は十分に調査されていない。著者の知識の限りでは、[45] もスパースモデルにおける忘却を研究している。しかし、この論文では忘却プロセス中にマスクを更新しない（つまり、プルーニングにおける忘れられる権利については言及していない）。

結論本研究では、プルーニングがデータに依存することを経験的に発見した。プルーニングにおける忘れられる権利に対処するため、我々は、高コストな再訓練や再プルーニングを行わずに、保持されたデータによって駆動されるプルーニングトポロジーを近似するアン・プルーニング（Un-pruning）アルゴリズムを提案する。理論的に、アン・プルーニングと再プルーニングの差は有界であることを証明した。実験により、本手法の有効性が検証された。

References References [1] A. J. Biega and M. Finck, “Reviving purpose limitation and data minimisation in data-driven systems,” arXiv preprint arXiv:2101.06203, 2021. [2] P. Regulation, “Regulation (eu) 2016/679 of the european parliament and of the council,” Regulation (eu), vol. 679, p. 2016, 2016. [3] C. OAG, “Ccpa regulations: Final regulation text,” Office of the Attorney General, California Department of Justice, p. 1, 2021. [4] A. Thudi, G. Deza, V. Chandrasekaran, and N. Papernot, “Unrolling sgd: Understanding factors influenc- ing machine unlearning,” in 2022 IEEE 7th European Symposium on Security and Privacy (EuroS&P). IEEE, 2022, pp. 303–319. [5] S. Schelter, “amnesia–towards machine learning models that can forget user data very fast,” in 1st International Workshop on Applied AI for Database Systems and Applications (AIDB19), 2019. [6] L. Bourtoule, V. Chandrasekaran, C. A. Choquette-Choo, H. Jia, A. Travers, B. Zhang, D. Lie, and N. Papernot, “Machine unlearning,” in 2021 IEEE Symposium on Security and Privacy (SP). IEEE, 2021, pp. 141–159. [7] A. Mahadevan and M. Mathioudakis, “Certifiable machine unlearning for linear models,” arXiv preprint arXiv:2106.15093, 2021. [8] B. Zhang, Y. Dong, T. Wang, and J. Li, “Towards certified unlearning for deep neural networks,” arXiv preprint arXiv:2408.00920, 2024. [9] J. Liu, P. Ram, Y. Yao, G. Liu, Y. Liu, P. SHARMA, S. Liu et al., “Model sparsity can simplify machine unlearning,” Advances in Neural Information Processing Systems, vol. 36, 2024. [10] J. Liu, J. Lou, Z. Qin, and K. Ren, “Certified minimax unlearning with generalization rates and deletion capacity,” Advances in Neural Information Processing Systems, vol. 36, 2024. [11] A. Golatkar, A. Achille, and S. Soatto, “Eternal sunshine of the spotless net: Selective forgetting in deep networks,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 9304–9312. [12] H. Xu, T. Zhu, L. Zhang, W. Zhou, and P. S. Yu, “Machine unlearning: A survey,” 2023. [Online]. Available: https://arxiv.org/abs/2306.03558 [13] S. Pal, C. Wang, J. Diffenderfer, B. Kailkhura, and S. Liu, “Llm unlearning reveals a stronger-than- expected coreset effect in current benchmarks,” arXiv preprint arXiv:2504.10185, 2025. [14] S. Liu, Y. Yao, J. Jia, S. Casper, N. Baracaldo, P. Hase, Y. Yao, C. Y. Liu, X. Xu, H. Li et al., “Rethinking machine unlearning for large language models,” Nature Machine Intelligence, pp. 1–14, 2025. [15] C. Fan, J. Jia, Y. Zhang, A. Ramakrishna, M. Hong, and S. Liu, “Towards llm unlearning resilient to relearn- ing attacks: A sharpness-aware minimization perspective and beyond,” arXiv preprint arXiv:2502.05374, 2025. [16] C. Sun, R. Wang, Y. Zhang, J. Jia, J. Liu, G. Liu, Y. Yan, and S. Liu, “Forget vectors at play: Universal input perturbations driving machine unlearning in image classification,” arXiv preprint arXiv:2412.16780, 2024. [17] H. Zhuang, Y. Zhang, K. Guo, J. Jia, G. Liu, S. Liu, and X. Zhang, “Uoe: Unlearning one expert is enough for mixture-of-experts llms,” arXiv preprint arXiv:2411.18797, 2024. [18] C. Fan, J. Liu, L. Lin, J. Jia, R. Zhang, S. Mei, and S. Liu, “Simplicity prevails: Rethinking negative preference optimization for llm unlearning,” arXiv preprint arXiv:2410.07163, 2024. [19] Y. Zhou, D. Zheng, Q. Mo, R. Lu, K.-Y. Lin, and W.-S. Zheng, “Decoupled distillation to erase: A general unlearning method for any class-centric tasks,” arXiv preprint arXiv:2503.23751, 2025. [20] Y. H. Khalil, L. Brunswic, S. Lamghari, X. Li, M. Beitollahi, and X. Chen, “Not: Federated unlearning via weight negation,” arXiv preprint arXiv:2503.05657, 2025. [21] C. N. Spartalis, T. Semertzidis, E. Gavves, and P. Daras, “Lotus: Large-scale machine unlearning with a taste of uncertainty,” arXiv preprint arXiv:2503.18314, 2025. 10

[22] J. Frankle and M. Carbin, “The lottery ticket hypothesis: Finding sparse, trainable neural networks,” in 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019. [Online]. Available: https://openreview.net/forum?id=rJl-b3RcF7 [23] W. Wang, Z. Tian, and S. Yu, “Machine unlearning: A comprehensive survey,” arXiv preprint arXiv:2405.07406, 2024. [24] Y. Qu, X. Yuan, M. Ding, W. Ni, T. Rakotoarivelo, and D. Smith, “Learn to unlearn: A survey on machine unlearning,” arXiv preprint arXiv:2305.07512, 2023. [25] E. Fosch-Villaronga, P. Kieseberg, and T. Li, “Humans forget, machines remember: Artificial intelligence and the right to be forgotten,” Comput. Law Secur. Rev., vol. 34, no. 2, pp. 304–313, 2018. [Online]. Available: https://doi.org/10.1016/j.clsr.2017.08.007 [26] H. Zhou, J. Lan, R. Liu, and J. Yosinski, “Deconstructing lottery tickets: Zeros, signs, and the supermask,” in Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, H. M. Wallach, H. Larochelle, A. Beygelzimer, F. d’Alché-Buc, E. B. Fox, and R. Garnett, Eds., 2019, pp. 3592–3602. [27] F. Tung and G. Mori, “CLIP-Q: deep network compression learning by in-parallel pruning-quantization,” in 2018 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2018, Salt Lake City, UT, USA, June 18-22, 2018. Computer Vision Foundation / IEEE Computer Society, 2018, pp. 7873–7882. [Online]. Available: http://openaccess.thecvf.com/content_cvpr_2018/html/Tung_CLIP-Q_ Deep_Network_CVPR_2018_paper.html [28] N. Haim, G. Vardi, G. Yehudai, O. Shamir, and M. Irani, “Reconstructing training data from trained neural networks,” Advances in Neural Information Processing Systems, vol. 35, pp. 22 911–22 924, 2022. [29] ——, “Reconstructing training data from trained neural networks,” in Advances in Neural Information Processing Systems 35: Annual Conference on Neural Information Processing Systems 2022, NeurIPS 2022, New Orleans, LA, USA, November 28 - December 9, 2022, S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, Eds., 2022. [Online]. Available: http://papers.nips.cc/paper_files/paper/ 2022/hash/906927370cbeb537781100623cca6fa6-Abstract-Conference.html [30] M. Duan, A. Suri, N. Mireshghallah, S. Min, W. Shi, L. Zettlemoyer, Y. Tsvetkov, Y. Choi, D. Evans, and H. Hajishirzi, “Do membership inference attacks work on large language models?” arXiv preprint arXiv:2402.07841, 2024. [31] D. Das, J. Zhang, and F. Tramèr, “Blind baselines beat membership inference attacks for foundation models,” arXiv preprint arXiv:2406.16201, 2024. [32] J. Zhang, D. Das, G. Kamath, and F. Tramèr, “Membership inference attacks cannot prove that a model was trained on your data,” arXiv preprint arXiv:2409.19798, 2024. [33] M. Klabunde, T. Schumacher, M. Strohmaier, and F. Lemmerich, “Similarity of neural network models: A survey of functional and representational measures,” CoRR, vol. abs/2305.06329, 2023. [Online]. Available: https://doi.org/10.48550/arXiv.2305.06329 [34] S. Kornblith, M. Norouzi, H. Lee, and G. E. Hinton, “Similarity of neural network representations revisited,” in Proceedings of the 36th International Conference on Machine Learning, ICML 2019, 9-15 June 2019, Long Beach, California, USA, ser. Proceedings of Machine Learning Research, K. Chaudhuri and R. Salakhutdinov, Eds., vol. 97. PMLR, 2019, pp. 3519–3529. [Online]. Available: http://proceedings.mlr.press/v97/kornblith19a.html [35] H. Xu, T. Zhu, L. Zhang, W. Zhou, and P. S. Yu, “Machine unlearning: A survey,” ACM Comput. Surv., vol. 56, no. 1, pp. 9:1–9:36, 2024. [Online]. Available: https://doi.org/10.1145/3603620 [36] Y. Park, S. Yun, J. Kim, J. Kim, G. Jang, Y. Jeong, J. Jo, and G. Lee, “Direct unlearning optimization for robust and safe text-to-image models,” CoRR, vol. abs/2407.21035, 2024. [Online]. Available: https://doi.org/10.48550/arXiv.2407.21035 [37] E. Chien, H. Wang, Z. Chen, and P. Li, “Langevin unlearning: A new perspective of noisy gradient descent for machine unlearning,” CoRR, vol. abs/2401.10371, 2024. [Online]. Available: https://doi.org/10.48550/arXiv.2401.10371 [38] H. Cheng, M. Zhang, and J. Q. Shi, “A survey on deep neural network pruning: Taxonomy, comparison, analysis, and recommendations,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 46, no. 12, pp. 10 558–10 578, 2024. [Online]. Available: https://doi.org/10.1109/TPAMI.2024.3447085 11

[39] Y. He and L. Xiao, “Structured pruning for deep convolutional neural networks: A survey,” IEEE transactions on pattern analysis and machine intelligence, vol. 46, no. 5, pp. 2900–2919, 2023. [40] S. Xu, A. Huang, L. Chen, and B. Zhang, “Convolutional neural network pruning: A survey,” in 2020 39th Chinese control conference (CCC). IEEE, 2020, pp. 7458–7463. [41] H. Cheng, M. Zhang, and J. Q. Shi, “A survey on deep neural network pruning: Taxonomy, comparison, analysis, and recommendations,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2024. [42] Y. Tang, Y. Wang, J. Guo, Z. Tu, K. Han, H. Hu, and D. Tao, “A survey on transformer compression,” arXiv preprint arXiv:2402.05964, 2024. [43] R. Ma and L. Niu, “A survey of sparse-learning methods for deep neural networks,” in 2018 IEEE/WIC/ACM International Conference on Web Intelligence (WI). IEEE, 2018, pp. 647–650. [44] L. Deng, G. Li, S. Han, L. Shi, and Y. Xie, “Model compression and hardware acceleration for neural networks: A comprehensive survey,” Proceedings of the IEEE, vol. 108, no. 4, pp. 485–532, 2020. [45] J. Jia, J. Liu, P. Ram, Y. Yao, G. Liu, Y. Liu, P. Sharma, and S. Liu, “Model sparsity can simplify machine unlearning,” in Advances in Neural Information Processing Systems 36: Annual Conference on Neural Information Processing Systems 2023, NeurIPS 2023, New Orleans, LA, USA, December 10 - 16, 2023, A. Oh, T. Naumann, A. Globerson, K. Saenko, M. Hardt, and S. Levine, Eds., 2023. [46] L. Graves, V. Nagisetty, and V. Ganesh, “Amnesiac machine learning,” in Thirty-Fifth AAAI Conference on Artificial Intelligence, AAAI 2021, Thirty-Third Conference on Innovative Applications of Artificial Intelligence, IAAI 2021, The Eleventh Symposium on Educational Advances in Artificial Intelligence, EAAI 2021, Virtual Event, February 2-9, 2021. AAAI Press, 2021, pp. 11 516–11 524. [Online]. Available: https://doi.org/10.1609/aaai.v35i13.17371 [47] M. Kurmanji, P. Triantafillou, J. Hayes, and E. Triantafillou, “Towards unbounded machine unlearning,” in Advances in Neural Information Processing Systems 36: Annual Conference on Neural Information Processing Systems 2023, NeurIPS 2023, New Orleans, LA, USA, December 10 - 16, 2023, A. Oh, T. Naumann, A. Globerson, K. Saenko, M. Hardt, and S. Levine, Eds., 2023. [48] A. Golatkar, A. Achille, and S. Soatto, “Eternal sunshine of the spotless net: Selective forgetting in deep networks,” in 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2020, Seattle, WA, USA, June 13-19, 2020. Computer Vision Foundation / IEEE, 2020, pp. 9301–9309. [Online]. Available: https://openaccess.thecvf.com/content_CVPR_2020/html/Golatkar_ Eternal_Sunshine_of_the_Spotless_Net_Selective_Forgetting_in_Deep_CVPR_2020_paper.html [49] J. Foster, S. Schoepf, and A. Brintrup, “Fast machine unlearning without retraining through selective synaptic dampening,” in Proceedings of the AAAI conference on artificial intelligence, vol. 38, no. 11, 2024, pp. 12 043–12 051. [50] J. Kirkpatrick, R. Pascanu, N. Rabinowitz, J. Veness, G. Desjardins, A. A. Rusu, K. Milan, J. Quan, T. Ramalho, A. Grabska-Barwinska et al., “Overcoming catastrophic forgetting in neural networks,” Proceedings of the national academy of sciences, vol. 114, no. 13, pp. 3521–3526, 2017. [51] S. P. Singh and D. Alistarh, “Woodfisher: Efficient second-order approximation for neural network compression,” in Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, H. Larochelle, M. Ranzato, R. Hadsell, M. Balcan, and H. Lin, Eds., 2020. [52] B. Zhang, Y. Dong, T. Wang, and J. Li, “Towards certified unlearning for deep neural networks,” in Forty-first International Conference on Machine Learning, ICML 2024, Vienna, Austria, July 21-27, 2024. OpenReview.net, 2024. [Online]. Available: https://openreview.net/forum?id=1mf1ISuyS3 [53] Z. Huang, X. Cheng, J. Zheng, H. Wang, Z. He, T. Li, and X. Huang, “Unified gradient-based machine unlearning with remain geometry enhancement,” arXiv preprint arXiv:2409.19732, 2024. [54] Y. He, G. Kang, X. Dong, Y. Fu, and Y. Yang, “Soft filter pruning for accelerating deep convolutional neural networks,” arXiv preprint arXiv:1808.06866, 2018. [55] Y. Zhang, Y. Yao, P. Ram, P. Zhao, T. Chen, M. Hong, Y. Wang, and S. Liu, “Advancing model pruning via bi-level optimization,” Advances in Neural Information Processing Systems, vol. 35, pp. 18 309–18 326, 2022. [56] V. Sehwag, S. Wang, P. Mittal, and S. Jana, “Hydra: Pruning adversarially robust neural networks,” Advances in Neural Information Processing Systems, vol. 33, pp. 19 655–19 666, 2020. 12

[57] H. Wang and Y. Fu, “Trainability preserving neural pruning,” arXiv preprint arXiv:2207.12534, 2022. [58] G. K. Dziugaite and D. M. Roy, “Computing nonvacuous generalization bounds for deep (stochastic) neural networks with many more parameters than training data,” in Proceedings of the Thirty-Third Conference on Uncertainty in Artificial Intelligence, UAI 2017, Sydney, Australia, August 11-15, 2017, G. Elidan, K. Kersting, and A. Ihler, Eds. AUAI Press, 2017. [Online]. Available: http://auai.org/uai2017/proceedings/papers/173.pdf [59] N. S. Chatterji, B. Neyshabur, and H. Sedghi, “The intriguing role of module criticality in the generalization of deep networks,” in 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020. [Online]. Available: https://openreview.net/forum?id=S1e4jkSKvB [60] H. Zhou, J. Lan, R. Liu, and J. Yosinski, “Deconstructing lottery tickets: Zeros, signs, and the supermask,” Advances in neural information processing systems, vol. 32, 2019. [61] Y. LeCun, J. S. Denker, and S. A. Solla, “Optimal brain damage,” in Advances in Neural Information Processing Systems 2, [NIPS Conference, Denver, Colorado, USA, November 27-30, 1989], D. S. Touretzky, Ed. Morgan Kaufmann, 1989, pp. 598–605. [Online]. Available: http://papers.nips.cc/paper/250-optimal-brain-damage [62] T. Liang, J. Glossner, L. Wang, S. Shi, and X. Zhang, “Pruning and quantization for deep neural network acceleration: A survey,” Neurocomputing, vol. 461, pp. 370–403, 2021. [Online]. Available: https://doi.org/10.1016/j.neucom.2021.07.045 [63] L. Yin, Y. Wu, Z. Zhang, C.-Y. Hsieh, Y. Wang, Y. Jia, G. Li, A. Jaiswal, M. Pechenizkiy, Y. Liang et al., “Outlier weighed layerwise sparsity (owl): A missing secret sauce for pruning llms to high sparsity,” arXiv preprint arXiv:2310.05175, 2023. [64] T. Kumar, K. Luo, and M. Sellke, “No free prune: Information-theoretic barriers to pruning at initializa- tion,” arXiv preprint arXiv:2402.01089, 2024. [65] H. Wang, J. Zhang, and Q. Ma, “Exploring intrinsic dimension for vision-language model pruning,” in Forty-first International Conference on Machine Learning. [66] G. Bai, Y. Li, C. Ling, K. Kim, and L. Zhao, “Sparsellm: Towards global pruning of pre-trained language models,” in The Thirty-eighth Annual Conference on Neural Information Processing Systems, 2024. [67] Y. He, X. Zhang, and J. Sun, “Channel pruning for accelerating very deep neural networks,” in IEEE International Conference on Computer Vision, ICCV 2017, Venice, Italy, October 22-29, 2017. IEEE Computer Society, 2017, pp. 1398–1406. [Online]. Available: https://doi.org/10.1109/ICCV.2017.155 [68] Z. Liu, J. Li, Z. Shen, G. Huang, S. Yan, and C. Zhang, “Learning efficient convolutional networks through network slimming,” in IEEE International Conference on Computer Vision, ICCV 2017, Venice, Italy, October 22-29, 2017. IEEE Computer Society, 2017, pp. 2755–2763. [Online]. Available: https://doi.org/10.1109/ICCV.2017.298 [69] H. Li, A. Kadav, I. Durdanovic, H. Samet, and H. P. Graf, “Pruning filters for efficient convnets,” in 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017. [Online]. Available: https://openreview.net/forum?id=rJqFGTslg [70] H. Hu, R. Peng, Y. Tai, and C. Tang, “Network trimming: A data-driven neuron pruning approach towards efficient deep architectures,” CoRR, vol. abs/1607.03250, 2016. [Online]. Available: http://arxiv.org/abs/1607.03250 [71] W. Wen, C. Wu, Y. Wang, Y. Chen, and H. Li, “Learning structured sparsity in deep neural networks,” in Advances in Neural Information Processing Systems 29: Annual Conference on Neural Information Processing Systems 2016, December 5-10, 2016, Barcelona, Spain, D. D. Lee, M. Sugiyama, U. von Luxburg, I. Guyon, and R. Garnett, Eds., 2016, pp. 2074–2082. [72] C. Hong, A. Sukumaran-Rajam, B. Bandyopadhyay, J. Kim, S. E. Kurt, I. Nisa, S. Sabhlok, Ü. V. Çatalyürek, S. Parthasarathy, and P. Sadayappan, “Efficient sparse-matrix multi-vector product on gpus,” in Proceedings of the 27th International Symposium on High-Performance Parallel and Distributed Computing, HPDC 2018, Tempe, AZ, USA, June 11-15, 2018, M. Zhao, A. Chandra, and L. Ramakrishnan, Eds. ACM, 2018, pp. 66–79. [Online]. Available: https://doi.org/10.1145/3208040.3208062 13

[73] M. Nonnenmacher, T. Pfeil, I. Steinwart, and D. Reeb, “SOSP: efficiently capturing global correlations by second-order structured pruning,” in The Tenth International Conference on Learning Representations, ICLR 2022, Virtual Event, April 25-29, 2022. OpenReview.net, 2022. [Online]. Available: https://openreview.net/forum?id=t5EmXZ3ZLR [74] M. E. Halabi, S. Srinivas, and S. Lacoste-Julien, “Data-efficient structured pruning via submodular optimization,” in Advances in Neural Information Processing Systems 35: Annual Conference on Neural Information Processing Systems 2022, NeurIPS 2022, New Orleans, LA, USA, November 28 - December 9, 2022, S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, Eds., 2022. [75] M. Yin, B. Uzkent, Y. Shen, H. Jin, and B. Yuan, “GOHSP: A unified framework of graph and optimization-based heterogeneous structured pruning for vision transformer,” in Thirty-Seventh AAAI Conference on Artificial Intelligence, AAAI 2023, Thirty-Fifth Conference on Innovative Applications of Artificial Intelligence, IAAI 2023, Thirteenth Symposium on Educational Advances in Artificial Intelligence, EAAI 2023, Washington, DC, USA, February 7-14, 2023, B. Williams, Y. Chen, and J. Neville, Eds. AAAI Press, 2023, pp. 10 954–10 962. [Online]. Available: https://doi.org/10.1609/aaai.v37i9.26298 [76] A. Nova, H. Dai, and D. Schuurmans, “Gradient-free structured pruning with unlabeled data,” in International Conference on Machine Learning, ICML 2023, 23-29 July 2023, Honolulu, Hawaii, USA, ser. Proceedings of Machine Learning Research, A. Krause, E. Brunskill, K. Cho, B. Engelhardt, S. Sabato, and J. Scarlett, Eds., vol. 202. PMLR, 2023, pp. 26 326–26 341. [Online]. Available: https://proceedings.mlr.press/v202/nova23a.html [77] S. Han, H. Mao, and W. J. Dally, “Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding,” arXiv preprint arXiv:1510.00149, 2015. [78] Z. Liu, M. Sun, T. Zhou, G. Huang, and T. Darrell, “Rethinking the value of network pruning,” in 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019. [Online]. Available: https://openreview.net/forum?id=rJlnB3C5Ym [79] S. Cao, C. Zhang, Z. Yao, W. Xiao, L. Nie, D. Zhan, Y. Liu, M. Wu, and L. Zhang, “Efficient and effective sparse LSTM on FPGA with bank-balanced sparsity,” in Proceedings of the 2019 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays, FPGA 2019, Seaside, CA, USA, February 24-26, 2019, K. Bazargan and S. Neuendorffer, Eds. ACM, 2019, pp. 63–72. [Online]. Available: https://doi.org/10.1145/3289602.3293898 [80] A. Ren, T. Zhang, S. Ye, J. Li, W. Xu, X. Qian, X. Lin, and Y. Wang, “ADMM-NN: an algorithm-hardware co-design framework of dnns using alternating direction methods of multipliers,” in Proceedings of the Twenty-Fourth International Conference on Architectural Support for Programming Languages and Operating Systems, ASPLOS 2019, Providence, RI, USA, April 13-17, 2019, I. Bahar, M. Herlihy, E. Witchel, and A. R. Lebeck, Eds. ACM, 2019, pp. 925–938. [Online]. Available: https://doi.org/10.1145/3297858.3304076 [81] T. Zhang, S. Ye, K. Zhang, J. Tang, W. Wen, M. Fardad, and Y. Wang, “A systematic DNN weight pruning framework using alternating direction method of multipliers,” in Computer Vision - ECCV 2018 - 15th European Conference, Munich, Germany, September 8-14, 2018, Proceedings, Part VIII, ser. Lecture Notes in Computer Science, V. Ferrari, M. Hebert, C. Sminchisescu, and Y. Weiss, Eds., vol. 11212. Springer, 2018, pp. 191–207. [Online]. Available: https://doi.org/10.1007/978-3-030-01237-3_12 [82] M. Alizadeh, S. A. Tailor, L. M. Zintgraf, J. van Amersfoort, S. Farquhar, N. D. Lane, and Y. Gal, “Prospect pruning: Finding trainable weights at initialization using meta-gradients,” in The Tenth International Conference on Learning Representations, ICLR 2022, Virtual Event, April 25-29, 2022. OpenReview.net, 2022. [Online]. Available: https://openreview.net/forum?id=AIgn9uwfcD1 [83] Z. Liao, V. Quétu, V. Nguyen, and E. Tartaglione, “Can unstructured pruning reduce the depth in deep neural networks?” CoRR, vol. abs/2308.06619, 2023. [Online]. Available: https://doi.org/10.48550/arXiv.2308.06619 [84] C. Zhang, S. Bengio, and Y. Singer, “Are all layers created equal?” Journal of Machine Learning Research, vol. 23, no. 67, pp. 1–28, 2022. [85] Y. Yao, X. Xu, and Y. Liu, “Large language model unlearning,” arXiv preprint arXiv:2310.10683, 2023. [86] K. Zhao, M. Kurmanji, G.-O. B˘arbulescu, E. Triantafillou, and P. Triantafillou, “What makes unlearning hard and what to do about it,” arXiv preprint arXiv:2406.01257, 2024. 14

[87] Y. Li, C. Wang, and G. Cheng, “Online forgetting process for linear regression models,” in The 24th International Conference on Artificial Intelligence and Statistics, AISTATS 2021, April 13-15, 2021, Virtual Event, ser. Proceedings of Machine Learning Research, A. Banerjee and K. Fukumizu, Eds., vol. 130. PMLR, 2021, pp. 217–225. [Online]. Available: http://proceedings.mlr.press/v130/li21a.html [88] A. Mahadevan and M. Mathioudakis, “Certifiable machine unlearning for linear models,” CoRR, vol. abs/2106.15093, 2021. [Online]. Available: https://arxiv.org/abs/2106.15093 [89] J. Brophy and D. Lowd, “Machine unlearning for random forests,” in Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18-24 July 2021, Virtual Event, ser. Proceedings of Machine Learning Research, M. Meila and T. Zhang, Eds., vol. 139. PMLR, 2021, pp. 1092–1104. [Online]. Available: http://proceedings.mlr.press/v139/brophy21a.html [90] A. Ginart, M. Y. Guan, G. Valiant, and J. Zou, “Making AI forget you: Data deletion in machine learning,” in Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, H. M. Wallach, H. Larochelle, A. Beygelzimer, F. d’Alché-Buc, E. B. Fox, and R. Garnett, Eds., 2019, pp. 3513–3526. [91] Y. Cao and J. Yang, “Towards making systems forget with machine unlearning,” in 2015 IEEE symposium on security and privacy. IEEE, 2015, pp. 463–480. [92] E. Ullah, T. Mai, A. Rao, R. A. Rossi, and R. Arora, “Machine unlearning via algorithmic stability,” in Conference on Learning Theory, COLT 2021, 15-19 August 2021, Boulder, Colorado, USA, ser. Proceedings of Machine Learning Research, M. Belkin and S. Kpotufe, Eds., vol. 134. PMLR, 2021, pp. 4126–4142. [Online]. Available: http://proceedings.mlr.press/v134/ullah21a.html [93] M. Chen, Z. Zhang, T. Wang, M. Backes, M. Humbert, and Y. Zhang, “When machine unlearning jeopardizes privacy,” in CCS ’21: 2021 ACM SIGSAC Conference on Computer and Communications Security, Virtual Event, Republic of Korea, November 15 - 19, 2021, Y. Kim, J. Kim, G. Vigna, and E. Shi, Eds. ACM, 2021, pp. 896–911. [Online]. Available: https://doi.org/10.1145/3460120.3484756 [94] E. Chien, H. P. Wang, Z. Chen, and P. Li, “Certified machine unlearning via noisy stochastic gradient descent,” in The Thirty-eighth Annual Conference on Neural Information Processing Systems. [95] Y.-H. Park, S. Yun, J.-H. Kim, J. Kim, G. Jang, Y. Jeong, J. Jo, and G. Lee, “Direct unlearning optimization for robust and safe text-to-image models,” arXiv preprint arXiv:2407.21035, 2024.

References (cont.) [96] N. G. Marchant, B. I. P. Rubinstein, and S. Alfeld, “Hard to forget: Poisoning attacks on certified machine unlearning,” in Thirty-Sixth AAAI Conference on Artificial Intelligence, AAAI 2022, Thirty-Fourth Conference on Innovative Applications of Artificial Intelligence, IAAI 2022, The Twelveth Symposium on Educational Advances in Artificial Intelligence, EAAI 2022 Virtual Event, February 22 - March 1, 2022. AAAI Press, 2022, pp. 7691–7700. [Online]. Available: https://doi.org/10.1609/aaai.v36i7.20736 [97] Y. Wu, E. Dobriban, and S. B. Davidson, “Deltagrad: Rapid retraining of machine learning models,” in Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 13-18 July 2020, Virtual Event, ser. Proceedings of Machine Learning Research, vol. 119. PMLR, 2020, pp. 10 355–10 366. [Online]. Available: http://proceedings.mlr.press/v119/wu20b.html [98] S. Neel, A. Roth, and S. Sharifi-Malvajerdi, “Descent-to-delete: Gradient-based methods for machine unlearning,” in Algorithmic Learning Theory, 16-19 March 2021, Virtual Conference, Worldwide, ser. Proceedings of Machine Learning Research, V. Feldman, K. Ligett, and S. Sabato, Eds., vol. 132. PMLR, 2021, pp. 931–962. [Online]. Available: http://proceedings.mlr.press/v132/neel21a.html [99] J. Foster, S. Schoepf, and A. Brintrup, “Fast machine unlearning without retraining through selective synaptic dampening,” in Thirty-Eighth AAAI Conference on Artificial Intelligence, AAAI 2024, Thirty-Sixth Conference on Innovative Applications of Artificial Intelligence, IAAI 2024, Fourteenth Symposium on Educational Advances in Artificial Intelligence, EAAI 2014, February 20-27, 2024, Vancouver, Canada, M. J. Wooldridge, J. G. Dy, and S. Natarajan, Eds. AAAI Press, 2024, pp. 12 043–12 051. [Online]. Available: https://doi.org/10.1609/aaai.v38i11.29092 [100] V. S. Chundawat, A. K. Tarun, M. Mandal, and M. S. Kankanhalli, “Can bad teaching induce forgetting? unlearning in deep networks using an incompetent teacher,” in Thirty-Seventh AAAI Conference on Artificial Intelligence, AAAI 2023, Thirty-Fifth Conference on Innovative Applications of Artificial Intelligence, IAAI 2023, Thirteenth Symposium on Educational Advances in Artificial Intelligence, EAAI 2023, Washington, DC, USA, February 7-14, 2023, B. Williams, Y. Chen, and J. Neville, Eds. AAAI Press, 2023, pp. 7210–7217. [Online]. Available: https://doi.org/10.1609/aaai.v37i6.25879 [101] J. Frankle and M. Carbin, “The lottery ticket hypothesis: Finding sparse, trainable neural networks,” arXiv preprint arXiv:1803.03635, 2018. 15

A Technical Appendices and Supplementary Material As Figure 10 11 and 12 shown, MIA would be significantly changed by slightly adjusting a bit of samples. Therefore, even when the training and test sets in the shadow dataset are approximately in a 1:1 ratio, adjusting the data within the error margin (±5%) can yield completely opposite results. Due to the low robustness of the results, we consider MIA to be unreliable for evaluating unlearning in sparse models. As Tab 7 mentioned, each row contains several sparsifications (i.e., dense and a few sparsity-level) and

8 つの状況（オリジナル、再学習、および 6 つの忘却方法）。すべての実験条件が一定に保たれることを保証し、唯一の違いはトレーニングデータのみである（元の实验では完全なデータセットを使用する一方、再学習実験ではランダムシード 42 に基づいてデータの 20% を削除したトレーニングセットを使用する）。一部のケースでは、高いスパース度（Sparsity）が精度の壊滅的な崩壊をもたらす（例えば、90% および 95% のスパース度は場合によりわずか 10% の精度しか結果しない）。したがって、我々は明確に破綻した結果を提示する際にはこれらを省略する。

考察忘却されたデータの影響を除去しているかどうかを評価するために、より良い指標の発見または確立が必要である。データが下流タスクのパフォーマンスやスパースモデルのトポロジー（重み分布、接続パターン、および勾配ダイナミクス）などすべての側面に与える影響を包括的に考慮すべきである。さらに、実験をより広範なモデルアーキテクチャとデータセットに拡張することで、知見の一般化可能性が高まるだろう。本研究は特定の設定に焦点を当てているが、Transformers や DDPM などのアーキテクチャで忘却手法を評価することは、モデル依存の挙動を明らかにする可能性がある。

Table 5: ImageNet データセット（ResNet18）上の性能比較

Method | IOU | IOM | TA | UA | Sparsity | Del. Ratio Retraining + repruning | – | – | 56.57% | 54.87% | 19.03% | 20% Un-pruning (WF) | 84.22% | 85.06% | 57.42% | 55.42% | 19.03% | 20%

Table 6: ViT 上の性能

Method | IOU | IOM | TA | UA | Sparsity | Del. Ratio Retraining + repruning | – | – | 72.68% | 85.29% | 41% | 20% Un-pruning (WF) | 45.78% | 64.05% | 70.32% | 86.44% | 41% | 20%

Figure 9: MIA confidence. RetainSubset/TestSet vs Confidence (Sparsity:40%) Original / Retrain RetainSubset/TestSet vs Confidence (Sparsity:60%) Original / Retrain RetainSubset/TestSet vs Confidence (Sparsity:95%) Original / Retrain

Table 7: ハイパーパラメータ設定 Type

Method モデル Dataset データセット Learning Rate 学習率 Random Seed 乱数シード Deleted Ratio 削除比率 Structured 構造的 [54] ResNet-20 Cifar10 1e-3 42 20% Unstructured 非構造的 [101] ResNet-18 Cifar10 1e-3 42 20% Unstructured 非構造的 [101] ResNet-18 FashionMNIST 1e-3 42 20% 0.96 0.98 1.00 1.02 1.04 RetainSubset / TestSet 保持サブセット/テストセット 0.0 0.2 0.4 0.6 0.8 1.0 Entropy エントロピー RetainSubset/TestSet vs Entropy (Sparsity:40%) 保持サブセット/テストセット対エントロピー（スパース度：40%） Original オリジナル Retrain 再学習 0.96 0.98 1.00 1.02 1.04 RetainSubset / TestSet 保持サブセット/テストセット 0.0 0.2 0.4 0.6 0.8 1.0 Entropy エントロピー RetainSubset/TestSet vs Entropy (Sparsity:60%) 保持サブセット/テストセット対エントロピー（スパース度：60%） Original オリジナル Retrain 再学習 0.96 0.98 1.00 1.02 1.04 RetainSubset / TestSet 保持サブセット/テストセット 0.0 0.2 0.4 0.6 0.8 1.0 Entropy エントロピー RetainSubset/TestSet vs Entropy (Sparsity:95%) 保持サブセット/テストセット対エントロピー（スパース度：95%） Original オリジナル Retrain 再学習 Figure 10: MIA エントロピー。 0.96 0.98 1.00 1.02 1.04 RetainSubset / TestSet 保持サブセット/テストセット 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 m_Entropy m-エントロピー RetainSubset/TestSet vs m_Entropy (Sparsity:40%) 保持サブセット/テストセット対 m-エントロピー（スパース度：40%） Original オリジナル Retrain 再学習 0.96 0.98 1.00 1.02 1.04 RetainSubset / TestSet 保持サブセット/テストセット 0.2 0.3 0.4 0.5 0.6 0.7 0.8 m_Entropy m-エントロピー RetainSubset/TestSet vs m_Entropy (Sparsity:60%) 保持サブセット/テストセット対 m-エントロピー（スパース度：60%） Original オリジナル Retrain 再学習 0.96 0.98 1.00 1.02 1.04 RetainSubset / TestSet 保持サブセット/テストセット 0.2 0.3 0.4 0.5 0.6 0.7 0.8 m_Entropy m-エントロピー RetainSubset/TestSet vs m_Entropy (Sparsity:95%) 保持サブセット/テストセット対 m-エントロピー（スパース度：95%） Original オリジナル Retrain 再学習 Figure 11: MIA m エントロピー。 0.96 0.98 1.00 1.02 1.04 RetainSubset / TestSet 保持サブセット/テストセット 0.0 0.2 0.4 0.6 0.8 1.0 Probability 確率 RetainSubset/TestSet vs Probability (Sparsity:40%) 保持サブセット/テストセット対確率（スパース度：40%） Original オリジナル Retrain 再学習 0.96 0.98 1.00 1.02 1.04 RetainSubset / TestSet 保持サブセット/テストセット 0.0 0.2 0.4 0.6 0.8 1.0 Probability 確率 RetainSubset/TestSet vs Probability (Sparsity:60%) 保持サブセット/テストセット対確率（スパース度：60%） Original オリジナル Retrain 再学習 0.96 0.98 1.00 1.02 1.04 RetainSubset / TestSet 保持サブセット/テストセット 0.0 0.2 0.4 0.6 0.8 1.0 Probability 確率 RetainSubset/TestSet vs Probability (Sparsity:95%) 保持サブセット/テストセット対確率（スパース度：95%） Original オリジナル Retrain 再学習 Figure 12: MIA 確率。 17

0.60 0.61 0.62 0.63 0.64 0.65 0.66 Intersection over Mask マスク上交差 0.9100 0.9125 0.9150 0.9175 0.9200 0.9225 0.9250 0.9275 Unlearning Data Accuracy 忘却データ精度 UA vs. Intersection over Mask (Sparsity: 40%) 忘却精度（UA）対マスク上交差（スパース度：40%） Original オリジナル Un-pruning (GA) アン・プルーニング（勾配上昇） Un-pruning (SCRUB) アン・プルーニング（SCRUB） Un-pruning (Fisher) アン・プルーニング（フィッシャー） Un-pruning (WF) アン・プルーニング（WF） Un-pruning (CU) アン・プルーニング（CU） Un-pruning (SFRON) アン・プルーニング（SFRON） 0.39 0.40 0.41 0.42 0.43 0.44 Intersection over Mask マスク上交差 0.9050 0.9075 0.9100 0.9125 0.9150 0.9175 0.9200 0.9225 Unlearning Data Accuracy 忘却データ精度 UA vs. Intersection over Mask (Sparsity: 60%) 忘却精度（UA）対マスク上交差（スパース度：60%） Original オリジナル Un-pruning (GA) アン・プルーニング（勾配上昇） Un-pruning (SCRUB) アン・プルーニング（SCRUB） Un-pruning (Fisher) アン・プルーニング（フィッシャー） Un-pruning (WF) アン・プルーニング（WF） Un-pruning (CU) アン・プルーニング（CU） Un-pruning (SFRON) アン・プルーニング（SFRON） Figure 13: FashionMNIST における非構造的アン・プルーニング（IoM）。 0.5 0.6 0.7 0.8 0.9 1.0 Intersection over Union ユニオン上交差 0.9100 0.9125 0.9150 0.9175 0.9200 0.9225 0.9250 0.9275 Unlearning Data Accuracy 忘却データ精度 UA vs. Intersection over Union (Sparsity: 40%) 忘却精度（UA）対ユニオン上交差（スパース度：40%） Original オリジナル Retraining+Repruning 再学習＋再プルーニング Un-pruning (GA) アン・プルーニング（勾配上昇） Un-pruning (SCRUB) アン・プルーニング（SCRUB） Un-pruning (Fisher) アン・プルーニング（フィッシャー） Un-pruning (WF) アン・プルーニング（WF） Un-pruning (CU) アン・プルーニング（CU） Un-pruning (SFRON) アン・プルーニング（SFRON） 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 Intersection over Union ユニオン上交差 0.9050 0.9075 0.9100 0.9125 0.9150 0.9175 0.9200 0.9225 Unlearning Data Accuracy 忘却データ精度 UA vs. Intersection over Union (Sparsity: 60%) 忘却精度（UA）対ユニオン上交差（スパース度：60%） Original オリジナル Retraining+Repruning 再学習＋再プルーニング Un-pruning (GA) アン・プルーニング（勾配上昇） Un-pruning (SCRUB) アン・プルーニング（SCRUB） Un-pruning (Fisher) アン・プルーニング（フィッシャー） Un-pruning (WF) アン・プルーニング（WF） Un-pruning (CU) アン・プルーニング（CU） Un-pruning (SFRON) アン・プルーニング（SFRON） Figure 14: FashionMNIST における非構造的アン・プルーニング（IoU）。 18

NeurIPS Paper Checklist NeurIPS 論文チェックリスト

Claims 主張 Question: Do the main claims made in the abstract and introduction accurately reflect the paper’s contributions and scope? 質問：要旨および序論でなされた主な主張は、論文の貢献と範囲を正確に反映しているか？ Answer: [Yes] 回答：[はい] Justification: The abstract and/or introduction clearly states the claims made, including the contributions made in the paper and important assumptions and limitations. 根拠：要旨および/または序論は、論文における貢献と重要な仮定・制限を含め、なされた主張を明確に述べている。 Guidelines: ガイドライン： • The answer NA means that the abstract and introduction do not include the claims made in the paper. • 回答が NA の場合、要旨および序論には論文における主張が含まれていないことを意味する。 • The abstract and/or introduction should clearly state the claims made, including the contributions made in the paper and important assumptions and limitations. A No or NA answer to this question will not be perceived well by the reviewers. • 要旨および/または序論は、論文における貢献と重要な仮定・制限を含め、なされた主張を明確に述べるべきである。この質問に対する「いいえ」または「NA」という回答は、査読者によって好ましく見られない。 • The claims made should match theoretical and experimental results, and reflect how much the results can be expected to generalize to other settings. • なされた主張は理論的および実験的結果と一致し、結果が他の設定にどの程度一般化できると予想されるかを反映するべきである。 • It is fine to include aspirational goals as motivation as long as it is clear that these goals are not attained by the paper. • これらの目標が論文によって達成されていないことが明確であれば、動機として野心的な目標を含めることは問題ない。
Limitations 制限事項 Question: Does the paper discuss the limitations of the work performed by the authors? 質問：論文は著者による作業の制限事項について議論しているか？ Answer: [Yes] 回答：[はい] Justification: Limitations are explicitly discussed in Section 5 including. 根拠：制限事項は第 5 節で明示的に議論されている。 Guidelines: ガイドライン： • The answer NA means that the paper has no limitation while the answer No means that the paper has limitations, but those are not discussed in the paper. • 回答が NA の場合、論文に制限事項がないことを意味し、回答が「いいえ」の場合、論文に制限事項があるがそれらが議論されていないことを意味する。 • The authors are encouraged to create a separate “Limitations” section in their paper. • 著者は論文に独立した「制限事項」セクションを作成することが推奨される。 • The paper should point out any strong assumptions and how robust the results are to violations of these assumptions (e.g., independence assumptions, noiseless settings, model well-specification, asymptotic approximations only holding locally). The authors should reflect on how these assumptions might be violated in practice and what the implications would be. • 論文は、いかなる強力な仮定も指摘し、結果がこれらの仮定の違反に対してどの程度頑健であるかを示すべきである（例：独立性の仮定、ノイズレス設定、モデルの適切な仕様、局所的にのみ成立する漸近近似）。著者は、これらの仮定が実際にどのように違反される可能性があるかを考察し、その帰結は何かを反映するべきである。 • The authors should reflect on the scope of the claims made, e.g., if the approach was only tested on a few datasets or with a few runs. In general, empirical results often depend on implicit assumptions, which should be articulated. • 著者は、なされた主張の範囲を考察するべきである。例えば、アプローチが少数のデータセットまたは少数の実行のみでテストされた場合など。一般的に、実証結果は暗黙の仮定に依存することが多く、これらは明確にする必要がある。 • The authors should reflect on the factors that influence the performance of the approach. For example, a facial recognition algorithm may perform poorly when image resolution is low or images are taken in low lighting. Or a speech-to-text system might not be used reliably to provide closed captions for online lectures because it fails to handle technical jargon. • 著者は、アプローチのパフォーマンスに影響を与える要因を考察するべきである。例えば、顔認識アルゴリズムは画像解像度が低い場合や低照明で撮影された場合に性能が低下する可能性がある。あるいは、音声からテキストへの変換システムは技術用語を処理できないため、オンライン講義の字幕提供として信頼して使用できない可能性がある。 • The authors should discuss the computational efficiency of the proposed algorithms and how they scale with dataset size. • 著者は、提案されたアルゴリズムの計算効率と、データセットサイズに対してどのようにスケーリングするかについて議論するべきである。 • If applicable, the authors should discuss possible limitations of their approach to address problems of privacy and fairness. • 該当する場合、著者はプライバシーおよび公平性の問題に対処するためのアプローチの可能性のある制限事項について議論するべきである。 • While the authors might fear that complete honesty about limitations might be used by reviewers as grounds for rejection, a worse outcome might be that reviewers discover limitations that aren’t acknowledged in the paper. The authors should use their best judgment and recognize that individual actions in favor of transparency play an important role in developing norms that preserve the integrity of the community. Reviewers will be specifically instructed to not penalize honesty concerning limitations. • 著者は、制限事項について完全な正直さが査読者によって拒絶の根拠として使用されることを恐れるかもしれないが、より悪い結果は、論文で認められていない制限事項を査読者が発見することである。著者は最善の判断を使用し、透明性を支持する個々の行動がコミュニティの健全性を維持する規範の開発において重要な役割を果たすことを認識すべきである。査読者には、制限事項に関する正直さを罰しないよう具体的に指示される。
Theory assumptions and proofs 理論的仮定と証明 Question: For each theoretical result, does the paper provide the full set of assumptions and a complete (and correct) proof? 質問：各理論的結果について、論文は完全な仮定のセットおよび完全（かつ正しい）証明を提供しているか？ Answer: [Yes] 回答：[はい] Justification: All theoretical results (see Section 2 and Section 3) are accompanied by clearly stated assumptions and full proofs. 根拠：すべての理論的結果（第 2 節および第 3 節を参照）は、明確に述べられた仮定と完全な証明を伴っている。 Guidelines: ガイドライン： • The answer NA means that the paper does not include theoretical results. • 回答が NA の場合、論文には理論的結果が含まれていないことを意味する。 • All the theorems, formulas, and proofs in the paper should be numbered and cross-referenced. • 論文内のすべての定理、数式、および証明は番号を付与し相互参照すべきである。 • All assumptions should be clearly stated or referenced in the statement of any theorems. • すべての仮定は、いかなる定理の記述においても明確に述べられ、または言及されるべきである。 • The proofs can either appear in the main paper or the supplemental material, but if they appear in the supplemental material, the authors are encouraged to provide a short proof sketch to provide intuition. • 証明はメインの論文または補足資料のいずれかに現れることができるが、補足資料に現れる場合、著者は直観を提供するために短い証明の概要を提供することが推奨される。 • Inversely, any informal proof provided in the core of the paper should be complemented by formal proofs provided in appendix or supplemental material. • 逆に、論文のコア部分で提供された任意の非公式の証明は、付録または補足資料で提供された形式証明によって補完されるべきである。 • Theorems and Lemmas that the proof relies upon should be properly referenced. • 証明が依存する定理および補題は適切に言及されるべきである。
Experimental result reproducibility 実験結果の再現性 Question: Does the paper fully disclose all the information needed to reproduce the main experimental results of the paper to the extent that it affects the main claims and/or conclusions of the paper (regardless of whether the code and data are provided or not)? 質問：論文は、コードおよびデータが提供されるかどうかに関わらず、論文の主な主張および/または結論に影響する範囲で、論文の主な実験結果を再現するために必要なすべての情報を完全に開示しているか？ Answer: [Yes] 回答：[はい] Justification: We describe all implementation details in Section 4, Section 5 and Appendix ??, including hyper-parameters and training setup. 根拠：第 4 節、第 5 節および付録 ?? にハイパーパラメータおよびトレーニング設定を含むすべての実装詳細を記述している。 Guidelines: ガイドライン： • The answer NA means that the paper does not include experiments. • 回答が NA の場合、論文には実験が含まれていないことを意味する。 • If the paper includes experiments, a No answer to this question will not be perceived well by the reviewers: Making the paper reproducible is important, regardless of whether the code and data are provided or not. • 論文に実験が含まれている場合、この質問に対する「いいえ」の回答は査読者によって好ましく見られない：コードおよびデータが提供されるかどうかに関わらず、論文を再現可能にすることは重要である。 • If the contribution is a dataset and/or model, the authors should describe the steps taken to make their results reproducible or verifiable. • 貢献がデータセットおよび/またはモデルである場合、著者は結果を再現可能または検証可能にするために講じた手順を記述するべきである。 • Depending on the contribution, reproducibility can be accomplished in various ways. For example, if the contribution is a novel architecture, describing the architecture fully might suffice, or if the contribution is a specific model and empirical evaluation, it may be necessary to either make it possible for others to replicate the model with the same dataset, or provide access to the model. In general. releasing code and data is often one good way to accomplish this, but reproducibility can also be provided via detailed instructions for how to replicate the results, access to a hosted model (e.g., in the case of a large language model), releasing of a model checkpoint, or other means that are appropriate to the research performed. • 貢献に応じて、再現性はさまざまな方法で達成できる。例えば、貢献が新しいアーキテクチャである場合、アーキテクチャを完全に記述するだけで十分かもしれないし、貢献が特定のモデルおよび実証評価である場合、他の人が同じデータセットでモデルを複製可能にすること、またはモデルへのアクセスを提供することが必要かもしれない。一般的には、コードおよびデータの公開はこれを達成するための良い方法の一つであるが、再現性は結果の複製方法に関する詳細な指示、ホストされたモデルへのアクセス（例：大規模言語モデルの場合）、モデルチェックポイントの公開、または実施された研究に適した他の手段によっても提供できる。 • While NeurIPS does not require releasing code, the conference does require all submissions to provide some reasonable avenue for reproducibility, which may depend on the nature of the contribution. For example (a) If the contribution is primarily a new algorithm, the paper should make it clear how to reproduce that algorithm. (b) If the contribution is primarily a new model architecture, the paper should describe the architecture clearly and fully. (c) If the contribution is a new model (e.g., a large language model), then there should either be a way to access this model for reproducing the results or a way to reproduce the model (e.g., with an open-source dataset or instructions for how to construct the dataset). (d) We recognize that reproducibility may be tricky in some cases, in which case authors are welcome to describe the particular way they provide for reproducibility. In the case of closed-source models, it may be that access to the model is limited in some way (e.g., to registered users), but it should be possible for other researchers to have some path to reproducing or verifying the results. • NeurIPS はコードの公開を要求しないが、会議はすべての提出物に再現性のある何らかの合理的な手段を提供することを要求しており、これは貢献の種類に依存する可能性がある。例えば (a) 貢献が主に新しいアルゴリズムである場合、論文はそのアルゴリズムをどのように再現するかを明確にするべきである。 (b) 貢献が主に新しいモデルアーキテクチャである場合、論文はアーキテクチャを明確かつ完全に記述すべきである。 (c) 貢献が新しいモデル（例：大規模言語モデル）である場合、結果の再現のためにこのモデルにアクセスする方法があるか、またはモデルを再現する方法（例：オープンソースデータセットを使用するか、データセットの構築方法に関する指示）があるべきである。 (d) 一部のケースでは再現性が難しいことを認識しており、その場合は著者が再現性を提供する特定の方法を記述することを歓迎する。クローズドソースモデルの場合、モデルへのアクセスが何らかの方法で制限されている可能性がある（例：登録ユーザーのみ）。しかし、他の研究者が結果を再現または検証するための何らかの経路を持つことは可能であるべきである。
Open access to data and code データおよびコードへのオープンアクセス Question: Does the paper provide open access to the data and code, with sufficient instructions to faithfully reproduce the main experimental results, as described in supplemental material? 質問：論文は、補足資料で記述されているように、主な実験結果を忠実に再現するための十分な指示付きでデータおよびコードへのオープンアクセスを提供しているか？ Answer: [Yes] 回答：[はい] Justification: The code is available at https://anonymous.4open.science/r/UnlearningSparseModels-FBC5/. 根拠：コードは https://anonymous.4open.science/r/UnlearningSparseModels-FBC5/ で利用可能である。 Guidelines: ガイドライン： • The answer NA means that paper does not include experiments requiring code. • 回答が NA の場合、論文にはコードを必要とする実験が含まれていないことを意味する。 • Please see the NeurIPS code and data submission guidelines (https://nips.cc/public/guides/CodeSubmissionPolicy) for more details. • 詳細については、NeurIPS コードおよびデータ提出ガイドライン（https://nips.cc/public/guides/CodeSubmissionPolicy）を参照のこと。 • While we encourage the release of code and data, we understand that this might not be possible, so “No” is an acceptable answer. Papers cannot be rejected simply for not including code, unless this is central to the contribution (e.g., for a new open-source benchmark). • コードおよびデータの公開を推奨するが、これが不可能な場合もあることを理解しており、「いいえ」は許容される回答である。コードが含まれていないという理由だけで論文が拒絶されることはない（ただし、これは貢献の中核的な部分である場合を除く。例：新しいオープンソースベンチマークの場合）。 • The instructions should contain the exact command and environment needed to run to reproduce the results. See the NeurIPS code and data submission guidelines (https://nips.cc/public/guides/CodeSubmissionPolicy) for more details. • 指示には、結果を再現するために実行に必要な正確なコマンドおよび環境を含めるべきである。詳細については、NeurIPS コードおよびデータ提出ガイドライン（https://nips.cc/public/guides/CodeSubmissionPolicy）を参照のこと。 • The authors should provide instructions on data access and preparation, including how to access the raw data, preprocessed data, intermediate data, and generated data, etc. • 著者は、生データ、前処理済みデータ、中間データ、生成データなどのアクセス方法を含む、データへのアクセスおよび準備に関する指示を提供するべきである。 • The authors should provide scripts to reproduce all experimental results for the new proposed method and baselines. If only a subset of experiments are reproducible, they should state which ones are omitted from the script and why. • 著者は、新しい提案手法およびベースラインのすべての実験結果を再現するためのスクリプトを提供するべきである。実験の一部のみが再現可能な場合、スクリプトから省略されたものとその理由を明記すべきである。 • At submission time, to preserve anonymity, the authors should release anonymized versions (if applicable). • 提出時には匿名性を維持するために、著者は匿名化されたバージョン（該当する場合）を公開するべきである。 • Providing as much information as possible in supplemental material (appended to the paper) is recommended, but including URLs to data and code is permitted. • 補足資料（論文に付録として添付）に可能な限り多くの情報を提供することが推奨されるが、データおよびコードへの URL を含めることは許可されている。
Experimental setting/details 実験設定/詳細 Question: Does the paper specify all the training and test details (e.g., data splits, hyper-parameters, how they were chosen, type of optimizer, etc.) necessary to understand the results? 質問：論文は、結果を理解するために必要なトレーニングおよびテストの詳細（例：データ分割、ハイパーパラメータ、選択方法、オプティマイザの種類など）をすべて指定しているか？ Answer: [Yes] 回答：[はい] Justification: We describe all implementation details in Section 4, Section 5 and Appendix ??, including hyper-parameters and training setup. 根拠：第 4 節、第 5 節および付録 ?? にハイパーパラメータおよびトレーニング設定を含むすべての実装詳細を記述している。 Guidelines: ガイドライン： • The answer NA means that the paper does not include experiments. • 回答が NA の場合、論文には実験が含まれていないことを意味する。 • The experimental setting should be presented in the core of the paper to a level of detail that is necessary to appreciate the results and make sense of them. • 実験設定は、結果を理解し理解するために必要な詳細レベルで、論文のコア部分に提示されるべきである。 • The full details can be provided either with the code, in appendix, or as supplemental material. • 完全な詳細は、コード、付録、または補足資料のいずれかで提供できる。
Experiment statistical significance 実験の統計的有意性 Question: Does the paper report error bars suitably and correctly defined or other appropriate information about the statistical significance of the experiments? 質問：論文はエラーバーを適切かつ正しく定義して報告しているか、または実験の統計的有意性に関する他の適切な情報を報告しているか？ Answer: [No] 回答：[いいえ] Justification: We do not report error bars or statistical significance tests due to computational constraints. 根拠：計算上の制約により、エラーバーまたは統計的有意性テストを報告していない。 Guidelines: ガイドライン： • The answer NA means that the paper does not include experiments. • 回答が NA の場合、論文には実験が含まれていないことを意味する。 • The authors should answer “Yes” if the results are accompanied by error bars, confidence intervals, or statistical significance tests, at least for the experiments that support the main claims of the paper. • 結果にエラーバー、信頼区間、または統計的有意性テストが伴う場合（少なくとも論文の主な主張をサポートする実験については）、著者は「はい」と答えるべきである。 • The factors of variability that the error bars are capturing should be clearly stated (for example, train/test split, initialization, random drawing of some parameter, or overall run with given experimental conditions). • エラーバーが捉えている変動要因は明確に述べるべきである（例：トレーニング/テスト分割、初期化、あるパラメータのランダムサンプリング、または与えられた実験条件での全体実行）。 • The method for calculating the error bars should be explained (closed form formula, call to a library function, bootstrap, etc.) • エラーバーの計算方法は説明されるべきである（閉形式公式、ライブラリ関数の呼び出し、ブートストラップなど）。 • The assumptions made should be given (e.g., Normally distributed errors). • 仮定は与えられるべきである（例：正規分布する誤差）。 • It should be clear whether the error bar is the standard deviation or the standard error of the mean. • エラーバーが標準偏差か平均の標準誤差かを明確にする必要がある。 • It is OK to report 1-sigma error bars, but one should state it. The authors should preferably report a 2-sigma error bar than state that they have a 96% CI, if the hypothesis of Normality of errors is not verified. • 1-シグマエラーバーを報告することは問題ないが、それを明記すべきである。誤差の正規性の仮定が検証されていない場合、著者は 96% の信頼区間（CI）を持つと述べるよりも、2-シグマのエラーバーを報告することを好むべきである。 • For asymmetric distributions, the authors should be careful not to show in tables or figures symmetric error bars that would yield results that are out of range (e.g. negative error rates). • 非対称分布の場合、著者は表または図において範囲外の結果（例：負のエラー率）をもたらす対称エラーバーを示さないように注意すべきである。 • If error bars are reported in tables or plots, The authors should explain in the text how they were calculated and reference the corresponding figures or tables in the text. • エラーバーが表またはプロットで報告されている場合、著者はテキスト内でどのように計算されたかを説明し、対応する図または表をテキスト内で言及すべきである。
Experiments compute resources 実験の計算リソース Question: For each experiment, does the paper provide sufficient information on the computer resources (type of compute workers, memory, time of execution) needed to reproduce the experiments? 質問：各実験について、論文は実験を再現するために必要なコンピュータリソース（計算ワーカーの種類、メモリ、実行時間）に関する十分な情報を提供しているか？ Answer: [Yes] 回答：[はい] Justification: We report the training time of all unlearning methods in Table 4 Experiments were conducted on a server with NVIDIA L40S GPU (48GB). Each method was trained using a single GPU. 根拠：すべての忘却手法のトレーニング時間を第 4 表に報告している。実験は NVIDIA L40S GPU（48GB）を搭載したサーバーで実施された。各方法は単一の GPU を使用してトレーニングされた。 Guidelines: ガイドライン： • The answer NA means that the paper does not include experiments. • 回答が NA の場合、論文には実験が含まれていないことを意味する。 • The paper should indicate the type of compute workers CPU or GPU, internal cluster, or cloud provider, including relevant memory and storage. • 論文は、計算ワーカー（CPU または GPU）、内部クラスター、またはクラウドプロバイダの種類を明示し、関連するメモリおよびストレージを含めるべきである。 • The paper should provide the amount of compute required for each of the individual experimental runs as well as estimate the total compute. • 論文は、各個別の実験実行に必要な計算量を提供するとともに、総計算量を推定すべきである。 • The paper should disclose whether the full research project required more compute than the experiments reported in the paper (e.g., preliminary or failed experiments that didn’t make it into the paper). • 論文は、研究プロジェクト全体が論文で報告された実験よりも多くの計算を必要としたかどうかを開示すべきである（例：論文に含まれなかった予備的または失敗した実験）。
Code of ethics 倫理綱領 Question: Does the research conducted in the paper conform, in every respect, with the NeurIPS Code of Ethics https://neurips.cc/public/EthicsGuidelines? 質問：論文で行われた研究は、NeurIPS 倫理綱領（https://neurips.cc/public/EthicsGuidelines）とすべての点で適合しているか？ Answer: [Yes] 回答：[はい] Justification: We have reviewed the NeurIPS Code of Ethics and confirm that our research adheres to all ethical guidelines. Our study does not involve human subjects, sensitive data, or potentially harmful applications, and we have ensured transparency, reproducibility, and fairness throughout. 根拠：NeurIPS 倫理綱領をレビューし、本研究がすべての倫理的ガイドラインに準拠していることを確認した。本研究には人間対象者、機密データ、または潜在的に有害な応用は含まれておらず、透明性、再現性、公平性を確保している。 Guidelines: ガイドライン： • The answer NA means that the authors have not reviewed the NeurIPS Code of Ethics. • 回答が NA の場合、著者が NeurIPS 倫理綱領をレビューしていないことを意味する。 • If the authors answer No, they should explain the special circumstances that require a deviation from the Code of Ethics. • 著者が「いいえ」と答えた場合、倫理綱領からの逸脱を必要とする特別な状況を説明すべきである。 • The authors should make sure to preserve anonymity (e.g., if there is a special consideration due to laws or regulations in their jurisdiction). • 著者は匿名性を維持するよう注意すべきである（例：管轄区域の法律または規制による特別な考慮がある場合）。
Broader impacts より広範な影響 Question: Does the paper discuss both potential positive societal impacts and negative societal impacts of the work performed? 質問：論文は、実施された作業の潜在的な肯定的な社会的影響および否定的な社会的影響の両方を議論しているか？ Answer: [Yes] 回答：[はい] Justification: Our work contributes to trustworthy AI by improving the ability of sparse models to forget specific training data, which is valuable for compliance with data privacy regulations such as GDPR and for reducing memory footprint in deployment. 根拠：本研究は、スパースモデルが特定のトレーニングデータを忘却する能力を向上させることで信頼できる AI に貢献しており、これは GDPR などのデータプライバシー規制への準拠および展開時のメモリフットプリントの削減に有益である。 Guidelines: ガイドライン： • The answer NA means that there is no societal impact of the work performed. • 回答が NA の場合、実施された作業に社会的影響がないことを意味する。 • If the authors answer NA or No, they should explain why their work has no societal impact or why the paper does not address societal impact. • 著者が「NA」または「いいえ」と答えた場合、なぜその作業に社会的影響がないか、またはなぜ論文が社会的影響に取り組んでいないかを説明すべきである。 • Examples of negative societal impacts include potential malicious or unintended uses (e.g., disinformation, generating fake profiles, surveillance), fairness considerations (e.g., deployment of technologies that could make decisions that unfairly impact specific groups), privacy considerations, and security considerations. • 否定的な社会的影響の例には、潜在的に悪意のあるまたは意図しない使用（例：誤情報、偽のプロフィール生成、監視）、公平性の考慮事項（例：特定のグループに不公平に影響する決定を行う可能性のある技術の展開）、プライバシーの考慮事項、およびセキュリティの考慮事項が含まれる。 • The conference expects that many papers will be foundational research and not tied to particular applications, let alone deployments. However, if there is a direct path to any negative applications, the authors should point it out. For example, it is legitimate to point out that an improvement in the quality of generative models could be used to generate deepfakes for disinformation. On the other hand, it is not needed to point out that a generic algorithm for optimizing neural networks could enable people to train models that generate Deepfakes faster. • 会議は、多くの論文が基礎研究であり特定の応用、ましてや展開に結びついていないことを期待している。しかし、否定的な応用への直接的な経路がある場合、著者はそれを指摘すべきである。例えば、生成モデルの品質の向上が誤情報のためのディープフェイクを生成するために使用できることを指摘することは正当である。一方で、ニューラルネットワークを最適化するための汎用的アルゴリズムが人々がディープフェイクをより速く生成するモデルをトレーニングすることを可能にすることを指摘する必要はない。 • The authors should consider possible harms that could arise when the technology is being used as intended and functioning correctly, harms that could arise when the technology is being used as intended but gives incorrect results, and harms following from (intentional or unintentional) misuse of the technology. • 著者は、技術が意図通りに使用され正しく機能しているときに生じる可能性のある害、意図通りに使用されるが誤った結果をもたらすときに生じる可能性のある害、および（意図的または非意図的な）技術の悪用から生じる害を考慮するべきである。 • If there are negative societal impacts, the authors could also discuss possible mitigation strategies (e.g., gated release of models, providing defenses in addition to attacks, mechanisms for monitoring misuse, mechanisms to monitor how a system learns from feedback over time, improving the efficiency and accessibility of ML). • 否定的な社会的影響がある場合、著者は可能な緩和戦略（例：モデルのゲート公開、攻撃に加えて防御を提供する、悪用を監視するためのメカニズム、システムが時間とともにフィードバックから学習する方法を監視するメカニズム、ML の効率とアクセシビリティの向上）についても議論できる。
Safeguards 安全装置 Question: Does the paper describe safeguards that have been put in place for responsible release of data or models that have a high risk for misuse (e.g., pretrained language models, image generators, or scraped datasets)? 質問：論文は、誤用のリスクが高いデータまたはモデル（例：事前学習済み言語モデル、画像生成器、スクレイプされたデータセット）の責任ある公開のために講じられた安全装置を記述しているか？ Answer: [NA] 回答：[NA] Justification: Our work does not involve pretrained generative models, scraped datasets, or other assets that pose a high risk of misuse. Therefore, no special safeguards are necessary. 根拠：本研究には事前学習済み生成モデル、スクレイプされたデータセット、または誤用のリスクが高い他の資産は含まれていない。したがって、特別な安全装置は必要ない。 Guidelines: ガイドライン： • The answer NA means that the paper poses no such risks. • 回答が NA の場合、論文にはそのようなリスクがないことを意味する。 • Released models that have a high risk for misuse or dual-use should be released with necessary safeguards to allow for controlled use of the model, for example by requiring that users adhere to usage guidelines or restrictions to access the model or implementing safety filters. • 誤用または二重使用のリスクが高い公開モデルは、モデルの制御された利用を可能にするために必要な安全装置とともに公開されるべきである。例えば、ユーザーが使用ガイドラインまたは制限に準拠することを要求するか、アクセス制限を設けるか、または安全フィルターを実装するなど。 • Datasets that have been scraped from the Internet could pose safety risks. The authors should describe how they avoided releasing unsafe images. • インターネットからスクレイプされたデータセットは安全性のリスクをもたらす可能性がある。著者は、不安全な画像を公開しないようにどのように回避したかを記述するべきである。 • We recognize that providing effective safeguards is challenging, and many papers do not require this, but we encourage authors to take this into account and make a best faith effort. • 効果的な安全装置を提供することは困難であることを認識しており、多くの論文ではこれが要求されないが、著者にこれを考慮し最善の努力を行うことを推奨する。
Licenses for existing assets 既存資産のライセンス Question: Are the creators or original owners of assets (e.g., code, data, models), used in the paper, properly credited and are the license and terms of use explicitly mentioned and properly respected? 質問：論文で使用されている資産（例：コード、データ、モデル）の作成者または元の所有者は適切にクレジットされており、ライセンスおよび利用規約が明示的に言及され、適切に尊重されているか？ Answer: [Yes] 回答：[はい] Justification: All third-party assets used in our work are properly credited and licensed. We use the CIFAR10, CIFAR100 and Imagenet dataset, which is publicly available under a CC BY 4.0 license, and cite the original paper. 根拠：本研究で使用されたすべての第三者資産は適切にクレジットされ、ライセンスされている。CC BY 4.0 ライセンスの下で公開利用可能な CIFAR10、CIFAR100 および Imagenet データセットを使用し、元の論文を引用している。 Guidelines: ガイドライン： • The answer NA means that the paper does not use existing assets. • 回答が NA の場合、論文は既存の資産を使用していないことを意味する。 • The authors should cite the original paper that produced the code package or dataset. • 著者はコードパッケージまたはデータセットを生成した元の論文を引用すべきである。 • The authors should state which version of the asset is used and, if possible, include a URL. • 著者は使用されている資産のバージョンを明記し、可能であれば URL を含めるべきである。 • The name of the license (e.g., CC-BY 4.0) should be included for each asset. • 各資産についてライセンス名（例：CC-BY 4.0）を含めるべきである。 • For scraped data from a particular source (e.g., website), the copyright and terms of service of that source should be provided. • 特定のソース（例：ウェブサイト）からスクレイプされたデータの場合、そのソースの著作権および利用規約を提供すべきである。 • If assets are released, the license, copyright information, and terms of use in the package should be provided. For popular datasets, paperswithcode.com/datasets has curated licenses for some datasets. Their licensing guide can help determine the license of a dataset. • 資産が公開される場合、パッケージ内のライセンス、著作権情報、および利用規約を提供すべきである。人気のあるデータセットの場合、paperswithcode.com/datasets は一部のデータセットのためにキュレーションされたライセンスを持っている。そのライセンスガイドはデータセットのライセンスを決定するのに役立つ。 • For existing datasets that are re-packaged, both the original license and the license of the derived asset (if it has changed) should be provided. • 再パッケージ化された既存のデータセットの場合、元のライセンスおよび派生資産のライセンス（変更されている場合）を提供すべきである。 • If this information is not available online, the authors are encouraged to reach out to the asset’s creators. • この情報がオンラインで利用できない場合、著者は資産の作成者に連絡することが推奨される。
New assets 新しい資産 Question: Are new assets introduced in the paper well documented and is the documentation provided alongside the assets? 質問：論文に導入された新しい資産はよく文書化されており、ドキュメントは資産と共に提供されているか？ Answer: [NA] 回答：[NA] Justification: This paper does not introduce any new datasets, codebases, or models. We rely solely on existing open-source assets which are properly cited. 根拠：この論文には新しいデータセット、コードベース、またはモデルは導入されていない。我々は適切に引用された既存のオープンソース資産のみ依赖于する。 Guidelines: ガイドライン： • The answer NA means that the paper does not release new assets. • 回答が NA の場合、論文は新しい資産を公開していないことを意味する。 • Researchers should communicate the details of the dataset/code/model as part of their submissions via structured templates. This includes details about training, license, limitations, etc. • 研究者は、トレーニング、ライセンス、制限などの詳細を含む、構造化テンプレートを通じてデータセット/コード/モデルの詳細を提出の一部として伝えるべきである。 • The paper should discuss whether and how consent was obtained from people whose asset is used. • 論文は、資産が使用されている人々から同意が得られたかどうかおよびどのようにして得られたかを議論するべきである。 • At submission time, remember to anonymize your assets (if applicable). You can either create an anonymized URL or include an anonymized zip file. • 提出時には、資産を匿名化することを忘れないでください（該当する場合）。匿名化された URL を作成するか、匿名化された ZIP ファイルを含めることができる。
Crowdsourcing and research with human subjects クラウドソーシングおよび人間対象者の研究 Question: For crowdsourcing experiments and research with human subjects, does the paper include the full text of instructions given to participants and screenshots, if applicable, as well as details about compensation (if any)? 質問：クラウドソーシング実験および人間対象者の研究について、論文は参加者に与えられた指示の完全なテキストおよびスクリーンショット（該当する場合）、ならびに報酬に関する詳細（ある場合）を含んでいるか？ Answer: [NA] 回答：[NA] Justification: This paper does not involve crowdsourcing or research with human subjects. 根拠：この論文にはクラウドソーシングまたは人間対象者の研究は含まれていない。 Guidelines: ガイドライン： • The answer NA means that the paper does not involve crowdsourcing nor research with human subjects. • 回答が NA の場合、論文にはクラウドソーシングも人間対象者の研究も含まれていないことを意味する。 • Including this information in the supplemental material is fine, but if the main contribution of the paper involves human subjects, then as much detail as possible should be included in the main paper. • 補足資料にこの情報を含めることは問題ないが、論文の主な貢献が人間対象者を含む場合、可能な限り多くの詳細をメインの論文に含まれるべきである。 • According to the NeurIPS Code of Ethics, workers involved in data collection, curation, or other labor should be paid at least the minimum wage in the country of the data collector. • NeurIPS 倫理綱領によると、データ収集、キュレーション、または他の労働に関与する労働者は、データ収集者の国の最低賃金以上を支給されるべきである。
Institutional review board (IRB) approvals or equivalent for research with human subjects 人間対象者の研究に対する機関審査委員会（IRB）承認または同等 Question: Does the paper describe potential risks incurred by study participants, whether such risks were disclosed to the subjects, and whether Institutional Review Board (IRB) approvals (or an equivalent approval/review based on the requirements of your country or institution) were obtained? 質問：論文は、研究参加者が被る可能性のあるリスクを記述しているか、そのようなリスクが対象者に開示されたかどうか、および機関審査委員会（IRB）承認（またはあなたの国または機関の要件に基づく同等の承認/レビュー）が取得されたかどうか？ Answer: [NA] 回答：[NA] Justification: This paper does not involve any human subjects research and therefore does not require IRB approval. 根拠：この論文には人間対象者の研究は含まれていないため、IRB 承認を必要としない。 Guidelines: ガイドライン： • The answer NA means that the paper does not involve crowdsourcing nor research with human subjects. • 回答が NA の場合、論文にはクラウドソーシングも人間対象者の研究も含まれていないことを意味する。 • Depending on the country in which research is conducted, IRB approval (or equivalent) may be required for any human subjects research. If you obtained IRB approval, you should clearly state this in the paper. • 研究が行われる国に応じて、人間対象者の研究には IRB 承認（または同等）が要求される可能性がある。IRB 承認を取得した場合、これを論文で明確に述べるべきである。 • We recognize that the procedures for this may vary significantly between institutions and locations, and we expect authors to adhere to the NeurIPS Code of Ethics and the guidelines for their institution. • このための手順は機関および場所によって大きく異なる可能性があることを認識しており、著者に NeurIPS 倫理綱領およびその機関のガイドラインに準拠することを期待している。 • For initial submissions, do not include any information that would break anonymity (if applicable), such as the institution conducting the review. • 初期提出時には、匿名性を破る可能性のある情報（該当する場合）を含めないでください。例えばレビューを行う機関など。
Declaration of LLM usage LLM 使用の宣言 Question: Does the paper describe the usage of LLMs if it is an important, original, or non-standard component of the core methods in this research? Note that if the LLM is used only for writing, editing, or formatting purposes and does not impact the core methodology, scientific rigorousness, or originality of the research, declaration is not required. 質問：LLM の使用が本研究のコア方法における重要、オリジナル、または非標準の構成要素である場合、論文は LLM の使用を記述しているか？LLM が執筆、編集、またはフォーマット目的にのみ使用され、研究のコア手法、科学的厳密性、または独自性に影響を与えない場合、宣言は不要であることを注意すること。 Answer: [NA] 回答：[NA] Justification: This paper does not involve any important, original, or non-standard use of LLMs in the core methodology. Any language models were used only for minor editing or formatting purposes. 根拠：この論文にはコア手法における重要な、オリジナル、または非標準の LLM の使用は含まれていない。言語モデルはいずれも軽微な編集またはフォーマット目的にのみ使用された。 Guidelines: ガイドライン： • The answer NA means that the core method development in this research does not involve LLMs as any important, original, or non-standard components. • 回答が NA の場合、本研究のコア手法開発には LLM が重要な、オリジナル、または非標準の構成要素として関与していないことを意味する。 • Please refer to our LLM policy (https://neurips.cc/Conferences/2025/LLM) for what should or should not be described. • 何を記述すべきかまたは記述すべきでないかは、LLM ポリシー（https://neurips.cc/Conferences/2025/LLM）を参照のこと。 25

Daily Papers

エクスプローラー

xiao25a_ja

The Right to be Forgotten in Pruning: Unveil Machine Unlearning on Sparse Models

グラフビュー

目次

バックリンク