项目概要

近年来，深度神经网络在各种应用中获得了成功。然而，现有的深度神经网络通常存在高度的过参数化，导致训练和部署变得异常昂贵。为了解决这个问题，剪枝成为了一种常用的方法，可以减小模型规模，便于在小型设备上进行部署。目前主要有两种剪枝方法：事后剪枝和预先剪枝。事后剪枝是在训练大型网络之后对网络进行剪枝，而预先剪枝是在训练之前对网络进行剪枝。本成果关注的是预先剪枝。

大多数现有的预先剪枝方法使用了不同的重要性评分方法来选择要剪枝的连接。但是这些评分方法可能只与训练的前几步有关，而在后续的训练阶段中不再相关，从而影响最终效果。因此，要想提升预先剪枝的性能，需要构造新的重要性评分方法，以更好地刻画神经网络的整个动态训练过程。

为解决这一问题，本研究提出了一种新的评分方法及其对应的剪枝方法，旨在更好地与整个训练动态相关联，克服现有评分方法的不足。具体而言，本文提出了一种名为"Neural Tangent Kernel Spectrum-Aware Pruning (NTK-SAP)"的剪枝算法。该算法基于神经切向核(NTK)的谱来剪枝网络，并通过多重采样的方法更好地捕捉剪枝后神经网络的预期行为。为了降低计算成本，NTK-SAP还提出了一种新的输入-权重采样技巧(NINW)。此外，NTK-SAP是一种不需要数据的预先剪枝方法，具有较高的泛用性，并且在较低的计算成本下取得了优越的性能。实验结果表明，NTK-SAP在多个数据集上均取得了最先进的性能。

具体而言，NTK-SAP的实现需要解决以下几个问题：首先，需要设计一个可行的与NTK谱相关的指标。由于使用NTK全部谱的计算成本过高，因此NTK-SAP采用核范数来刻画整个谱。其次，需要选择合适的"NTK"矩阵。虽然使用固定权重的NTK矩阵计算核范数比较容易，但与解析NTK可能存在差异，对神经网络的刻画不够准确。因此，NTK-SAP提出了一种新的预测方法，使用固定权重的NTK期望（通过多次采样平均计算）来近似解析NTK。第三个问题是如何降低多次采样引起的计算成本。NTK-SAP通过输入-权重采样技巧(NINW)来实现计算成本的降低。通过以上三个方法，NTK-SAP能够在较低的计算成本下得到具有较高性能的预先剪枝神经网络。

成果的应用前景及技术成熟度分析

NTK-SAP是一种基于NTK谱的神经网络预先剪枝算法，具有以下特点和优势：

- 通过采用NTK的谱来剪枝网络，可以更好的保留网络的预期行为和性能。

- 使用核范数作为谱的标量指标，将计算成本降低到了可接受的范围内。

- 提出了一种新的预测方法，在保证计算效率的同时近似解析NTK。

- 引入了输入-权重采样技巧(NINW)来降低计算成本。

- 是一种与数据无关的预先剪枝方法，适用于各种类型的神经网络与各种实际场景。

目前，NTK-SAP已经在多个数据集上取得了最先进的性能，并已发表在深度学习顶级会议ICLR上。没有申请专利。

在市场应用前景方面，NTK-SAP的技术成熟度应该处于TRL3-TRL4级别。虽然该算法已经在学术界得到了验证，但其在工业界的应用还需要进一步的实验和优化。随着深度学习技术的不断发展和应用场景的不断扩大，预先剪枝算法的需求将越来越大，NTK-SAP有望在未来成为一种重要的预先剪枝工具。

合作需求、投产条件和预期经济效益

NTK-SAP的技术推广需要以下的合作需求：

1. 平台和计算资源支持：需要合作伙伴提供计算资源和深度学习平台，以验证NTK-SAP在实际生产中使用、部署的可行性。

2. 数据集和实验验证：NTK-SAP需要进一步在不同类型以及大小的数据集上进行测试，以确保NTK-SAP在实际应用中的效果。

3. 专业领域知识：需要合作伙伴提供领域专业知识，以共同推动NTK-SAP在具体应用场景的改进、应用和推广。

投产条件：

1. 硬件优化：需要确保NTK-SAP的算法能够在合作伙伴的硬件平台上得到优化并高效运行。

2. 模型泛化性：将NTK-SAP针对于合作伙伴当前主流任务与模型进行优化和改进，以满足多个重要场景的需求。

预期经济效益：

1. 计算资源节省：通过NTK-SAP进行预先剪枝，可以大幅度减小模型的规模，降低训练、存储、部署的成本需求。

2. 更快的推理速度：剪枝后的模型具有更少的参数和计算量，因此能够在相同的计算资源下实现更快的推理速度，提高应用的响应性能。

团队介绍

团队负责人孙若愚教授，获得国家海外优秀青年基金项目，长期从事机器学习、优化及通信等方面的理论研究工作，近年来在 Mathematical Programming、SIAM Journal on Optimization、IEEE Transactions on Information Theory 等国内外顶级期刊及 FOCS、NeurIPS、ICML、ICLR 等国际顶级 AI 会议上发表论 文 30 余篇;获得 INFORMS 优化协会学生论文竞争的 Hononrable mention 及 INFORMS 乔 治•尼科尔森学生论文竞赛的第二名。担任 NeurIPS、ICML、ICLR、AISTATS 等会议的领域主席。在神经网络的训练、表示、泛化等方面有多项优秀的研究成果。

团队负责人和团队主要成员自 2004 年以来一直从事深度学习领域研发工作，在神经网络的训练、表示、泛化等方面有多项优秀的研究成果。在训练理论 方面，构建了神经网络损失函数全局几何图景，揭示了神经网络训练依赖过参数化的深 层机理，并首次提供了 RMSProp、Adam 等主流算法在符合现实场景假设下的收敛性证明。 在表示理论方面，创新地研究窄神经网络的表示能力，为小型神经网络训练的可行性提 供理论支撑。在泛化理论方面，首次给出了深度神经网络的对抗 Rademacher 复杂度上界，指出了影响对抗训练泛化性能的重要因素。

联系方式

成果推广和成果转化联系人姓名:孙若愚;邮箱: sunruoyu@cuhk.edu.cn。