卷积神经网络运算稀疏化算法设计文献综述

 2023-08-10 15:59:06

文献综述（或调研报告）：

随着语音识别、图像识别、目标检测、自然语言处理等人工智能的相关应用需求不断扩大，人工神经网络这一现代人工智能的重要分支也经历着不断的创新与发展。然而，随着应用需求的不断升级，相应神经网络的模型规模与拓扑结构也不断向着大规模与深层次发展。与此同时，随着5G技术、物联网、可穿戴设备等技术或概念的提出，神经网络终端化部署也成为了未来的一个重要发展方向。小型化的终端设备势必无法承受越来越繁杂的参数与越来越庞大的计算量，除去借用云计算等方法从外部解决这一问题外，卷积神经网络的简化能够从根源上降低卷积神经网络参数所占大量存储空间以及减小卷积神经网络所需的庞大计算量。

现有的研究往往通过软件和硬件两个方面来完成卷积神经网络的简化加速，本文着重于介绍软件部分的简化思路。在此前的研究中，已经尝试过利用量化、熵编码、矩阵分解、矩阵稀疏等技术缩小卷积神经网络的规模大小，以实现卷积神经网络的深度压缩[1]。在这些技术中，矩阵稀疏化被证明是其中最有效的一个策略，稀疏化指的是对神经网络的拓扑结构进行裁剪，从而减少神经网络参数数量和计算量，使得稀疏神经网络能够部署到嵌入式设备中。此外，在硬件层面也能够对稀疏化神经网络做出相应的特殊加速器设计，相较与CPU或GPU进一步加快神经网络的执行速度，减少神经网络执行时间的同时降低能耗。因此，综述所选取的文献也都集中在软件层面的网络稀疏化研究与硬件层面的稀疏加速器电路设计这两个方面。

目前主要存在两种简化方法，分别是传统思路下的网络裁剪[2,3]改进以及近几年提出的知识蒸馏方法[4]。网络裁剪的思路是经过训练-剪枝-微调[5]这一循环直到得到满足所需稀疏程度与准确程度的稀疏化卷积神经网络，下面分别介绍循环中的三个步骤：

  • 训练：训练指的是使用传统方法训练一个大型架构、参数复杂的模型，这一步往往基于已有的成熟模型，例如AlexNet[6]，VGG16[7]，LSTM[8]等，在成熟模型的基础上进行反向传播以及使用梯度下降法可以很快的得到所需的密集神经网络。此时的神经网络参数非零值占多数，需要占据大量存储空间以及消耗庞大计算量的同时还会带来过拟合的问题，对实际的应用带来了诸多不便，因此剪枝这一方法的提出就是顺理成章的了。
  • 剪枝：剪枝指的是当神经网络中的突触权值的绝对值小于某个阈值时，将该突触从神经网络的拓扑结构中“裁剪”，即将该权值置零，从而减小参数体积与网络计算量。通过剪枝操作改变了神经网络的拓扑结构并引入了静态稀疏，所谓静态稀疏是指稀疏神经元或者稀疏权值的位置不随着输入而发生改变的稀疏。与之相对的则是动态稀疏，动态稀疏是源于特定输入下神经网络中的一些神经元激活值为0，因此这些神经元之后的相应神经元也不会被激活，进而减小了神经网络的计算量。这种剪枝策略在CNN上获得了非常理想的稀疏性，在VGG16网络上获得了92.39%的稀疏度，在AlexNet网络上获得了88.85%的稀疏度[9]。
  • 微调：微调指的是在神经网络完成剪枝后进行重训练以达到所需的要求。由于剪枝操作去除了神经网络中的一些权值较小的突触，因此整个系统的准确度势必会出现一定程度的下降，因此需要在此基础上进行重训练，提高系统准确度，此后不断循环这一过程，直至满足实际的需求。

在稀疏化思路的基础上，研究人员又提出了细粒度剪枝以及粗粒度剪枝两种不同的剪枝策略[10]，两者的区别主要在与剪枝块的大小。相较于以往的细粒度剪枝，由于神经网络存在局部收敛的特性，粗粒度剪枝成为了更为优秀的思路，粗粒度剪枝使得稀疏神经网络能够在保持一定的规则度的同时减少非零权值索引信息，这对于后续的加速器电路设计提供了便利。知识蒸馏则是利用已训练好的大模型所得到的“软目标”对小模型进行训练，从而将复杂模型中的知识“蒸馏”到简单模型中，从而实现模型的缩小与简化。此外，在稀疏化网络的基础上还能够通过量化[11]与熵编码[12]进一步压缩网络权值,量化指的是将大量相近的权值分别近似为不同离散值的过程，再使用字典结构存储下每个不同的离散权值，从而减少权值存储大小，而熵编码则是依据各权值在神经网络中所出现的概率完成可变长编码，在不丢失信息熵的基础上进一步压缩权值存储大小。在经过这一系列的处理之后，卷积神经网络的权值大小可以达到十倍至几十倍的压缩比，大大减小了存储空间与计算需求。

除去利用卷积神经网络所固有的并行性在FPGA或GPU上进行并行计算加速外，各种各样的硬件加速器也在不断的发展与创新，SparTen[13]、Cambricon—S[14]、ExTensor[15]等加速器都采取了二进制掩码或数值索引方法完成稀疏数据的存储和索引，实现对稀疏数据的压缩，以及通过不同结构实现对静态稀疏与动态稀疏的处理，选择合理的处理单元分布架构，进一步减小实际计算量，凸显稀疏卷积神经网络的优势。

经过测试后，上述方案在实现后较传统的卷积神经网络均有较大的性能提升。综上所述，尝试卷积神经网络的稀疏化以及探索更为高效的稀疏化算法具有其价值与实用性。

参考文献：

  1. 周徐达. 稀疏神经网络和稀疏神经网络加速器的研究[D]. 中国科学技术大学, 2019.
  2. Liu Z, Li J, Shen Z. Learning Efficient Convolutional Networks through Network Slimming[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017.
  3. Liu Z, Mu H, Zhang X, et al. MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning[J]. arXiv preprint arXiv:1903.10258,2019.
  4. Dong X, Yang Y. Network Pruning via Transformable Architecture Search[J]. arXiv preprint arXiv:1905.09717,2019.
  5. Liu Z, Sun M Zhou T, et al. Rethinking the value of network pruning[J]. arXiv preprint arXiv:1810.05270,2018.
  6. Krizhevsky A, Sutskever I, Hinton G E. ImageNet Classification with Deep Convolutional Neural Networks[C]//Advances in Neural Information Processing Systems. 2012
  7. Simonyan K, Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition[Z]. arXiv preprint arXiv:1409.1556,2014.
  8. Sak H, Senior A W, Beaufays F. Long short-term memory recurrent neural network architectures for large scale acoustic modeling[C]//Interspeech, 2014.
  9. Han S, Pool J, Tran J, et al. Learning both Weights and Connections for Efficient Neural Networks[C]//Advances in Neural Information Processing Systems. 2015.
  10. Mao H, Han S, Pool J, et al. Exploring the Regularity of Sparse Structure in Convolutional Neural Networks[J]. 2017
  11. Henneaux M, Teitelboim C. Quantization of gauge systems[M]． Princeton university press, l992．
  12. Mackay D J. Information theory, inference and learning algorithms[M].Cambridge university press, 2003.
  13. Gondimalla A, Chesnut N, Thottethodi M, et al. SparTen: A Sparse Tensor Accelerator for Convolutional Neural Networks[C]//Proceedings of the 52nd Annual IEEE/ACM International Symposium on Microarchitecture. ACM, 2019.
  14. Xuda Z, Zidong D, Qi G. Cambricon-S: Addressing Irregularity in Sparse Neural Networks through A Cooperative Software/Hardware Approach[J]. 2018.
  15. Hegde K, Asghari-Moghaddam H, Pellauer M, et al. ExTensor: An Accelerator for Sparse Tensor Algebra[C]// Proceedings of the 52nd Annual IEEE/ACM International Symposium on Microarchitecture. ACM, 2019.

剩余内容已隐藏，您需要先支付 10元 才能查看该篇文章全部内容！立即支付

以上是毕业论文开题文献，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。

您可能感兴趣的文章