13_旷视轻量化网络--ShuffleNet V2

回顾一下ShuffleNetV1:08_旷视轻量化网络--ShuffleNet V1-CSDN博客

1.1 简介

ShuffleNet V2是在2018年由旷视科技的研究团队提出的一种深度学习模型，主要用于图像分类和目标检测等计算机视觉任务。它是ShuffleNet V1的后续版本，重点在于提供更高效的模型设计，同时保持或提升模型的准确性。

核心设计理念：

• 高效性与准确性并重：ShuffleNet V2的设计初衷是解决深度学习模型在移动端和嵌入式设备上部署时面临的效率与准确性之间的权衡问题。它旨在以最少的计算资源和内存占用，达到尽可能高的分类或检测准确率。

• 通道重排（Channel Shuffle）：这一特性从ShuffleNet V1继承而来，通过随机打乱不同组内的通道，促进特征的混合，增加模型的表达能力。这有助于模型学习到更加丰富的特征组合，从而提升性能。

主要创新点：

1. 分层结构优化：不同于V1，V2版本通过引入更复杂的块（blocks）设计来优化网络结构。每个块可能包含多个路径，每个路径具有不同的功能，如特征提取、特征重组等，这样的设计能更高效地利用计算资源。

2. 均衡通道宽度：研究发现，保持每层网络的通道数相对均衡可以减少内存访问的开销，并且对模型性能影响不大。因此，ShuffleNet V2采用了所有层通道数相等的设计原则，这有助于模型在移动设备上更快运行。

3. 组卷积的改进应用：虽然组卷积能有效减少计算量，但过度分组会导致模型性能下降。V2通过精细调整组的数量和结构，找到了计算效率和模型性能之间的最佳平衡点。

4. 直接面向实际运行速度的优化：在设计过程中，除了理论上的计算量（FLOPs）外，研究者还直接考虑了模型在实际硬件上的运行速度。这意味着在设计决策中融入了对实际部署环境的考量，包括CPU和GPU的特定性能特征。

5. 计算和内存访问成本的细致优化：通过对模型内部的元素级操作（如ReLU、Addition）进行深入分析和优化，减少了不必要的计算负担和内存访问，进一步提升了模型的运行效率。

ShuffleNet V2由于其出色的效率和性能，在移动设备、智能安防、自动驾驶以及各种IoT设备上的视觉应用中得到了广泛应用。它的设计原则和优化思路也为后来的轻量化网络设计提供了宝贵的经验和指导，推动了深度学习模型在实际应用中的普及和发展。

shuffleNet出自论文《ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design》，下面我们来学习一下这篇论文。
 

1.2 四条轻量化网络设计原则

准则一和准则二：

对于V2，用了大量的分组1x1卷积。

准则三：（碎片化指分支多，网络较宽）

准则四：（尽量回避主元素操作）

1.3 V2的模型结构

ShuffleNet V2相比V1有几项关键改进和特点，这些改进主要是为了进一步提升模型的效率和准确性，特别是在移动端和嵌入式设备上的表现。以下是ShuffleNet V2相较于V1的一些主要特点：

1. 更高效的结构设计：
   • V2放弃了V1中的基于瓶颈模块的设计，转而采用一种新的结构，称为“ShuffleNet块”。这种设计通过重新安排层的顺序和结构，减少了计算成本，同时保持了模型的表达能力。
2. 均衡的通道宽度：
   • V2提出了一种“均衡通道宽度”的设计理念，即网络中所有层的通道数保持一致或接近。这与V1中通道数随深度增加而增加的做法不同。实验表明，这种设计能降低内存访问成本（MAC），提升运行效率，且对准确性影响较小。
3. 优化的组卷积策略：
   • 在V2中，对组卷积（group convolution）的使用进行了优化，避免了过量分组可能带来的性能下降。通过合理设置组数，V2在减少计算量的同时，确保了模型的表达能力不受太大影响。
4. 直接优化实际运行速度：
   • 设计时不仅考虑理论上的计算复杂度（FLOPs），更侧重于模型在实际设备上的运行速度。这意味着V2在设计时充分考虑了硬件特性，如内存带宽和计算单元的利用率。
5. 减少元素级操作：
   • 为了避免element-wise操作（如加法）造成的额外计算负担，V2中使用concatenation（连接操作）代替了部分element-wise操作，减少了计算成本，提升了运行效率。
6. 通道重排的改进位置：
   • 相对于V1中channel shuffle的位置，V2将其放置在block的不同位置，以更好地适应新的结构设计，进一步促进了特征的混合和信息的流通。
7. 新增操作：
   • 在全局平均池化（Global Average Pooling, GAP）之前添加了一个额外的卷积层（conv5），这是V2相比于V1的一个显著区别，旨在进一步提炼特征，提升模型的分类性能。

右侧是V2的结构。我们先看基本模块。V2在基本模块采用了一个“channel Split”操作，就是把一半的通道数走左边的路，另一半通道数走右边的路，且注意：V2的1x1卷积并不是像V1那样是分组1x1卷积。然后采用concat（摞在一起连接）操作而不是逐元素相加（ADD）的操作

可以看到V2是满足轻量化网络的四条设计原则的。

V2的模型结构如下图：

和DenseNet的特征复用相比较，类似的地方：

ShuffleNetV2通过模型的结构实现了不同层之前模型的共享和复用。这种效果和DenseNet相比是很类似的。

1.4 V2的性能

 图为ShuffleNetV2与部分其他轻量化的网络比较：

2.pytorch模型复现

马上更新