CAM实现的流程--基于Pytorch实现

CAM类激活映射

CAM是什么

• 可视化CNN的工具， CAM解释网络特征变化，CAM使得弱监督学习发展成为可能，可以慢慢减少对人工标注的依赖，能降低网络训练的成本。通过可视化，就像往黑箱子里打了一个手电筒，让人们可以尝试去理解网络。
• 在不同空间位置处存在这些视觉图案的加权线性和， 通过简单地将类激活映射上采样到输入图像的大小，我们可以识别与特定类别最相关的图像区域
  
  

[step1：选择可视化的特征层，例如尺寸为 16∗16∗1024 的特征图 step2：获取该特征的每个channel的权重，即长度为1024的向量； step3：通过线性融合的方式，把不同channel的权重赋回原特征图中，在依次的将各个通道的特征图线性相加获取尺寸为1616的新特征图； step4：对该新特征图进行归一化，并通过插值的方式还原到原图尺寸]:

• CAM基于分类，所以被激活的区域是根据分类决定的
• 改变网络结构，例如把全连接层改成全局平均池化层，这不利于训练
• 在弱标记图像中定位比较抽象的概念：
  
• CAM可视化这可以帮助我们理解网络,通过CAM技术，我们可以看到网络关注哪里，可以利用CAM帮助我们发现问题，改进结构

CAM与CNN

CNN的操作可以看做是滤波器对图片进行特征提取，被一层层卷积核提取后，基本就是卷积核判断是重要的信息，其值越大，特征越明显，得到卷积的关注度就越高。

一个深层的卷积神经网络，通过层层卷积操作，提取出语义信息和空间信息，我们一直都很希望可以打破深度神经网络的黑盒，可以溯源特征提取的过程，甚至可以知道特征所代表的语义内容， 通常每一层的特征图还会有很多的层，我们一般用channel表示，这些不同层（通道）特征图，我们可以认为理解为存放着卷积提取到不同的特征。随着卷积的逐层深入，该特征已经失去了原有的空间信息和特征信息，被进一步的集成压缩为具有高度抽象性的特征图。这些特征图所代表的语义信息我们不得而知，但是这些特征图的重要性我们却可以通过计算得出。所以我们的CAM主要作用就是根据不同通道的贡献情况，融合出一张CAM图，那么我们就可以更直观的了解到在图像中那些部分是在CNN中是高响应的重要信息，哪些信息是无关紧要的无聊信息