参考:原理分析-CAM模型可视化(可解释)_herr_kun的博客-CSDN博客_cam可视化
CAM以热力图的形式告诉了我们,模型是重点通过哪些像素确定这个图片是羊驼了。
一句话总结CAM方法:最后一层的卷积层的所有特征图,针对该层的每个特征图求出均值,最后对应特征图加权求和得到最终的热力图。直接看图pic1。
在最后一层卷积层(全连接层之前接上GAP)
从图中可以看到,经过GAP之后,我们得到了最后一个卷积层每个特征图的均值,通过加权和得到输出(实际中是softmax层的输入)。需要注意的是,对每一个类别C,每个特征图k的均值都有一个对应的,记为。CAM的基本结构就是这样了,下面就是和普通的CNN模型一样训练就可以了。训练完成后才是重头戏:我们如何得到一个用于解释分类结果的热力图呢?其实非常简单,比如说我们要解释为什么分类的结果是羊驼,我们把羊驼这个类别对应的所有取出来,求出它们与自己对应的特征图的加权和即可。由于这个结果的大小和特征图是一致的,我们需要对它进行上采样,叠加到原图上去,如下图pic1所示。(看懂下图是关键)
那么改进版的 Grad-CAM 是干什么的?
前面看到CAM的解释效果已经很不错了,但是它有一个致使伤,就是它要求修改原模型的结构,导致需要重新训练该模型,这大大限制了它的使用场景。如果模型已经上线了,或着训练的成本非常高,我们几乎是不可能为了它重新训练的。
于是乎,Grad-CAM横空出世,解决了这个问题。
Grad-CAM的基本思路和CAM是一致的,也是通过得到每对特征图对应的权重,最后求一个加权和。但是它与CAM的主要区别在于求权重的过程。CAM通过替换全连接层为GAP层,重新训练得到权重,而Grad-CAM另辟蹊径,用梯度的全局平均来计算权重。
事实上,经过严格的数学推导,Grad-CAM与CAM计算出来的权重是等价的。
Grad_CAM:基于每一个特征图有一个对应的全局权重
LayerCAM:基于元素的,每一张特征图中每一个元素都有一个对应的权重
文章
11.37W+人气
19粉丝
1关注
©Copyrights 2016-2022 杭州易知微科技有限公司 浙ICP备2021017017号-3 浙公网安备33011002011932号
互联网信息服务业务 合字B2-20220090