提问 发文

CAM可视化

微微菌

| 2024-03-12 10:32 243 0 0

参考:原理分析-CAM模型可视化(可解释)_herr_kun的博客-CSDN博客_cam可视化

CAM以热力图的形式告诉了我们,模型是重点通过哪些像素确定这个图片是羊驼了。

一句话总结CAM方法:最后一层的卷积层的所有特征图,针对该层的每个特征图求出均值,最后对应特征图加权求和得到最终的热力图。直接看图pic1。

在最后一层卷积层(全连接层之前接上GAP)

从图中可以看到,经过GAP之后,我们得到了最后一个卷积层每个特征图的均值,通过加权和得到输出(实际中是softmax层的输入)。需要注意的是,对每一个类别C,每个特征图k的均值都有一个对应的,记为。CAM的基本结构就是这样了,下面就是和普通的CNN模型一样训练就可以了。训练完成后才是重头戏:我们如何得到一个用于解释分类结果的热力图呢?其实非常简单,比如说我们要解释为什么分类的结果是羊驼,我们把羊驼这个类别对应的所有取出来,求出它们与自己对应的特征图的加权和即可。由于这个结果的大小和特征图是一致的,我们需要对它进行上采样,叠加到原图上去,如下图pic1所示。(看懂下图是关键)

那么改进版的 Grad-CAM 是干什么的?

前面看到CAM的解释效果已经很不错了,但是它有一个致使伤,就是它要求修改原模型的结构,导致需要重新训练该模型,这大大限制了它的使用场景。如果模型已经上线了,或着训练的成本非常高,我们几乎是不可能为了它重新训练的。

于是乎,Grad-CAM横空出世,解决了这个问题。
Grad-CAM的基本思路和CAM是一致的,也是通过得到每对特征图对应的权重,最后求一个加权和。但是它与CAM的主要区别在于求权重的过程。CAM通过替换全连接层为GAP层,重新训练得到权重,而Grad-CAM另辟蹊径,用梯度的全局平均来计算权重。

事实上,经过严格的数学推导,Grad-CAM与CAM计算出来的权重是等价的。

Grad_CAM:基于每一个特征图有一个对应的全局权重

 LayerCAM:基于元素的,每一张特征图中每一个元素都有一个对应的权重


收藏 0
分享
分享方式
微信

评论

游客

全部 0条评论

10603

文章

11.37W+

人气

19

粉丝

1

关注

官方媒体

轻松设计高效搭建,减少3倍设计改稿与开发运维工作量

开始免费试用 预约演示

扫一扫关注公众号 扫一扫联系客服

©Copyrights 2016-2022 杭州易知微科技有限公司 浙ICP备2021017017号-3 浙公网安备33011002011932号

互联网信息服务业务 合字B2-20220090

400-8505-905 复制
免费试用
微信社区
易知微-数据可视化
微信扫一扫入群