论文阅读NAM:Normalization-based Attention Module

Abstarct

识别不太显著的特征是模型压缩的关键。然而，在革命性的注意力机制中却没有对其进行研究。在这项工作中，我们提出了一种新的基于归一化的注意力模块（NAM），它抑制了不太显著的权重。它对注意力模块应用了权重稀疏性惩罚，从而使它们在保持类似性能的同时具有更高的计算效率。与Resnet和Mobilenet上的其他三种注意力机制的比较表明，服务器托管网我们的方法具有更高的准确性。

Introduction

注意机制是近年来研究的热点之一 (Wang et al.[2017], Hu et al. [2018], Park et al. [2018], Woo et al. [2018], Gao et al. [2019]).）。它有助于深度神经网络抑制不太显著的像素或通道。先前的许多研究都集中在通过注意力操作捕捉显著特征上(Zhang et al. [2020], Misra et al. [2021])。这些方法成功地利用了来自不同维度特征的相互信息。然而，它们缺乏对权重的贡献因素的考虑，这能够进一步抑制不重要的通道或像素。受Liu et al. [2017]的启发，我们旨在利用权重的贡献因素来改善注意力机制。我们使用批量归一化的比例因子，该比例因子使用标准偏差来表示权重的重要性。这可以避免添加SE、BAM和CBAM中使用的完全连接层和卷积层。因此，我们提出了一种有效的注意力机制——基于归一化的注意力模块（NAM）。

Related work

许多先前的工作试图通过抑制不重要的权重来提高神经网络的性能。挤压和激励网络（SENet）（Hu et al[2018]）将空间信息集成到通道特征响应中，并使用两个多层感知器（MLP）层计算相应的注意力。后来，瓶颈注意力模块（BAM）(Park et al. [2018]) b并行构建了分离的空间和通道子模块，它们可以嵌入到每个瓶颈块中。卷积块注意力模块（CBAM） (Woo et al. [2018]) 提供了一种按顺序嵌入通道和空间注意力子模块的解决方案，为了避免忽视跨维度交互，三重注意力模块（TAM）) (Misra et al. [2021]) 通过旋转特征图来考虑维度相关性。然而，这些工作忽略了来自训练的调谐权重的信息。因此，我们的目标是通过利用训练的模型权重的方差测量来突出显著服务器托管网特征。

Methodology

我们提出了NAM作为一种高效和轻量级的注意机制。我们采用了CBAM的模块集成（Woo et al[2018]），并重新设计了通道和空间注意力子模块。然后，在每个网络块的末端嵌入一个NAM模块。对于残差网络，它嵌入在残差结构的末端。对于通道注意力子模块，我们使用批量归一化（BN）的比例因子(Ioffe and Szegedy [2015])，如公式（1）所示。比例因子测量信道的方差并指示它们的重要性。

(1)

其中和分别为小批量的平均值和标准偏差；和是可训练的仿射变换参数（尺度和偏移）(Ioffe and Szegedy [2015])。通道注意力子模块如图1和方程（2）所示，其中表示输出特征。是每个通道的比例因子，权重为。我们还将BN的比例因子应用于空间维度，以测量像素的重要性。我们将其命名为像素归一化。相应的空间注意力子模块如图2和方程（3）所示，其中输出表示为。是比例因子，权重为。为了抑制不太显著的权重，我们将正则化项添加到损失函数中，如方程（4）所示（Liu et al[2017]），其表示输入，是输出；表示网络权重；是损失函数；是范数罚函数；是平衡和的惩罚。

(2)

(3)

(4)

Experiment

在本节中，我们比较了NAM与SE、BAM、CBAM和TAM在ResNet和MobileNet中的性能。我们在一个集群上使用四个Nvidia Tesla V100 GPU来评估每种方法。我们首先在CIFAR-100上运行ResNet50（Krizhevsky等人[2009]），并使用与CBAM相同的预处理和训练配置（Woo等人[2018]），p为0.0001。表1中的比较表明，单独使用通道或空间注意力的NAM优于其他四种注意力机制。然后，我们在ImageNet上运行MobileNet（Deng等人[2009]），因为它是图像分类基准的标准数据集之一。我们将p设置为0.001，其余配置与CBAM相同。表2中的比较表明，信道和空间注意力相结合的NAM优于其他三种计算复杂度相似的NAM。

Conclusion

我们提出了一个NAM模块，该模块通过抑制不太显著的特征来提高效率。我们的实验表明，NAM在ResNet和MobileNet上都提供了效率增益。我们正在对NAM在积分变化和超参数调整方面的性能进行详细分析。我们还计划利用不同的模型压缩技术对 NAM 进行优化，以提高其效率。未来，我们将研究它对其他深度学习架构和应用的影响。

Code

import torch.nn as nn
import torch
from torch.nn import functional as F


class Channel_Att(nn.Module):
    def __init__(self, channels, t=16):
        super(Channel_Att, self).__init__()
        self.channels = channels
      
        self.bn2 = nn.BatchNorm2d(self.channels, affine=True)


    def forward(self, x):
        residual = x

        x = self.bn2(x)
        weight_bn = self.bn2.weight.data.abs() / torch.sum(self.bn2.weight.data.abs())
        x = x.permute(0, 2, 3, 1).contiguous()
        x = torch.mul(weight_bn, x)
        x = x.permute(0, 3, 1, 2).contiguous()
        
        x = torch.sigmoid(x) * residual #
        
        return x


class Att(nn.Module):
    def __init__(self, channels,shape, out_channels=None, no_spatial=True):
        super(Att, self).__init__()
        self.Channel_Att = Channel_Att(channels)
  
    def forward(self, x):
        x_out1=self.Channel_Att(x)
 
        return x_out1  

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net

相关推荐: 基于springboot+maven的个人理财管理系统

基于springboot+mav服务器托管网en的个人理财管理系统,演示地址:个人理财系统登录界面 用户名:admin,密码：123456 共分为用户信息管理(用户信息，银行卡，个人征信)，理财产品管理(零钱服务器托管网理财，工资理财，期限理财，基金理财，精选…