『论文笔记』Squeeze-and-Excitation Networks

基本信息

• Title: Squeeze-and-Excitation Networks
• Author: Jie Hu, Li Shen
• Institution: Momenta, University of Oxford
• Year: 2018
• Journal: CVPR
• Source: pdf
• Code: authors' Caffe implementation, Third-party re-implementations - Pytorch
• Idea: 提出了一个 SE 模块用于通过对通道相关性建模以自适应调整通道特征响应

@inproceedings{hu2018squeeze,
  title={Squeeze-and-excitation networks},
  author={Jie Hu and Li Shen and Gang Sun},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition},
  pages={7132--7141},
  year={2018}
}

这篇文章主要是想看看实验细节，看看我的工作能不能用在该结构上面。

摘要

提出了一个 SE 模块(Squeezeand-Excitation block)用于通过对通道相关性建模以自适应调整通道特征响应，该结构在 SOTA 模型中以最小的代价实现了显著的性能提升。该方法在 ILSVRC 2017 分类比赛中获得了第一名。

介绍

简单介绍背景和一些相关的研究进展

方法

主要看看文章的思路和逻辑

具体细节

包括公式推导和实验部分的一些参数细节等等，不是很重要的文章可以不看

实验部分

Pytorch 实现如下

class SELayer(nn.Module):
    def __init__(self, channel, reduction=16):
        super(SELayer, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc = nn.Sequential(
            nn.Linear(channel, channel // reduction, bias=False),
            nn.ReLU(inplace=True),
            nn.Linear(channel // reduction, channel, bias=False),
            nn.Sigmoid()
        )

    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c)
        y = self.fc(y).view(b, c, 1, 1)
        return x * y.expand_as(x)

结论

该论文提出了 SE 模块结构，提高了网络的表达能力，通过动态通道特征调整。给出了以往结构在建模通道特征依赖的一些局限。该结构对相关领域如网络剪枝可能会有帮助。

其他

一些杂项

参考资料