小鲸鱼的梦境
0%

『论文笔记』Meta Convolutional Neural Networks for Single Domain Generalization

发表于 分类于 Valine：
本文字数： 2k 阅读时长 ≈ 2 分钟

Information

  • Title: Meta Convolutional Neural Networks for Single Domain Generalization
  • Author: Chaoqun Wan, Xu Shen, Yonggang Zhang, Zhiheng Yin, Xinmei Tian, Feng Gao, Jianqiang Huang, Xian-Sheng Hua
  • Institution: 中国科学技术大学(University of Science and Technology of China)
  • Year: 2022
  • Journal: CVPR
  • Source: Open Access, IEEE, Official Code(截止 2023.02.25 还是空的)，
  • Cite: Chaoqun Wan, Xu Shen, Yonggang Zhang, Zhiheng Yin, Xinmei Tian, Feng Gao, Jianqiang Huang, Xian-Sheng Hua; Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022, pp. 4682-4691
  • Idea: 对样本进行分解后查找到等效元特征进行重组以消除域偏移的影响
1
2
3
4
5
6
7
8
@InProceedings{Wan_2022_CVPR,
    author    = {Wan, Chaoqun and Shen, Xu and Zhang, Yonggang and Yin, Zhiheng and Tian, Xinmei and Gao, Feng and Huang, Jianqiang and Hua, Xian-Sheng},
    title     = {Meta Convolutional Neural Networks for Single Domain Generalization},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {4682-4691}
}

Abstract

作者提出了一种新的被称为元卷积神经网络的模型来解决单源域泛化的问题。其核心思想是将图像的卷积特征分解为元特征，再将元特征重新组合为相关的卷积特征，以此消除局部卷积特征的域无关特征。通过这种方法可以消除未见过域的域偏差，可以使用源域训练的模型对特征进行处理。

Introduction

作者提出了元CNN，受到 SCAE (stacked capsule autoencoder) 的启发，将图像分割为组成部分，再由一般的零件模板重建，用在图像卷积上就是将图像分解为基本的视觉特征，然后将这些基本视觉特征当做目标来组成训练域的图像，但由于域间隙的存在，这些模板没法直接重构不同域的特征表示。在元数据归一化后，这种局部特征的域偏移可以用通用线性模型表示：\(\boldsymbol{f}=\beta \boldsymbol{M}+\boldsymbol{r}\), 其中 \(f\) 是局部特征，\(\beta\) 是可学习的线性参数集合，\(M\) 是训练域的模板，被称为元特征。\(r\) 可以认为是域偏移，在计算时通过用 \(\beta \boldsymbol{M}\) 代替 \(\boldsymbol{f}\) 来消除域偏移的影响。过程分为 3 步：

  1. 将图像卷积特征分解为局部元特征作为模板
  2. 以元特征作为参考通过查询消去局部卷积特征的不相关性
  3. 将特征映射为相关元特征的组合。

img

这其中存在以下的一些困难：

  1. 局部特征提取，如何提取局部特征的表示和位置信息，作者提出将特征图分解为局部 patches
  2. 局部特征查询，将局部特征映射到对应的模板，作者提出将局部特征映射到元特征的组合显示来放大元特征集的表达能力
  3. 元特征合成，图像由频率直方图表示不可微，作者提出通过线性插值来表示局部 patches 特征
  4. 元特征学习，作者提出使用最大似然估计回归分析来更新元特征

Method

img

如图所示：

  1. 局部特征分解
  2. 在元特征集合重查找最相关元特征
  3. 对原特征进行组合
  4. 通过SGD更新随机初始化的元特征

img

步骤如下：

image-20230225165257508

Experiment

数值实验结果就不展开了，可以看看可视化的实验：

img

img

Conclusion

通过四个步骤：局部特征分解、局部特征寻址、元特征合成和元特征学习 对未见过的目标域样本进行分解重组以消除域偏移。

Others

文章提出该工作的一个问题是针对高性能而不是高效率，所需的计算成本可能比较大。

如有错漏，欢迎指正！如果对你有帮助的话，请给我点个赞吧~

欢迎前往 我的博客 查看更多笔记

--- ♥ end ♥ ---

欢迎关注我呀~