小鲸鱼的梦境
0%

『论文笔记』Learn-to-Decompose Cascaded Decomposition Network for Cross-Domain Few-Shot Facial Expression Recognition

发表于 更新于 分类于 Valine：
本文字数： 2.1k 阅读时长 ≈ 2 分钟

Information

  • Title: Learn-to-Decompose: Cascaded Decomposition Network for Cross-Domain Few-Shot Facial Expression Recognition
  • Author: Xinyi Zou, Yan Yan, Jing-Hao Xue, Si Chen, and Hanzi Wang
  • Institution: 厦门大学
  • Year: 2022
  • Journal: European Conference on Computer Vision (ECCV)
  • Source: official code, Arxiv, Springer
  • Cite: Zou, Xinyi, et al. "Learn-to-Decompose: Cascaded Decomposition Network for Cross-Domain Few-Shot Facial Expression Recognition." European Conference on Computer Vision. Springer, Cham, 2022.
  • Idea: 设计了一种级联的解耦网络用于跨域小样本学习
1
2
3
4
5
6
7
8
@article{zou2022learn,
  	title={Learn-to-Decompose: Cascaded Decomposition Network for Cross-Domain Few-Shot Facial Expression Recognition},
  	author={Zou, Xinyi and Yan, Yan and Xue, Jing-Hao and Chen, Si and Wang, Hanzi},
    booktitle={Computer Vision -- ECCV},
    publisher={Springer Nature Switzerland},
    pages={683--700},
  	year={2022}
}

Abstract

针对跨域小样本学习的问题，提出了一种级联分解网络，使用多个参数共享的“学习分解模块”级联的分解得到具有域不变性的特征空间，针对有限基类导致的过拟合问题，设计了部分正则化策略。实验结果表明了作者提出方法的有效性。

Introduction

现有的小样本学习的一些方法应用到表情识别方面存在许多问题，其中之一就是表情识别问题中分类数量比较少，常见的基本表情只有七类，直接引用一些已有的小样本学习的方法很容易遇到过拟合的问题，而利用元学习学习的到模型学习能力也比较差，难以泛化到新的任务中。下图展示了小样本学习(FSL)的一些方法随基类数量的减少性能大幅度下降。

image-20230102152407373

受 RGB 颜色分解的启发，作者提出将面部表情分解为基本表情的加权组合，并设计了一种级联分解网络(CDNet)，通过将多个共享参数的学习分解(LD)模块级联来进行分解操作，并设计了部分正则化策略用于集成已有的小样本学习的方法。

简单来说，任何颜色颜色都可以表示为 R, G, B 三原色的线性组合，以此类推，作者提出在表情识别任务中也将表情分解为多个表情原型的加权组合，从而设计了一种级联分解网络来将表情分解为多个表情原型的线性组合并重构表情特征。

具体来说，LD模块由分解块和权重块组成，分别学习表达式原型及其对应的权重。CDNet基于序列分解机制，将具有共享参数的LD模块级联，得到加权表达式原型，提取表情特征。在CDNet的情景训练中，我们进一步利用基于批训练的预训练模型来正则化分解块(而不是对整个LD模块进行完全正则化)。这样，一个通用的LD模块可以在预训练的模型的监督下有效地学习，该模型持有所有基类的全局视图。通过在类似任务中使用我们设计的部分正则化进行训练，CDNet能够具有学习分解的能力，可以适应新的任务.

该文章的贡献有：

  1. 针对跨域小样本表情识别任务提出级联分解网络 CD-Net 用于复合表情识别
  2. 提出了一种局部正则化策略将 episodic 训练和 batch 训练结合，缓解了表情识别基类有限导致的过拟合问题
  3. 实验结果显示了 CDNet 在 复合FER 任务中优于现有的 FSL 方法

Method

image-20230104154634027

网络主要包含三个部分：

    1. LD 模块用于提取表情原型及其权重
    1. 一系列共享参数的 LD 模块构成了序列结构模块 SD
    1. 部分正规化策略
    1. CDNet 用于获取可转移的特征空间以使其能容易的应用到复合 FER 任务中上

训练分为两个阶段，第一阶段以 batch 训练方式对 CDNet 做预训练，获取训练集上所有基类的全局视图信息，第二阶段以 episode 训练模式进行微调，并加入了一种新的正则化策略来缓解基类有限导致的过拟合问题。

Experiment

  • 数据集
    • 基本数据集：CK+, MMI, Oulu-CASIA, RAF-DB, SFEW
    • 复合数据集：CFEE, EmotionNet, RAF-DB

结果展示：

image-20230207161322612

image-20230207161353124

image-20230207161410230

image-20230207161431001

Conclusion

在这篇文章中，提出了 CDNet 级联分解网络解决跨域小样本下复合表情识别任务，并设计了部分正则化策略解决表情识别任务下小样本学习因为分类数量少容易过拟合的问题。

如果对你有帮助的话，请给我点个赞吧~

欢迎前往 我的博客 查看更多笔记

--- ♥ end ♥ ---

欢迎关注我呀~