小鲸鱼的梦境
0%

发表于 更新于 分类于 Valine：
本文字数： 2.1k 阅读时长 ≈ 2 分钟

Information

  • Title: Learn-to-Decompose: Cascaded Decomposition Network for Cross-Domain Few-Shot Facial Expression Recognition
  • Author: Xinyi Zou, Yan Yan, Jing-Hao Xue, Si Chen, and Hanzi Wang
  • Institution: 厦门大学
  • Year: 2022
  • Journal: European Conference on Computer Vision (ECCV)
  • Source: official code, Arxiv, Springer
  • Cite: Zou, Xinyi, et al. "Learn-to-Decompose: Cascaded Decomposition Network for Cross-Domain Few-Shot Facial Expression Recognition." European Conference on Computer Vision. Springer, Cham, 2022.
  • Idea: 设计了一种级联的解耦网络用于跨域小样本学习
阅读全文 »

发表于 更新于 分类于 Valine：
本文字数： 5.2k 阅读时长 ≈ 5 分钟

Information

  • Title: Domain Generalization via Frequency-domain-based Feature Disentanglement and Interaction
  • Author: Wang, Jingye and Du, Ruoyi and Chang, Dongliang and Liang, KongMing and Ma, Zhanyu
  • Institution: 北京大学
  • Year: 2022
  • Journal: ACM International Conference on Multimedia (ACM MM 2022)
  • Source: ACM, Offical Code, ArXiv
  • Cite: Jingye Wang, Ruoyi Du, Dongliang Chang, Kongming Liang, and Zhanyu Ma. 2022. Domain Generalization via Frequency-domain-based Feature Disentanglement and Interaction. In Proceedings of the 30th ACM International Conference on Multimedia (MM '22). Association for Computing Machinery, New York, NY, USA, 4821–4829. https://doi.org/10.1145/3503161.3548267
  • Idea: 将图像在频域上进行分解得到低频特征和高频特征再进行交互用于提高域泛化
阅读全文 »

发表于 分类于 Valine：
本文字数： 2k 阅读时长 ≈ 2 分钟

Information

  • Title: Domain Generalization through Audio-Visual Relative Norm Alignment in First Person Action Recognition
  • Author: Mirco Planamente, Chiara Plizzari, Emanuele Alberti, Barbara Caputo
  • Institution: Politecnico di Torino, Istituto Italiano di Tecnologia, CINI Consortium
  • Year: 2022
  • Journal: WACV
  • Source: Arxiv, Open Access
  • Cite: Mirco Planamente, Chiara Plizzari, Emanuele Alberti, Barbara Caputo; Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2022, pp. 1807-1818
  • Idea: 提出通过范数对齐的方法来进行不同模态间的重平衡
阅读全文 »

发表于 更新于 分类于 Valine：
本文字数： 2.3k 阅读时长 ≈ 2 分钟

Information

  • Title: MetaNorm: Learning to Normalize Few-Shot Batches Across Domains
  • Author: Yingjun Du, XianTong Zhen, Ling Shao, Cees G. M. Snoek
  • Institution: AIM Lab, University of Amsterdam
  • Year: 2021
  • Journal: ICLR
  • Source: OpenReview, Offical Code(PS: 截止 2022.12.21 仓库还是空的)
  • Cite: Du, Yingjun, et al. "Metanorm: Learning to normalize few-shot batches across domains." International Conference on Learning Representations. 2020.
  • Idea: 提出了元归一化用于少样本学习和域泛化
阅读全文 »

发表于 分类于 Valine：
本文字数： 3.6k 阅读时长 ≈ 3 分钟

Information

  • Title: Orthogonal Transformer: An Efficient Vision Transformer Backbone with Token Orthogonalization
  • Author: 黄怀波, 周晓强 , 赫然
  • Institution: 中国科学院自动化研究所，中国科学院大学，中国科学技术大学
  • Year: 2022
  • Journal: NeurIPS
  • Source: PDF, Offical Code (截至本文完成还是空的), openreview
  • Cite: Huang H, Zhou X, He R. Orthogonal Transformer: An Efficient Vision Transformer Backbone with Token Orthogonalization[C]//Advances in Neural Information Processing Systems.
  • Idea: 提出了正交 transformer，设计得很巧妙
阅读全文 »

发表于 分类于 Valine：
本文字数： 21k 阅读时长 ≈ 19 分钟

前言

本文的大部分内容来源于转载，出处参考文末参考资料。

AMP简介

题外话，我为什么要写这篇博客，就是因为我穷！没钱！租的服务器使用多GPU时一会钱就烧没了（gpu内存不用），急需要一种trick，来降低内存加速。

回到正题，如果我们使用的数据集较大，且网络较深，则会造成训练较慢，此时我们要想加速训练可以使用Pytorch的AMP（autocast与Gradscaler）；本文便是依据此写出的博文，对Pytorch的AMP(autocast与Gradscaler进行对比)自动混合精度对模型训练加速。

阅读全文 »