小鲸鱼的梦境
0%

发表于 分类于 Valine：
本文字数： 3.6k 阅读时长 ≈ 3 分钟

Information

  • Title: Orthogonal Transformer: An Efficient Vision Transformer Backbone with Token Orthogonalization
  • Author: 黄怀波, 周晓强 , 赫然
  • Institution: 中国科学院自动化研究所，中国科学院大学，中国科学技术大学
  • Year: 2022
  • Journal: NeurIPS
  • Source: PDF, Offical Code (截至本文完成还是空的), openreview
  • Cite: Huang H, Zhou X, He R. Orthogonal Transformer: An Efficient Vision Transformer Backbone with Token Orthogonalization[C]//Advances in Neural Information Processing Systems.
  • Idea: 提出了正交 transformer，设计得很巧妙
阅读全文 »

发表于 分类于 Valine：
本文字数： 21k 阅读时长 ≈ 19 分钟

前言

本文的大部分内容来源于转载，出处参考文末参考资料。

AMP简介

题外话，我为什么要写这篇博客，就是因为我穷！没钱！租的服务器使用多GPU时一会钱就烧没了（gpu内存不用），急需要一种trick，来降低内存加速。

回到正题，如果我们使用的数据集较大，且网络较深，则会造成训练较慢，此时我们要想加速训练可以使用Pytorch的AMP（autocast与Gradscaler）；本文便是依据此写出的博文，对Pytorch的AMP(autocast与Gradscaler进行对比)自动混合精度对模型训练加速。

阅读全文 »

发表于 分类于 Valine：
本文字数： 9.4k 阅读时长 ≈ 9 分钟

Information

  • Title: Adversarially Adaptive Normalization for Single Domain Generalization
  • Author: Xinjie Fan, Qifei Wang, Junjie Ke, Feng Yang, Boqing Gong, Mingyuan Zhou
  • Institution: 谷歌
  • Year: 2021
  • Journal: CVPR
  • Source: open access，Arxiv
  • Cite: Xinjie Fan, Qifei Wang, Junjie Ke, Feng Yang, Boqing Gong, Mingyuan Zhou; Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021, pp. 8208-8217
  • Idea: 针对 BN 的统计量不适合跨域任务的缺点提出自适应的正则化方法
阅读全文 »

发表于 分类于 Valine：
本文字数： 4.4k 阅读时长 ≈ 4 分钟

Information

  • Title: Understanding the Effective Receptive Field in Deep Convolutional Neural Networks
  • Author: Wenjie Luo, Yujia Li, Raquel Urtasun, Richard Zemel
  • Institution: Department of Computer Science, University of Toronto
  • Year: 2016
  • Journal: NIPS
  • Source: NeurIPS Proceedings, PDF, Arxiv
  • Cite: Luo W, Li Y, Urtasun R, et al. Understanding the effective receptive field in deep convolutional neural networks[J]. Advances in neural information processing systems, 2016, 29.
  • Idea: 提出了感受野(ERF)理论，作者认为感受野是近似高斯分布的，且有效感受野远远小于理论感受野
阅读全文 »

发表于 更新于 分类于 Valine：
本文字数： 4.6k 阅读时长 ≈ 4 分钟

Information

  • Title: Margin Calibration for Long-Tailed Visual Recognition
  • Author: Yidong Wang, Bowen Zhang, Wenxin Hou, Zhen Wu, Jindong Wang, Takahiro Shinozaki
  • Institution: 东京工业大学(Tokyo Institute of Technology)、Microsoft STCA、南京大学，微软亚研院
  • Year: 2022
  • Journal: ACML
  • Source: Arxiv
  • Cite: Wang Y, Zhang B, Hou W, et al. Margin calibration for long-tailed visual recognition[J]. arXiv preprint arXiv:2112.07225, 2021.
  • Idea: 提出校正边距的方法来提高长尾分布的性能
阅读全文 »

发表于 分类于 Valine：
本文字数： 4.5k 阅读时长 ≈ 4 分钟

Information

  • Title: Domain Generalization for Activity Recognition via Adaptive Feature Fusion
  • Author: XIN QIN, JINDONG WANG, YIQIANG CHEN
  • Institution: 国科大、微软亚研院
  • Year: 2022
  • Journal: TIST
  • Source: Arxiv, ACM
  • Cite: Qin X, Wang J, Chen Y, et al. Domain Generalization for Activity Recognition via Adaptive Feature Fusion[J]. ACM Transactions on Intelligent Systems and Technology (TIST), 2022.
  • Idea: 在域不变特征和域特定特征直接寻找平衡，其中域特定特征采用融合加权多源域特征提取器提取的特征获得
阅读全文 »

发表于 分类于 Valine：
本文字数： 1.1k 阅读时长 ≈ 1 分钟

Information

两篇关于小样本学习方面的中文综述

  • Title: 小样本学习研究综述、小样本困境下的深度学习图像识别综述
  • Author: 赵凯琳，葛轶洲
  • Institution: （中国科学院 计算技术研究所 网络数据科学与技术重点实验室,北京），计算机软件新技术国家重点实验室 (南京大学)
  • Year: 2021, 2022
  • Journal: 软件学报 ISSN 1000-9825, CODEN RUXUEW
  • Source: 见引用
  • Cite:
    • 赵凯琳,靳小龙,王元卓.小样本学习研究综述.软件学报,2021,32(2):349−369. http://www.jos.org.cn/1000-9825/6138.htm
    • 葛轶洲, 刘恒, 王言, 徐百乐, 周青, 申富饶. 小样本困境下的深度学习图像识别综述. 软件学报, 2022, 33(1): 193–210. http://www.jos.org.cn/1000-9825/6342.htm
  • Idea: 综述
阅读全文 »