小鲸鱼的梦境
0%

发表于 更新于 分类于 Valine：
本文字数： 21k 阅读时长 ≈ 19 分钟

前言

本文以 2D 图像数据为例对 BN(Batch Normalization), LN(Layer Normalization), IN(Instance Normalization), WN(Weight Normalization) 的 Pytorch 源码进行了分析解读。以期通过对源码的分析可以加深对这几种方法的理解。

我将首先简单分析一下 Pytorch 中对几种方法的 Python 实现，虽然深入探究一下底层 C++ 源码的实现，最后根据我们学习到的方法复现出 Pytorch 的实现效果。

阅读全文 »

发表于 分类于 Valine：
本文字数： 6.4k 阅读时长 ≈ 6 分钟

表格

Latex 中构建表格的基本方法和一些注意事项、拓展功能、个人遇到过的一些问题。表格是 Latex 文档中很常用的一个组件，可以写论文、记笔记必不可少要用到的。

阅读全文 »

发表于 更新于 分类于 Valine：
本文字数： 10k 阅读时长 ≈ 9 分钟

Information

  • Title: Differentiable Learning-to-Normalize via Switchable Normalization
  • Author: Ping Luo and Jiamin Ren and Zhanglin Peng and Ruimao Zhang and Jingyu Li
  • Institution: 香港中文大学（CUHK）多媒体实验室和商汤科技研究院（SenseTime Research）
  • Year: 2019
  • Journal: ICLR
  • Source: arxiv, Code, 作者的中文解析(在 Github 上)
  • Idea: 核心观点就是同时使用 BN, IN, LN 并对其添加一个自适应的权重来适配不同的网络
阅读全文 »