Information
两篇关于小样本学习方面的中文综述
- Title:
小样本学习研究综述、小样本困境下的深度学习图像识别综述
- Author: 赵凯琳，葛轶洲
- Institution: （中国科学院 计算技术研究所 网络数据科学与技术重点实验室,北京），计算机软件新技术国家重点实验室 (南京大学)
- Year: 2021, 2022
- Journal: 软件学报 ISSN 1000-9825, CODEN RUXUEW
- Source: 见引用
- Cite:
- 赵凯琳,靳小龙,王元卓.小样本学习研究综述.软件学报,2021,32(2):349−369. http://www.jos.org.cn/1000-9825/6138.htm
- 葛轶洲, 刘恒, 王言, 徐百乐, 周青, 申富饶. 小样本困境下的深度学习图像识别综述. 软件学报, 2022, 33(1): 193–210. http://www.jos.org.cn/1000-9825/6342.htm
- Idea: 综述
Abstract
第一篇文章将小样本学习的相关工作划分为：
- 基于模型微调
- 基于数据增强：基于无标签数据、基于数据合成、基于特征增强
- 基于迁移学习：基于度量学习、基于元学习、基于图神经网络
第二篇工作主要讨论了基于数据增强、基于迁移学习和基于元学习的方法
Introduction
基于模型微调
主要的研究优化方向为更适合的学习率和优化器。
- 通用微调语言模型(universal language model fine-tuning,简称 ULMFit) 针对学习率做出改进，底层学习率小，高层学习率大，训练过程中学习率以三角变化，即先增大后减小
- Nakamura 等人提出小样本再训练使用更低学习率，微调阶段使用自适应梯度优化器
模型微调还是难以解决小样本容易过拟合的问题
基于数据增强
基于无标签数据
半监督、直推式学习（将未标注数据当成测试数据）等
直推式学习应用在小样本的方式是转导传播网络（transductive propagation network）:
转导传播网络分为4个阶段:特征嵌入、图构建、标签传播和损失计算. 该模型在特征嵌入阶段,将所有的标注数据和无标注数据通过嵌入函数f映射到向量空间中;在图构建阶段,使用构建函数g将嵌入向量构建为无向图中的节点,连边权重由两个节点计算高斯相似度得到;随后,根据公式 \(F^*=(I−\alpha S)^{(−1)}Y\) 来进行标签传播(其中,\(F^*\)是标签预测结果,\(S\)是归一化之后的连边权重,\(Y\)是初始标签的矩阵),让标签从标注数据传播到无标注数据;最后,通过交叉熵函数计算损失,用反向传播更新嵌入函数和构建函数的参数
基于数据合成
代表是生成对抗网络（GAN）
基于特征增强
未完待续
References
如果对你有帮助的话，请给我点个赞吧~
欢迎前往 我的博客 查看更多笔记