深度学习提高trick小技巧

学习技巧7：学会提问，提高理解深度 #生活技巧# #学习技巧# #终身学习观念#

在深度学习中，同一个模型使用不同方式的初始化，比如：数据预处理，batch_size, 学习率， 不同的优化器都能得到不同性能的参数。

学习率

学习率的设置应该随着迭代次数的增加而减小，每迭代完指定次epoch也就是对整个数据过一遍，然后对学习率进行变化，这样能够保证每个样本得到公平的对待。

使用动态的学习率有助于加速收敛，在更少的epoch里得到更好的模型精度。

1、代码链接：

pytorch版本：https://github.com/anandsaha/pytorch.cyclic.learning.rate
2、参数设置：

1、其中stepsize最好设置为一个epoch迭代次数的2~10倍；
2、base_lr是最低学习率，max_lr是最高学习率，max_lr最好设置为base_lr的3到4倍；
3、一共有三种周期变化模式：trianglar、triangular2、exp_range，在论文中，后两者表现更好；

3、余弦退火

在采用批次随机梯度下降算法时，神经网络应该越来越接近Loss值的全局最小值。当它逐渐接近这个最小值时，学习率应该变得更小来使得模型不会超调且尽可能接近这一点。余弦退火（Cosine annealing）利用余弦函数来降低学习率，进而解决这个问题。

4、 SGDR

SGDR能够通过梯度下降过程中突然提高学习率来跳出局部最优值来找全局最优值。这种方式叫做带重启的随机梯度下降。

代码keras版本：[https://github.com/emrul/Learning-Rate](https://github.com/emrul/Learning-Rate) 1

卷积神经网络CNN中的技巧

CNN中将一个大尺寸的卷积核分解成多层的小尺寸的卷积核或者分解成多层的一维卷积，这样能够减少参数并增加非线性。

CNN中的网络设计应该逐渐减少图像尺寸，同时增加通道数，让空间信息转化为高阶抽象的特征信息。

数据扩充（Data Augmentation）

数据扩充，又名数据增强。其目的是在缺少海量数据时，为了保证模型的有效训练，从原始数据中生成更多的数据出来。

数据扩充方法包括：

1、翻转包括水平翻转、垂直翻转、水平垂直翻转。

2、旋转是常取的角度为-30、-15、15、30度等。

3、尺度变换是指将图像分辨率变为原图的0.8、1.1、1.2倍等，生成新图。

4、抠取包括随机抠取和监督式抠取。随机抠取在原图的随机位置抠取图像块作为新图像；监督式抠取只抠取含有明显语义信息的图像块。

5、色彩抖动是对原有的像素值分布进行轻微扰动，即加入轻微的噪声作为新图像。

6、Fancy PCA对所有训练数据的像素值进行主成分分析，根据得到的特征值和特征向量计算一组随机值，作为扰动加入到原来像素值中。

预训练

预训练模型（pre-trained model）是前人为了解决某个问题所创造出来的问题。在解决新的问题时，不需要从零开始训练一个新模型，可以从类似问题中训练过的模型入手，在原有模型的基础上进行微调继续训练。该方法不仅在时间上或者准确率上都有较好的效果。

权重初始化（weight initialization）

深度学习中权重初始化对模型收敛速度和模型质量有着重要的影响。参数在刚开始不能全都初始化为0，因为如果所有的参数都是0，那么所有神经元的输出都将是相同的，在反向传播时同一层内所有的神经元的行为也都一致。

激活函数
激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么不管网络有多少层都仅能够表达线性映射。激活函数应具有如下性质：

1、可微性：当优化方法是基于梯度的时候，这个性质是必须的；

2、单调性：当激活函数是单调函数的时候，单层网络能够保证是凸函数；

3、输出值的范围：当激活函数输出值是有限的时候，基于梯度的优化方法会更加稳定。

常见的激活函数有sigmoid， tanh， Relu, Leaky-Relu

正则化

避免过拟合的方法之一是增加训练数据数量，或者减小网络的规模。但是往往大型的网络比小型网络有更大的潜力。在使用固定的网络和固定的训练数据进行网络训练时，为了避免过拟合，提高模型的泛化能力，可以采用正则化的方法。

L2 regularization(权重衰减)

L1 regularization

网址：深度学习提高trick小技巧 https://www.yuejiaxmz.com/news/view/642295

相关内容

深度学习技巧提升学习效率，让你事半功倍
【移动端深度学习模型优化】：量化技巧揭秘，提升速度与减小体积
提高学习效率的7个小技巧
提高学习效率的43个小技巧
深度学习入门（四）：与学习相关的技巧
快速提高学习效率的小技巧
快速提高学习能力的技巧.pptx
提高学习效率的技巧和策略.pptx
提高学习能力的有效方法（掌握学习技巧）
深度学习提升模型表现的技巧

随便看看