深度学习之参数初始化（一）——Xavier初始化和He初始化

Xavier初始化

• 条件：正向传播时，状态值的方差保持不变；反向传播时，关于激活值的梯度的方差保持不变。
• 论文：Understanding the difficulty of training deep feedforward neural networks — by Xavier Glorot, Yoshua Bengio in AISTATS 2010.
• 假设激活函数关于0对称，且主要针对于全连接神经网络。适用于tanh和softsign，不适用于ReLu，sigmoid。

He初始化

• 条件：正向传播时，状态值的方差保持不变；反向传播时，关于激活值的梯度的方差保持不变。
• 适用于ReLU，Leaky ReLU；
• 论文地址：Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification