BatchNorm的好处

BatchNorm为什么NB呢，关键还是效果好。

①不仅仅极大提升了训练速度，收敛过程大大加快;

②还能增加分类效果，一种解释是这是类似于Dropout的一种防止过拟合的正则化表达方式，所以不用Dropout也能达到相当的效果;

③另外调参过程也简单多了，对于初始化要求没那么高，而且可以使用大的学习率等。

总而言之，经过这么简单的变换，带来的好处多得很，这也是为何现在BN这么快流行起来的原因。

自下上升的非监督学习

就是从底层开始，一层一层地往顶层训练。采用无标定数据(有标定数据也可)分层训练各层参数，这一步可以看作是一个无监督训练过程，这也是和传统神经网络区别最大的部分，可以看作是特征学习过程。具体的，先用无标定数据训练第一层，训练时先学习第一层的参数，这层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层，由于模型容量的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征;在学习得到n-l层后，将n-l层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数。