第三节 深度神经网络及其结构

由于20世纪末计算机的硬件水平有限、运算能力不足，加上当时数据采集困难，这就导致当神经网络的规模（层数和节点数）增大时，BP神经网络算法就会出现“梯度退化”问题，而且也出现了模型过拟合现象，即给定的网络算不了或者算不好。随着技术的进步，近年来，计算机算力得到了飞速发展，在数据采集方面也有了大量积累。因此，随着网络层数的不断加深，神经网络又一次焕发青春。深度学习方法孕育而生，并被广泛地应用到各个领域。事实上，深度神经网络不仅是加深的神经网络，而且也具有自身的一些特征。下面我们将介绍深度神经网络的一般机理，并给出几种常见的深度神经网络构架。