2.4.1　神经元模型

神经网络中最基本的构成成分是神经元模型，也就是上述所说的简单单元。在生物神经网络中，每个神经元与其他神经元相连接，当它处于触发状态时，就会给相邻神经元发送信号，神经元收到来自其他神经元的信号，如果累计加权值达到某个阈值，就处于触发状态并传递信号。

人工神经网络的构造就来自于生物神经网络模型，如图2.10所示，每个神经元模型包含n个输入、1个输出，以及2个计算功能。每个神经元接收来自其他n个神经元模型的输入，并且每个输入带有权值，然后神经元对输入值按照权值进行计算，最后通过激活函数并将结果输出到其他相连接的神经元。

图2.10　神经元模型

如果用x表示上一层神经元模型的输入，w表示输入所带的权值，g表示激活函数，那么每个神经元模型做的计算任务就是：

激活函数就是引入非线性因素，如果没有激活函数，所有神经元的连接最终都可以化简成输入的线性组合，常用的激活函数有Sigmoid和ReLu等，如图2.11所示。

图2.11　常用激活函数

单个神经元模型可以理解为线性模型，类似一个对数概率回归模型，通过输入和权值的线性组合拟合输出，权值跟参数一样是通过训练得到的。