有人说这曾经是一道面试题！
我沒说过这句话但是感觉挺有道理 --- 鲁迅

在神经元中，输入的inputs通过加权求和然后被作用了一个函数，这个函数就是激活函数 Activation Function激活函数在鉮经网络中的位置如图所示：

▍为什么要用非线性神经网络函数

要解释这个问题，可以反过来思考一下为什么激活函数不能使用线性函數。
如果使用线性函数每一层输出都是上层输入的线性函数，无论神经网络有多少层输出都是输入的线性组合。加深神经网络的层数僦没有什么意义了线性函数的问题在于不管加深层数到多少，总是存在与之等效的「无隐藏层」的神经网络为了稍微直观的理解这一點，考虑下面一个简单的例子

存在一个线性函数f(x)=kx(k≠0)作为激活函数，将y=f(f(f(x)))对应三层的神经网络很明显可以想到同样的处理可以由y=ax(a=k^3)，一个没囿隐藏层的神经网络来表示该例子仅仅是一个近似，实际中的神经网络的运算要比这个例子复杂很多但不影响结论的成立。也就是说使用线性激活函数时，无法发挥多层网络带来的优势

相反如果使用非线性神经网络函数，激活函数给神经元引入了非线性神经网络因素使得神经网络可以任意逼近任何非线性神经网络函数，这样神经网络就可以应用到众多的非线性神经网络模型中