在M-P 神经元中，对输入、输出进行函数转换，从而达到输入对输出的激活的函数称为「激活函数」。如果没有激活函数，无论神经网络有多少层，神经网络输入到输出的映射都是输入的线性组合，则神经网络的逼近能力很弱！
引入非线性函数作为激活函数，这样深层神经网络表达能力就更加强大，亦即，输出不再是输入的线性组合，几乎可以逼近任意函数。
激活函数通常为一个 S 型函数，要求有分界点，且在分界点两侧的函数值互不相同，即：严格单调。
常用的激活函数有 Sigmoid 函数 和 符号函数
理想的激活函数是单位阶跃函数，它将输入值映射为输出值 0 或 1，其中 1 表示神经元兴奋，0 表示神经元抑制。但是阶跃函数不连续不光滑，不便于求导