「正则化」的基本思想是在误差目标函数中增加一个用于描述网络复杂度的部分，例如连接权值与阈值的平方和。令 表示第 个训练样本上的误差， 表示连接权和阈值，修改误差目标函数为
其中 用于对经验误差与网络复杂度这两项进行折中，常通过交叉验证法进行估计。