引例

识别一张 像素的目标类别。每个像素作为神经网络的一个输入节点,则有 个输入节点,有几种可能的神经网络设计

  • 全连接:假设隐藏层节点个数与输入节点相同,则总的参数有 个。
  • 局部链接:假设只选择部分像素作为输入节点。可采用铝箔窗口方式,每个铝箔窗口今连接部分像素作为输入节点。假设每个窗口的尺寸为 ,且隐藏层节点数仍然与输入结点数仍然与输入节点数相同。则总的参数有
  • 权共享:假设仍然将所有像素作为输入节点进行处理,但同时利用铝箔窗口对输入节点进行统一处理。给定一个固定参数的滤波窗口,利用其对所有输入节点进行扫描处理,每次扫描输出对应一个隐藏层节点。仍然假设滤波窗口尺寸为 ,共有 100 种滤波器,则总参数有

可见,局部链接通过减少神经元之间的连接个数来减少参数数目,但程度不够。权值共享机制则能显著降低参数个数。

定义

「卷积神经网络」(Convolutionary Neural Network, CNN)是人工神经网络的一种,已成为当前图像识别领域的研究热点。卷积网络是为识别二维形状而特殊设计的一个多层感知机,这种网络结构对平抑、比例缩放、旋转或其他形式的变形具有一定的不变性。

img-2024-05-02 15-50-08.png

卷积网络的核心思想是将局部感知、权值共享以及下采样这三种结构结合起来,以达到图像降维的特征学习与分类

局部链接:

  • 卷积神经网络上下层之间采用局部连接的方式构建网络,每个隐藏层的节点至于上一层的一部分连续输入节点相连接,这样模拟了大脑皮层中,不同位置的视觉细胞只对局部区域有响应这一现象。
  • CNN 中局部连接以卷积方式来实现。对于自然图像来说,从图像中某个部位提取到的特征也适用于其他部位,因此这种卷积和局部连接的特征提取方式可以提高特征的位置不变性。

权值共享:在卷积神经网络中,卷积层的每一个卷积核通过滑动窗口作用于整个输入图像,对输入图像进行卷积,卷积的结构构成了包括输入图像的特征图,提取出图像的局部特征。每一个卷积滤波器共享相同的可学习参数,包括相同的卷积核权重矩阵和偏置项。

下采样:卷积核与输入图像进行卷积后生成特征图,之后紧接着一个进行二次筛选的下采样层(或称为池化层。这种特有的两次特征提取结构使得网络对输入样本有较高的畸变容忍能力。在通过卷积获得了特征以后,如果使用所有提取到的特征去训练分类器,计算量会太大。

为了降低特征维度,对不同位置的特征进行聚合统计,例如值计算图像一个区域上的某个特定特征的平均值或最大值,这些概要统计特征不仅具有低得多的维度,还会改善结果,不容易过拟合。这种聚合的操作就叫做「池化」。包括平均池化和最大池化等多种方法。

CNN 可用 BP 算法进行训练。但在训练中,无论是卷积层还是采样层,其每一组神经元都是使用相同的连接权,从而大大减少了需要训练的参数数目。