近年来，由于高性能计算机的发展以及数据集规模的扩大，深度学习模型在医学图像分类检测领域内取得了广泛应用。利用深度学习从大规模医学图像数据库中训练自动诊断模型正引起广泛的研究兴趣。

方法

1.卷积神经网络

    受到生物神经系统的启发，卷积神经网络（CNN）在物体识别和检测领域已经获得了巨大成功。不同于传统的神经网络，CNN结合了局部连接和权值共享策略，因此，使得卷积神经网络的参数大大减少，从而构建更深层数的卷积网络成为可能。CNN的主要组成成分是卷积层，卷积层包含了许多神经元，每个神经元带有一组可学习的权值和一个偏置项。这些权值会在网络训练的过程中不断改变。每个神经元对于前一层的局部区域进行       感知，即将该局部区域作为其输入。假定χlj是第l层卷积层的第j个神经元的输出，且是第l-1层的神经元输出，M表示当前神经元的局部输入大小，那么χlj可以表示为：

    其中表示连接至前一层第m个神经元输出的权值，δ（.)表示神经元激活函数（一般常用ReLU非线性单元）。池化层（poolinglayer）和全连接层是CNN另一主要成分。

    在本文中，我们将分类层softmax层作为全连接层的附属层。一般而言，在卷积层之间会加入池化层，池化层本身不带参数，其作用是减少卷积层输出尺寸大小，从而大大减少整个网络的参数数量，同时增强卷积层输出特征的空间稳定性。因此，池化层在一定程度上可以避免网络出现过拟合的情况。全连接层（fully-connectedlayer，FClayer）类似于卷积层，同样是由许多神经元组成，但这里的神经元与前一层输入之间是全连接的方式，即每个神经元与前一层所有输入进行作用。Softmax层是CNN网络的最后一层结构，其功能是对网络提取的特征进行分类。为了评价网络预测输出与输入图像真实标签之间的一致性，这里用到了损失函数。       具体而言，假定为输入图像，是其对应的真实标签，则损失函数可以表示为：

    其中，表示网络对输入图像Ii的预测类别概率输出，此外，是指示函数，，当Ck=Ti时，其输出值为1，反之则为0；fj是网络对于图像Ii在softmax层前一层第j个神经元的输出。CNN训练的目的就是获取合适的权值参数，使得整个网络能够针对目标数据自动学习合适的特征表达，从而对于未知样本得到比较好的预测结果。

2.CNN结构设置

    对于像CNN-16这种深度的网络，直接随机初始参数的情况下训练会出现收敛速度极慢，反向传播更新参数过程会出现梯度消失等情况，因此，这里我们直接采用迁移学习的方式来初始化设置网络，相应结果表示为CNN-16-TR。表1说明了实验中CNN的具体结构细节。

3.数据增强

    CNN网络作为一种深度学习模型，其对于训练数据量具有极大的要求。某种程度上，数据量的大小直接决定了网络的规模，以及网络的可训练性。而临床上，收集大量的且具有代表性的医学图像本身就相当困难，再加上这些数据还需要人工进行标注，因此，构建这种高质量大规模的医学图像数据集极具挑战。而通过保持图像本身标签不变的情况下，对图像数据进行多种变换来增大数据集的规模是一种可行且有效的数据增强方式。通过这种数据增强方式，我们可以大大增大数据集规模，从而解决医学图像数据集因为数据量不足而无法训练CNN模型的情况。

4.迁移学习

    即便CNN网络具有极强的特征表达能力，在很多医学图像上得到了成功应用，但训练的数据量依旧是最大的限制。因此，过拟合问题是有监督深度模型始终无法回避的一个话题。在这种情况下，先从大规模的数据集上预训练一个CNN网络，而后将该网络的参数复制到目标网络中是一个有效的网络初始化方式，可以大大减少网络训练速度，同时避免训练数据量过小而出现的过拟合现象。

    目前，最常见迁移学习方法是首先在其他数据集上训练一个基础网络，然后将该网络的前n层参数复制到目标网络对应层，而后目标网络余下层则随机初始化参数。根据训练的方式不同，迁移学习可以分为两种，一种是保持这些迁移过来的学习层参数固定，训练过程中只改变后面随机初始化的学习层参数；另一种则是在训练过程中微调这些迁移的学习层参数。根据研究结果，由于ImageNet数据集与我们FFSP数据集之间图像差异巨大，因此，迁移层数较多的情况下，采取前一种固定迁移参数的训练方式并不适用，因此，在本研究中，我们采取微调的迁移学习方式。

实验与结果

1.数据集与系统设置

2.定性分析评价

    图4中，(c)为CNN-8-TR提取的训练集特征，可以看出四类切面特征基本很清楚的被区分，而(d)为CNN-8-RI提取的训练集特征，四类切面特征还存在少量交叉。相对应的(g)、(h)分别为CNN-8-TR与CNN-8-RI测试集特征，结果与训练集类似。

3.定量分析评价

    目前，最主流的分类识别技术是利用人工特征结合分类器进行分类识别，这些方法基本思想是先从图像中提取特征，同时对特征进行编码，再训练分类器进行分类识别，如基于DSIFT特征的编码方式识别，包括直方图编码BoVW模型、局部特征聚合描述符VLAD编码以及FV向量编码。我们先前的研究工作就是利用这些方法进行FFSP的自动识别。

    图5是各个CNN网络的分类性能ROC曲线和混淆矩阵。从图5以及表2中可以看出，CNN-16-TR识别正确率高于CNN-8-TR，因此，加深CNN模型的深度能够很好地提升最后的分类效果。此外，CNN-8-TR分类正确率高于CNN-8-RI，表明在其他数据集上预训练基础网络，同时微调迁移参数也是一种改善CNN识别性能的有效方法。从实验结果可以看出，所有CNN模型识别结果都表现良好，且都优于我们之前的手工特征分类结果。虽然CNN具有极强的分类性能，但在实验结果中我们也观察到了一些值得注意的细节：首先，测试阶段，每张图像综合其10张子图像的预测结果，这种10-croptesting比直接测试单张图像的结果提升了3%左右。另外，采用迁移学习策略时，网络收敛的速度大大加快，比随机初始化参数的网络收敛快一半以上的时间。

讨论

    深度网络作为一种表达学习方法，通过组合迭代不同层次的特征，最后形成高层抽象特征，这种特征相对于传统的人工特征而言，在概念表达方面具有更鲁棒的性能或者说更具不变性。而且，深度网络可以根据给定的数据，学习到对应的特征，因此，其泛化能力更强，可以推广应用到不同的图像领域。但是深度学习模型普遍要求足够多的训练数据量，否则网络训练会出现过拟合问题。在不同的图像领域，显然数据采集的难度不尽相同，且自然图像数据集的规模往往远大于医学类图像数据。因此，医学图像领域内，深度网络应用的最大困难在于数据集规模的限制。

    利用自然图像数据集训练基础网络，再进行迁移学习是解决当前不同图像领域应用深度网络数据量不足的有效方式。因此，本研究结合了迁移学习与数据增强的方式来综合提升深度网络分类性能。最后的结果分析也表明，其FFSP分类性能要远远好于我们之前的研究，即采用人工特征结合分类器分类的方法。

    然而本研究依然存在一些不足之处，首先，测试集数量不够多，只有2418张测试图像，虽然在一定程度上可以反应CNN模型的分类性能，但更大量的数据应该更具说明性。这也是以后我们改进的方向之一。另外，在测试结果方面，依然存在提升的空间，不少接近FFSP的非标准切面被识别为标准切面。这跟图像本身的噪声以及差异度小有极大的关系。未来的研究中，可以通过给训练集图像随机添加噪声，来增加网络识别的稳定性。另外，临床医生在寻找FFSP过程中，会考虑前后帧图像的上下文信息，因此，在网络训练过程中加入当前图像上下文信息可以消除FFSP与非FFSP类内差异小所带来的干扰。

结论

    本研究中，我们提出了用深度卷积网络的方式来识别胎儿颜面部超声图像，同时，分析研究了不同深度结构的CNN模型对于FFSP分类的结果。为了防止由于训练数据集数量不足而引发网络训练出现过拟合问题，我们采用了数据增强结合迁移学习的方式来改善网络分类结果。最后的结果表明，深度网络可以有效的识别FFSP标准切面，同时更深层的深度网络能够带来更好的分类性能。因此，深度网络与迁移学习的结合在临床应用方面具有极大的前景，值得进一步的探索和研究。