近年來，由于高性能計(jì)算機(jī)的發(fā)展以及數(shù)據(jù)集規(guī)模的擴(kuò)大，深度學(xué)習(xí)模型在醫(yī)學(xué)圖像分類檢測(cè)領(lǐng)域內(nèi)取得了廣泛應(yīng)用。利用深度學(xué)習(xí)從大規(guī)模醫(yī)學(xué)圖像數(shù)據(jù)庫(kù)中訓(xùn)練自動(dòng)診斷模型正引起廣泛的研究興趣。

方法

1.卷積神經(jīng)網(wǎng)絡(luò)

    受到生物神經(jīng)系統(tǒng)的啟發(fā)，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在物體識(shí)別和檢測(cè)領(lǐng)域已經(jīng)獲得了巨大成功。不同于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，CNN結(jié)合了局部連接和權(quán)值共享策略，因此，使得卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)大大減少，從而構(gòu)建更深層數(shù)的卷積網(wǎng)絡(luò)成為可能。CNN的主要組成成分是卷積層，卷積層包含了許多神經(jīng)元，每個(gè)神經(jīng)元帶有一組可學(xué)習(xí)的權(quán)值和一個(gè)偏置項(xiàng)。這些權(quán)值會(huì)在網(wǎng)絡(luò)訓(xùn)練的過程中不斷改變。每個(gè)神經(jīng)元對(duì)于前一層的局部區(qū)域進(jìn)行       感知，即將該局部區(qū)域作為其輸入。假定χlj是第l層卷積層的第j個(gè)神經(jīng)元的輸出，且是第l-1層的神經(jīng)元輸出，M表示當(dāng)前神經(jīng)元的局部輸入大小，那么χlj可以表示為：

    其中表示連接至前一層第m個(gè)神經(jīng)元輸出的權(quán)值，δ（.)表示神經(jīng)元激活函數(shù)（一般常用ReLU非線性單元）。池化層（poolinglayer）和全連接層是CNN另一主要成分。

    在本文中，我們將分類層softmax層作為全連接層的附屬層。一般而言，在卷積層之間會(huì)加入池化層，池化層本身不帶參數(shù)，其作用是減少卷積層輸出尺寸大小，從而大大減少整個(gè)網(wǎng)絡(luò)的參數(shù)數(shù)量，同時(shí)增強(qiáng)卷積層輸出特征的空間穩(wěn)定性。因此，池化層在一定程度上可以避免網(wǎng)絡(luò)出現(xiàn)過擬合的情況。全連接層（fully-connectedlayer，F(xiàn)Clayer）類似于卷積層，同樣是由許多神經(jīng)元組成，但這里的神經(jīng)元與前一層輸入之間是全連接的方式，即每個(gè)神經(jīng)元與前一層所有輸入進(jìn)行作用。Softmax層是CNN網(wǎng)絡(luò)的最后一層結(jié)構(gòu)，其功能是對(duì)網(wǎng)絡(luò)提取的特征進(jìn)行分類。為了評(píng)價(jià)網(wǎng)絡(luò)預(yù)測(cè)輸出與輸入圖像真實(shí)標(biāo)簽之間的一致性，這里用到了損失函數(shù)。       具體而言，假定為輸入圖像，是其對(duì)應(yīng)的真實(shí)標(biāo)簽，則損失函數(shù)可以表示為：

    其中，表示網(wǎng)絡(luò)對(duì)輸入圖像Ii的預(yù)測(cè)類別概率輸出，此外，是指示函數(shù)，，當(dāng)Ck=Ti時(shí)，其輸出值為1，反之則為0；fj是網(wǎng)絡(luò)對(duì)于圖像Ii在softmax層前一層第j個(gè)神經(jīng)元的輸出。CNN訓(xùn)練的目的就是獲取合適的權(quán)值參數(shù)，使得整個(gè)網(wǎng)絡(luò)能夠針對(duì)目標(biāo)數(shù)據(jù)自動(dòng)學(xué)習(xí)合適的特征表達(dá)，從而對(duì)于未知樣本得到比較好的預(yù)測(cè)結(jié)果。

2.CNN結(jié)構(gòu)設(shè)置

    對(duì)于像CNN-16這種深度的網(wǎng)絡(luò)，直接隨機(jī)初始參數(shù)的情況下訓(xùn)練會(huì)出現(xiàn)收斂速度極慢，反向傳播更新參數(shù)過程會(huì)出現(xiàn)梯度消失等情況，因此，這里我們直接采用遷移學(xué)習(xí)的方式來初始化設(shè)置網(wǎng)絡(luò)，相應(yīng)結(jié)果表示為CNN-16-TR。表1說明了實(shí)驗(yàn)中CNN的具體結(jié)構(gòu)細(xì)節(jié)。

3.數(shù)據(jù)增強(qiáng)

    CNN網(wǎng)絡(luò)作為一種深度學(xué)習(xí)模型，其對(duì)于訓(xùn)練數(shù)據(jù)量具有極大的要求。某種程度上，數(shù)據(jù)量的大小直接決定了網(wǎng)絡(luò)的規(guī)模，以及網(wǎng)絡(luò)的可訓(xùn)練性。而臨床上，收集大量的且具有代表性的醫(yī)學(xué)圖像本身就相當(dāng)困難，再加上這些數(shù)據(jù)還需要人工進(jìn)行標(biāo)注，因此，構(gòu)建這種高質(zhì)量大規(guī)模的醫(yī)學(xué)圖像數(shù)據(jù)集極具挑戰(zhàn)。而通過保持圖像本身標(biāo)簽不變的情況下，對(duì)圖像數(shù)據(jù)進(jìn)行多種變換來增大數(shù)據(jù)集的規(guī)模是一種可行且有效的數(shù)據(jù)增強(qiáng)方式。通過這種數(shù)據(jù)增強(qiáng)方式，我們可以大大增大數(shù)據(jù)集規(guī)模，從而解決醫(yī)學(xué)圖像數(shù)據(jù)集因?yàn)閿?shù)據(jù)量不足而無(wú)法訓(xùn)練CNN模型的情況。

4.遷移學(xué)習(xí)

    即便CNN網(wǎng)絡(luò)具有極強(qiáng)的特征表達(dá)能力，在很多醫(yī)學(xué)圖像上得到了成功應(yīng)用，但訓(xùn)練的數(shù)據(jù)量依舊是最大的限制。因此，過擬合問題是有監(jiān)督深度模型始終無(wú)法回避的一個(gè)話題。在這種情況下，先從大規(guī)模的數(shù)據(jù)集上預(yù)訓(xùn)練一個(gè)CNN網(wǎng)絡(luò)，而后將該網(wǎng)絡(luò)的參數(shù)復(fù)制到目標(biāo)網(wǎng)絡(luò)中是一個(gè)有效的網(wǎng)絡(luò)初始化方式，可以大大減少網(wǎng)絡(luò)訓(xùn)練速度，同時(shí)避免訓(xùn)練數(shù)據(jù)量過小而出現(xiàn)的過擬合現(xiàn)象。

    目前，最常見遷移學(xué)習(xí)方法是首先在其他數(shù)據(jù)集上訓(xùn)練一個(gè)基礎(chǔ)網(wǎng)絡(luò)，然后將該網(wǎng)絡(luò)的前n層參數(shù)復(fù)制到目標(biāo)網(wǎng)絡(luò)對(duì)應(yīng)層，而后目標(biāo)網(wǎng)絡(luò)余下層則隨機(jī)初始化參數(shù)。根據(jù)訓(xùn)練的方式不同，遷移學(xué)習(xí)可以分為兩種，一種是保持這些遷移過來的學(xué)習(xí)層參數(shù)固定，訓(xùn)練過程中只改變后面隨機(jī)初始化的學(xué)習(xí)層參數(shù)；另一種則是在訓(xùn)練過程中微調(diào)這些遷移的學(xué)習(xí)層參數(shù)。根據(jù)研究結(jié)果，由于ImageNet數(shù)據(jù)集與我們FFSP數(shù)據(jù)集之間圖像差異巨大，因此，遷移層數(shù)較多的情況下，采取前一種固定遷移參數(shù)的訓(xùn)練方式并不適用，因此，在本研究中，我們采取微調(diào)的遷移學(xué)習(xí)方式。

實(shí)驗(yàn)與結(jié)果

1.數(shù)據(jù)集與系統(tǒng)設(shè)置

2.定性分析評(píng)價(jià)

    圖4中，(c)為CNN-8-TR提取的訓(xùn)練集特征，可以看出四類切面特征基本很清楚的被區(qū)分，而(d)為CNN-8-RI提取的訓(xùn)練集特征，四類切面特征還存在少量交叉。相對(duì)應(yīng)的(g)、(h)分別為CNN-8-TR與CNN-8-RI測(cè)試集特征，結(jié)果與訓(xùn)練集類似。

3.定量分析評(píng)價(jià)

    目前，最主流的分類識(shí)別技術(shù)是利用人工特征結(jié)合分類器進(jìn)行分類識(shí)別，這些方法基本思想是先從圖像中提取特征，同時(shí)對(duì)特征進(jìn)行編碼，再訓(xùn)練分類器進(jìn)行分類識(shí)別，如基于DSIFT特征的編碼方式識(shí)別，包括直方圖編碼BoVW模型、局部特征聚合描述符VLAD編碼以及FV向量編碼。我們先前的研究工作就是利用這些方法進(jìn)行FFSP的自動(dòng)識(shí)別。

    圖5是各個(gè)CNN網(wǎng)絡(luò)的分類性能ROC曲線和混淆矩陣。從圖5以及表2中可以看出，CNN-16-TR識(shí)別正確率高于CNN-8-TR，因此，加深CNN模型的深度能夠很好地提升最后的分類效果。此外，CNN-8-TR分類正確率高于CNN-8-RI，表明在其他數(shù)據(jù)集上預(yù)訓(xùn)練基礎(chǔ)網(wǎng)絡(luò)，同時(shí)微調(diào)遷移參數(shù)也是一種改善CNN識(shí)別性能的有效方法。從實(shí)驗(yàn)結(jié)果可以看出，所有CNN模型識(shí)別結(jié)果都表現(xiàn)良好，且都優(yōu)于我們之前的手工特征分類結(jié)果。雖然CNN具有極強(qiáng)的分類性能，但在實(shí)驗(yàn)結(jié)果中我們也觀察到了一些值得注意的細(xì)節(jié)：首先，測(cè)試階段，每張圖像綜合其10張子圖像的預(yù)測(cè)結(jié)果，這種10-croptesting比直接測(cè)試單張圖像的結(jié)果提升了3%左右。另外，采用遷移學(xué)習(xí)策略時(shí)，網(wǎng)絡(luò)收斂的速度大大加快，比隨機(jī)初始化參數(shù)的網(wǎng)絡(luò)收斂快一半以上的時(shí)間。

討論

    深度網(wǎng)絡(luò)作為一種表達(dá)學(xué)習(xí)方法，通過組合迭代不同層次的特征，最后形成高層抽象特征，這種特征相對(duì)于傳統(tǒng)的人工特征而言，在概念表達(dá)方面具有更魯棒的性能或者說更具不變性。而且，深度網(wǎng)絡(luò)可以根據(jù)給定的數(shù)據(jù)，學(xué)習(xí)到對(duì)應(yīng)的特征，因此，其泛化能力更強(qiáng)，可以推廣應(yīng)用到不同的圖像領(lǐng)域。但是深度學(xué)習(xí)模型普遍要求足夠多的訓(xùn)練數(shù)據(jù)量，否則網(wǎng)絡(luò)訓(xùn)練會(huì)出現(xiàn)過擬合問題。在不同的圖像領(lǐng)域，顯然數(shù)據(jù)采集的難度不盡相同，且自然圖像數(shù)據(jù)集的規(guī)模往往遠(yuǎn)大于醫(yī)學(xué)類圖像數(shù)據(jù)。因此，醫(yī)學(xué)圖像領(lǐng)域內(nèi)，深度網(wǎng)絡(luò)應(yīng)用的最大困難在于數(shù)據(jù)集規(guī)模的限制。

    利用自然圖像數(shù)據(jù)集訓(xùn)練基礎(chǔ)網(wǎng)絡(luò)，再進(jìn)行遷移學(xué)習(xí)是解決當(dāng)前不同圖像領(lǐng)域應(yīng)用深度網(wǎng)絡(luò)數(shù)據(jù)量不足的有效方式。因此，本研究結(jié)合了遷移學(xué)習(xí)與數(shù)據(jù)增強(qiáng)的方式來綜合提升深度網(wǎng)絡(luò)分類性能。最后的結(jié)果分析也表明，其FFSP分類性能要遠(yuǎn)遠(yuǎn)好于我們之前的研究，即采用人工特征結(jié)合分類器分類的方法。

    然而本研究依然存在一些不足之處，首先，測(cè)試集數(shù)量不夠多，只有2418張測(cè)試圖像，雖然在一定程度上可以反應(yīng)CNN模型的分類性能，但更大量的數(shù)據(jù)應(yīng)該更具說明性。這也是以后我們改進(jìn)的方向之一。另外，在測(cè)試結(jié)果方面，依然存在提升的空間，不少接近FFSP的非標(biāo)準(zhǔn)切面被識(shí)別為標(biāo)準(zhǔn)切面。這跟圖像本身的噪聲以及差異度小有極大的關(guān)系。未來的研究中，可以通過給訓(xùn)練集圖像隨機(jī)添加噪聲，來增加網(wǎng)絡(luò)識(shí)別的穩(wěn)定性。另外，臨床醫(yī)生在尋找FFSP過程中，會(huì)考慮前后幀圖像的上下文信息，因此，在網(wǎng)絡(luò)訓(xùn)練過程中加入當(dāng)前圖像上下文信息可以消除FFSP與非FFSP類內(nèi)差異小所帶來的干擾。

結(jié)論

    本研究中，我們提出了用深度卷積網(wǎng)絡(luò)的方式來識(shí)別胎兒顏面部超聲圖像，同時(shí)，分析研究了不同深度結(jié)構(gòu)的CNN模型對(duì)于FFSP分類的結(jié)果。為了防止由于訓(xùn)練數(shù)據(jù)集數(shù)量不足而引發(fā)網(wǎng)絡(luò)訓(xùn)練出現(xiàn)過擬合問題，我們采用了數(shù)據(jù)增強(qiáng)結(jié)合遷移學(xué)習(xí)的方式來改善網(wǎng)絡(luò)分類結(jié)果。最后的結(jié)果表明，深度網(wǎng)絡(luò)可以有效的識(shí)別FFSP標(biāo)準(zhǔn)切面，同時(shí)更深層的深度網(wǎng)絡(luò)能夠帶來更好的分類性能。因此，深度網(wǎng)絡(luò)與遷移學(xué)習(xí)的結(jié)合在臨床應(yīng)用方面具有極大的前景，值得進(jìn)一步的探索和研究。