利用深度學(xué)習(xí)自動(dòng)識(shí)別胎兒顏面部超聲標(biāo)準(zhǔn)切面

文:2017年第四期

    近年來,由于高性能計(jì)算機(jī)的發(fā)展以及數(shù)據(jù)集規(guī)模的擴(kuò)大,深度學(xué)習(xí)模型在醫(yī)學(xué)圖像分類檢測(cè)領(lǐng)域內(nèi)取得了廣泛應(yīng)用。利用深度學(xué)習(xí)從大規(guī)模醫(yī)學(xué)圖像數(shù)據(jù)庫(kù)中訓(xùn)練自動(dòng)診斷模型正引起廣泛的研究興趣。

方法

1.卷積神經(jīng)網(wǎng)絡(luò)

    受到生物神經(jīng)系統(tǒng)的啟發(fā),卷積神經(jīng)網(wǎng)絡(luò)(CNN)在物體識(shí)別和檢測(cè)領(lǐng)域已經(jīng)獲得了巨大成功。不同于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò),CNN結(jié)合了局部連接和權(quán)值共享策略,因此,使得卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)大大減少,從而構(gòu)建更深層數(shù)的卷積網(wǎng)絡(luò)成為可能。CNN的主要組成成分是卷積層,卷積層包含了許多神經(jīng)元,每個(gè)神經(jīng)元帶有一組可學(xué)習(xí)的權(quán)值和一個(gè)偏置項(xiàng)。這些權(quán)值會(huì)在網(wǎng)絡(luò)訓(xùn)練的過程中不斷改變。每個(gè)神經(jīng)元對(duì)于前一層的局部區(qū)域進(jìn)行       感知,即將該局部區(qū)域作為其輸入。假定χlj是第l層卷積層的第j個(gè)神經(jīng)元的輸出,且是第l-1層的神經(jīng)元輸出,M表示當(dāng)前神經(jīng)元的局部輸入大小,那么χlj可以表示為:

    其中表示連接至前一層第m個(gè)神經(jīng)元輸出的權(quán)值,δ(.)表示神經(jīng)元激活函數(shù)(一般常用ReLU非線性單元)。池化層(poolinglayer)和全連接層是CNN另一主要成分。

    在本文中,我們將分類層softmax層作為全連接層的附屬層。一般而言,在卷積層之間會(huì)加入池化層,池化層本身不帶參數(shù),其作用是減少卷積層輸出尺寸大小,從而大大減少整個(gè)網(wǎng)絡(luò)的參數(shù)數(shù)量,同時(shí)增強(qiáng)卷積層輸出特征的空間穩(wěn)定性。因此,池化層在一定程度上可以避免網(wǎng)絡(luò)出現(xiàn)過擬合的情況。全連接層(fully-connectedlayer,F(xiàn)Clayer)類似于卷積層,同樣是由許多神經(jīng)元組成,但這里的神經(jīng)元與前一層輸入之間是全連接的方式,即每個(gè)神經(jīng)元與前一層所有輸入進(jìn)行作用。Softmax層是CNN網(wǎng)絡(luò)的最后一層結(jié)構(gòu),其功能是對(duì)網(wǎng)絡(luò)提取的特征進(jìn)行分類。為了評(píng)價(jià)網(wǎng)絡(luò)預(yù)測(cè)輸出與輸入圖像真實(shí)標(biāo)簽之間的一致性,這里用到了損失函數(shù)。       具體而言,假定為輸入圖像,是其對(duì)應(yīng)的真實(shí)標(biāo)簽,則損失函數(shù)可以表示為:

    其中,表示網(wǎng)絡(luò)對(duì)輸入圖像Ii的預(yù)測(cè)類別概率輸出,此外,是指示函數(shù),,當(dāng)Ck=Ti時(shí),其輸出值為1,反之則為0;fj是網(wǎng)絡(luò)對(duì)于圖像Ii在softmax層前一層第j個(gè)神經(jīng)元的輸出。CNN訓(xùn)練的目的就是獲取合適的權(quán)值參數(shù),使得整個(gè)網(wǎng)絡(luò)能夠針對(duì)目標(biāo)數(shù)據(jù)自動(dòng)學(xué)習(xí)合適的特征表達(dá),從而對(duì)于未知樣本得到比較好的預(yù)測(cè)結(jié)果。

2.CNN結(jié)構(gòu)設(shè)置

    對(duì)于像CNN-16這種深度的網(wǎng)絡(luò),直接隨機(jī)初始參數(shù)的情況下訓(xùn)練會(huì)出現(xiàn)收斂速度極慢,反向傳播更新參數(shù)過程會(huì)出現(xiàn)梯度消失等情況,因此,這里我們直接采用遷移學(xué)習(xí)的方式來初始化設(shè)置網(wǎng)絡(luò),相應(yīng)結(jié)果表示為CNN-16-TR。表1說明了實(shí)驗(yàn)中CNN的具體結(jié)構(gòu)細(xì)節(jié)。

3.數(shù)據(jù)增強(qiáng)

    CNN網(wǎng)絡(luò)作為一種深度學(xué)習(xí)模型,其對(duì)于訓(xùn)練數(shù)據(jù)量具有極大的要求。某種程度上,數(shù)據(jù)量的大小直接決定了網(wǎng)絡(luò)的規(guī)模,以及網(wǎng)絡(luò)的可訓(xùn)練性。而臨床上,收集大量的且具有代表性的醫(yī)學(xué)圖像本身就相當(dāng)困難,再加上這些數(shù)據(jù)還需要人工進(jìn)行標(biāo)注,因此,構(gòu)建這種高質(zhì)量大規(guī)模的醫(yī)學(xué)圖像數(shù)據(jù)集極具挑戰(zhàn)。而通過保持圖像本身標(biāo)簽不變的情況下,對(duì)圖像數(shù)據(jù)進(jìn)行多種變換來增大數(shù)據(jù)集的規(guī)模是一種可行且有效的數(shù)據(jù)增強(qiáng)方式。通過這種數(shù)據(jù)增強(qiáng)方式,我們可以大大增大數(shù)據(jù)集規(guī)模,從而解決醫(yī)學(xué)圖像數(shù)據(jù)集因?yàn)閿?shù)據(jù)量不足而無(wú)法訓(xùn)練CNN模型的情況。

4.遷移學(xué)習(xí)

    即便CNN網(wǎng)絡(luò)具有極強(qiáng)的特征表達(dá)能力,在很多醫(yī)學(xué)圖像上得到了成功應(yīng)用,但訓(xùn)練的數(shù)據(jù)量依舊是最大的限制。因此,過擬合問題是有監(jiān)督深度模型始終無(wú)法回避的一個(gè)話題。在這種情況下,先從大規(guī)模的數(shù)據(jù)集上預(yù)訓(xùn)練一個(gè)CNN網(wǎng)絡(luò),而后將該網(wǎng)絡(luò)的參數(shù)復(fù)制到目標(biāo)網(wǎng)絡(luò)中是一個(gè)有效的網(wǎng)絡(luò)初始化方式,可以大大減少網(wǎng)絡(luò)訓(xùn)練速度,同時(shí)避免訓(xùn)練數(shù)據(jù)量過小而出現(xiàn)的過擬合現(xiàn)象。

    目前,最常見遷移學(xué)習(xí)方法是首先在其他數(shù)據(jù)集上訓(xùn)練一個(gè)基礎(chǔ)網(wǎng)絡(luò),然后將該網(wǎng)絡(luò)的前n層參數(shù)復(fù)制到目標(biāo)網(wǎng)絡(luò)對(duì)應(yīng)層,而后目標(biāo)網(wǎng)絡(luò)余下層則隨機(jī)初始化參數(shù)。根據(jù)訓(xùn)練的方式不同,遷移學(xué)習(xí)可以分為兩種,一種是保持這些遷移過來的學(xué)習(xí)層參數(shù)固定,訓(xùn)練過程中只改變后面隨機(jī)初始化的學(xué)習(xí)層參數(shù);另一種則是在訓(xùn)練過程中微調(diào)這些遷移的學(xué)習(xí)層參數(shù)。根據(jù)研究結(jié)果,由于ImageNet數(shù)據(jù)集與我們FFSP數(shù)據(jù)集之間圖像差異巨大,因此,遷移層數(shù)較多的情況下,采取前一種固定遷移參數(shù)的訓(xùn)練方式并不適用,因此,在本研究中,我們采取微調(diào)的遷移學(xué)習(xí)方式。

實(shí)驗(yàn)與結(jié)果

1.數(shù)據(jù)集與系統(tǒng)設(shè)置

2.定性分析評(píng)價(jià)

    圖4中,(c)為CNN-8-TR提取的訓(xùn)練集特征,可以看出四類切面特征基本很清楚的被區(qū)分,而(d)為CNN-8-RI提取的訓(xùn)練集特征,四類切面特征還存在少量交叉。相對(duì)應(yīng)的(g)、(h)分別為CNN-8-TR與CNN-8-RI測(cè)試集特征,結(jié)果與訓(xùn)練集類似。

3.定量分析評(píng)價(jià)

    目前,最主流的分類識(shí)別技術(shù)是利用人工特征結(jié)合分類器進(jìn)行分類識(shí)別,這些方法基本思想是先從圖像中提取特征,同時(shí)對(duì)特征進(jìn)行編碼,再訓(xùn)練分類器進(jìn)行分類識(shí)別,如基于DSIFT特征的編碼方式識(shí)別,包括直方圖編碼BoVW模型、局部特征聚合描述符VLAD編碼以及FV向量編碼。我們先前的研究工作就是利用這些方法進(jìn)行FFSP的自動(dòng)識(shí)別。

    圖5是各個(gè)CNN網(wǎng)絡(luò)的分類性能ROC曲線和混淆矩陣。從圖5以及表2中可以看出,CNN-16-TR識(shí)別正確率高于CNN-8-TR,因此,加深CNN模型的深度能夠很好地提升最后的分類效果。此外,CNN-8-TR分類正確率高于CNN-8-RI,表明在其他數(shù)據(jù)集上預(yù)訓(xùn)練基礎(chǔ)網(wǎng)絡(luò),同時(shí)微調(diào)遷移參數(shù)也是一種改善CNN識(shí)別性能的有效方法。從實(shí)驗(yàn)結(jié)果可以看出,所有CNN模型識(shí)別結(jié)果都表現(xiàn)良好,且都優(yōu)于我們之前的手工特征分類結(jié)果。雖然CNN具有極強(qiáng)的分類性能,但在實(shí)驗(yàn)結(jié)果中我們也觀察到了一些值得注意的細(xì)節(jié):首先,測(cè)試階段,每張圖像綜合其10張子圖像的預(yù)測(cè)結(jié)果,這種10-croptesting比直接測(cè)試單張圖像的結(jié)果提升了3%左右。另外,采用遷移學(xué)習(xí)策略時(shí),網(wǎng)絡(luò)收斂的速度大大加快,比隨機(jī)初始化參數(shù)的網(wǎng)絡(luò)收斂快一半以上的時(shí)間。

討論

    深度網(wǎng)絡(luò)作為一種表達(dá)學(xué)習(xí)方法,通過組合迭代不同層次的特征,最后形成高層抽象特征,這種特征相對(duì)于傳統(tǒng)的人工特征而言,在概念表達(dá)方面具有更魯棒的性能或者說更具不變性。而且,深度網(wǎng)絡(luò)可以根據(jù)給定的數(shù)據(jù),學(xué)習(xí)到對(duì)應(yīng)的特征,因此,其泛化能力更強(qiáng),可以推廣應(yīng)用到不同的圖像領(lǐng)域。但是深度學(xué)習(xí)模型普遍要求足夠多的訓(xùn)練數(shù)據(jù)量,否則網(wǎng)絡(luò)訓(xùn)練會(huì)出現(xiàn)過擬合問題。在不同的圖像領(lǐng)域,顯然數(shù)據(jù)采集的難度不盡相同,且自然圖像數(shù)據(jù)集的規(guī)模往往遠(yuǎn)大于醫(yī)學(xué)類圖像數(shù)據(jù)。因此,醫(yī)學(xué)圖像領(lǐng)域內(nèi),深度網(wǎng)絡(luò)應(yīng)用的最大困難在于數(shù)據(jù)集規(guī)模的限制。

    利用自然圖像數(shù)據(jù)集訓(xùn)練基礎(chǔ)網(wǎng)絡(luò),再進(jìn)行遷移學(xué)習(xí)是解決當(dāng)前不同圖像領(lǐng)域應(yīng)用深度網(wǎng)絡(luò)數(shù)據(jù)量不足的有效方式。因此,本研究結(jié)合了遷移學(xué)習(xí)與數(shù)據(jù)增強(qiáng)的方式來綜合提升深度網(wǎng)絡(luò)分類性能。最后的結(jié)果分析也表明,其FFSP分類性能要遠(yuǎn)遠(yuǎn)好于我們之前的研究,即采用人工特征結(jié)合分類器分類的方法。

    然而本研究依然存在一些不足之處,首先,測(cè)試集數(shù)量不夠多,只有2418張測(cè)試圖像,雖然在一定程度上可以反應(yīng)CNN模型的分類性能,但更大量的數(shù)據(jù)應(yīng)該更具說明性。這也是以后我們改進(jìn)的方向之一。另外,在測(cè)試結(jié)果方面,依然存在提升的空間,不少接近FFSP的非標(biāo)準(zhǔn)切面被識(shí)別為標(biāo)準(zhǔn)切面。這跟圖像本身的噪聲以及差異度小有極大的關(guān)系。未來的研究中,可以通過給訓(xùn)練集圖像隨機(jī)添加噪聲,來增加網(wǎng)絡(luò)識(shí)別的穩(wěn)定性。另外,臨床醫(yī)生在尋找FFSP過程中,會(huì)考慮前后幀圖像的上下文信息,因此,在網(wǎng)絡(luò)訓(xùn)練過程中加入當(dāng)前圖像上下文信息可以消除FFSP與非FFSP類內(nèi)差異小所帶來的干擾。

結(jié)論

    本研究中,我們提出了用深度卷積網(wǎng)絡(luò)的方式來識(shí)別胎兒顏面部超聲圖像,同時(shí),分析研究了不同深度結(jié)構(gòu)的CNN模型對(duì)于FFSP分類的結(jié)果。為了防止由于訓(xùn)練數(shù)據(jù)集數(shù)量不足而引發(fā)網(wǎng)絡(luò)訓(xùn)練出現(xiàn)過擬合問題,我們采用了數(shù)據(jù)增強(qiáng)結(jié)合遷移學(xué)習(xí)的方式來改善網(wǎng)絡(luò)分類結(jié)果。最后的結(jié)果表明,深度網(wǎng)絡(luò)可以有效的識(shí)別FFSP標(biāo)準(zhǔn)切面,同時(shí)更深層的深度網(wǎng)絡(luò)能夠帶來更好的分類性能。因此,深度網(wǎng)絡(luò)與遷移學(xué)習(xí)的結(jié)合在臨床應(yīng)用方面具有極大的前景,值得進(jìn)一步的探索和研究。

 

 

中傳動(dòng)網(wǎng)版權(quán)與免責(zé)聲明:

凡本網(wǎng)注明[來源:中國(guó)傳動(dòng)網(wǎng)]的所有文字、圖片、音視和視頻文件,版權(quán)均為中國(guó)傳動(dòng)網(wǎng)(u63ivq3.com)獨(dú)家所有。如需轉(zhuǎn)載請(qǐng)與0755-82949061聯(lián)系。任何媒體、網(wǎng)站或個(gè)人轉(zhuǎn)載使用時(shí)須注明來源“中國(guó)傳動(dòng)網(wǎng)”,違反者本網(wǎng)將追究其法律責(zé)任。

本網(wǎng)轉(zhuǎn)載并注明其他來源的稿件,均來自互聯(lián)網(wǎng)或業(yè)內(nèi)投稿人士,版權(quán)屬于原版權(quán)人。轉(zhuǎn)載請(qǐng)保留稿件來源及作者,禁止擅自篡改,違者自負(fù)版權(quán)法律責(zé)任。

如涉及作品內(nèi)容、版權(quán)等問題,請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。

伺服與運(yùn)動(dòng)控制

關(guān)注伺服與運(yùn)動(dòng)控制公眾號(hào)獲取更多資訊

直驅(qū)與傳動(dòng)

關(guān)注直驅(qū)與傳動(dòng)公眾號(hào)獲取更多資訊

中國(guó)傳動(dòng)網(wǎng)

關(guān)注中國(guó)傳動(dòng)網(wǎng)公眾號(hào)獲取更多資訊

2017年第四期

2017年第四期

圖片閱讀

掃碼關(guān)注小程序

時(shí)刻關(guān)注行業(yè)動(dòng)態(tài)

雜志訂閱

填寫郵件地址,訂閱更多資訊:

撥打電話咨詢:13751143319 余女士
郵箱:chuandong@chuandong.cn

熱搜詞
  • 運(yùn)動(dòng)控制
  • 伺服系統(tǒng)
  • 機(jī)器視覺
  • 機(jī)械傳動(dòng)
  • 編碼器
  • 直驅(qū)系統(tǒng)
  • 工業(yè)電源
  • 電力電子
  • 工業(yè)互聯(lián)
  • 高壓變頻器
  • 中低壓變頻器
  • 傳感器
  • 人機(jī)界面
  • PLC
  • 電氣聯(lián)接
  • 工業(yè)機(jī)器人
  • 低壓電器
  • 機(jī)柜
回頂部
點(diǎn)贊 0
取消 0
往期雜志
  • 2024年第1期

    2024年第1期

    伺服與運(yùn)動(dòng)控制

    2024年第1期

  • 2023年第4期

    2023年第4期

    伺服與運(yùn)動(dòng)控制

    2023年第4期

  • 2023年第3期

    2023年第3期

    伺服與運(yùn)動(dòng)控制

    2023年第3期

  • 2023年第2期

    2023年第2期

    伺服與運(yùn)動(dòng)控制

    2023年第2期

  • 2023年第1期

    2023年第1期

    伺服與運(yùn)動(dòng)控制

    2023年第1期