日益精細化的癌癥醫學圖像提供了大量的有用信息，對輔助醫生作出準確診斷發揮著至關重要的作用。為了準確、高效地利用這些信息，基于癌癥醫學圖像的計算機輔助診斷（CAD）研究成為業界熱點。近年來，深度學習技術的應用使這方面的研究取得了長足進步。本文擬就深度學習應用于癌癥醫學圖像的計算機輔助診斷的研究進展予以綜述。我們發現深度學習在腫瘤分割和分類方面展示了比傳統淺層學習方法更好的效果，不僅有廣闊的研究空間，也有較好的臨床應用前景。
引用本文： 陳詩慧, 劉維湘, 秦璟, 陳亮亮, 賓果, 周煜翔, 汪天富, 黃炳升. 基于深度學習和醫學圖像的癌癥計算機輔助診斷研究進展. 生物醫學工程學雜志, 2017, 34(2): 314-319. doi: 10.7507/1001-5515.201609047 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
引言
據美國國家統計局 2015 年的癌癥統計數據顯示，在美國癌癥是導致死亡的第二大原因，且在未來幾年極有可能超過心血管類疾病成為死亡的首要因素[1]。在我國，癌癥已成為主要的公共健康問題和首要死亡原因。根據 2015 年的癌癥統計數據，中國有 429.2 萬例新發病例，281.4 萬例死亡病例[2]。如果癌癥患者在出現早期病變時得到及時的診斷和治療，將會大大提高生存率。因此，癌癥的早期篩查和準確診斷極其重要。
臨床上，病理學檢查往往被視為癌癥診斷的金標準[3]，但病理活檢作為一項有創檢查可能會導致疼痛、出血、感染甚至休克、死亡等并發癥，而且器官整體的病變情況的評估受限于活檢樣本的大小。醫學影像技術在癌癥診斷中發揮著日益重要的作用，主要包括 X 射線檢查、電子計算機斷層成像（computed tomography，CT）、超聲（ultrasound）、乳腺鉬靶 X 線攝影檢查、磁共振成像（magnetic resonance imaging，MRI）以及正電子發射斷層成像（positron emission tomography，PET）等。當前影像診斷主要依賴人工閱片完成，然而，日益增加的圖像數據也為人工閱片帶來極大挑戰。為了給醫生提供有效的輔助診斷信息，智能圖像處理技術正變得越來越重要。以機器學習和圖像處理技術為基礎的計算機輔助診斷（computer-aided diagnosis，CAD）逐漸成為醫學領域的研究熱點[4]。基于機器學習的 CAD 主要包括四方面的內容：① 圖像預處理；② 感興趣區（region of interest，ROI）的分割；③ 特征提取、選擇與分類；④ 腫瘤區域的識別（分類或者分割）[5]。其中，高效特征的提取尤為關鍵[6]。目前，基于傳統的淺層機器學習結構的 CAD 系統，高度依賴人工選擇的特征，以及分類器對特征的整合。而且，由于傳統的淺層學習結構無法滿足實際應用中對復雜函數建模的要求[7]，所以難以區分高維特征之間的關系，通常需要降維處理。因此，我們需要簡化及優化 CAD 技術中的特征選擇的過程，以提高 CAD 系統進行輔助診斷的準確度。
近年來方興未艾的深度學習技術[8] 作為一類多層神經網絡學習算法，可通過深層非線性網絡結構學習特征，并且通過組合低層特征形成更加抽象的深層表示（屬性類別或特征），實現復雜函數逼近，表征輸入數據分布式表示，從而可以學習到數據集的本質特征[7]。因此，深度學習算法應用于 CAD 系統具有以下優勢：第一，作為一種數據驅動的自動特征學習算法，可以直接從訓練數據提取特征，從而大大減少特征提取的工作量以及人工干預的影響；第二，通過神經網絡內在的深層結構可以表征特征之間的交互及層次結構，從而揭示高維特征之間的聯系；第三，特征提取、特征選擇及特征分類三個核心步驟可以在同一個深層結構的最優化中實現[6]。由此可見，深度學習有望解決基于傳統淺層機器學習的 CAD 問題，從而大大提高輔助診斷能力。
1 深度學習在癌癥的計算機輔助診斷中的應用進展
1.1 基于深度學習的 CAD 系統的基本設計
深度學習的算法大體上可分為四類：基于受限玻耳茲曼機（restricted Boltzmann machine，RBM）的模型，卷積神經網絡（convolutional neural network，CNN），基于自編碼（autoencoder）的模型，以及基于稀疏編碼的模型（見表 1）[9]。目前，應用于癌癥醫學圖像分析的深度學習網絡主要包括基于 RBM 的 DBN，CNN 和基于自編碼的 SAE、DAE 以及它們的改進算法。
圖1
基于深度學習的 CAD 系統的訓練流程圖
Figure1.
Training flowchart of CAD system based on deep learning
RBM 是一種生成式的隨機性神經網絡[10]，是玻耳茲曼機的衍生模型。Hinton 等[11] 提出的 DBN 是由一組 RBM 堆疊而成的深度產生式模型，其核心部分在于非監督貪心逐層訓練算法。這種算法能夠在某種程度上避免局部最優的問題，而且無監督學習的訓練方式使其具備對未標記的數據進行訓練的能力，從而有效解決以誤差反向傳播（error back propagation，BP）為代表的淺層學習結構的局限性（如局部最優、過擬合和無法訓練未標記數據等[12]）。CNN 是一種基于多層感知器的算法[13]，融合了三種結構性思想（局部感受野、權值共享、空間的子采樣）以實現一定程度的位移和形變恒穩性[12]。CNN 主要包括三層結構：卷積層、池化層和全連接層。CNN 利用空間的相對關系減少參數數目，從而比一般前向 BP 訓練速度有顯著提高[7]。SAE 和 DAE 是用于學習高效編碼的特殊的人工神經網絡，它們通過訓練重構輸入，因此輸出向量與輸入向量具有相同的維度。SAE 和 DAE 的核心思想在于通過減少重建錯誤從而達到最優化，對應的編碼就是神經網絡學習到的特征[9]。
圖 1 是基于深度學習的 CAD 系統的訓練流程圖。網絡的深度和網絡參數的最優化是影響特征提取效果的兩個最重要的因素，而較大的訓練集有利于網絡參數的初始化和參數的微調。深度學習網絡輸出的特征可以直接作為分類器的輸入，也可以根據實際需求進行特定的處理后再輸入分類器。測試集可作為根據訓練集得出的分類器的輸入，得到樣本的測試結果，最后根據金標準和一定的評價指標對分類器進行性能評估。常見的評價指標包括：準確率（accuracy，ACC）、靈敏度（sensitivity，SEN）、特異度（specificity，SPEC）、F1 分數（F1）、精確度（precision，PREC）、召回率（recall，RC）、Dice 系數（Dice）、Dice 指數（dice index，DI）、JACCARD 指數（JACCARD）以及受試者工作特征曲線 （receiver operating characteristic curve，ROC）下面積（area under curve，AUC）等。
1.2 病灶分割的研究進展
采用深度學習模型對醫學圖像進行腫瘤病灶分割已見諸報道（見表 2）。羅蔓等[14] 基于多模態 MRI 圖像進行腦腫瘤的分割。Dhungel 等[15-16] 利用 DBN 和 CNN 作為勢函數構建乳腺病灶分割模型。Cha 等[17] 基于 CT 尿路造影并利用結合水平集（level sets，LS）的 CNN 模型進行膀胱癌分割。為了保留有用信息的同時減少繁冗的計算量，Su 等[18] 通過重組最大池化層將 CNN 改進為運行速度更快的快速掃描深度卷積神經網絡（fast scanning deep convolutional neural network，fCNN），進一步提高腫瘤病灶分割的準確率，并減少了訓練時間。
表1
深度學習的算法分類
Table1.
A categorization of the deep learning methods and their representative works
總而言之，在癌癥病灶分割方面，由于深度學習模型可以從圖像中直接學習到隱藏的高層次特征，所以對比其他基于人工提取低層次特征（如顏色、形狀、紋理和邊緣等）的淺層學習的算法，可以取得更好的效果（見表 2）。通常深度學習模型需要的訓練時間大于各種淺層結構算法，但這取決于模型設計以及訓練集的選取。對于不同類型的數據集，不同的深度學習模型的表現有所差異。此外，由深度學習模型和其他淺層學習算法組合而成的混合模型，比僅使用基本深度學習模型的方法，在準確率方面可能有所提高；而改進的深度學習模型則有可能在提高分割準確率的同時也減少了運行時間。
1.3 病灶/結節分類的研究進展
基于不同類型的圖像和不同病灶位置，已報道的文獻分別提及了不同的深度學習模型的應用策略。基于 CT 圖像，DBN、CNN、多尺度卷積神經網絡（multi-scale convolutional neural networks，MCNN）和堆棧式去噪自編碼器（stacked denoising autoencoder，SDAE）等模型被用于肺結節的分類。基于乳腺癌的病理圖像、乳腺鉬靶和數字乳腺斷層融合（digital breast tomosynthesis，DBT）等不同類型的圖像，堆棧式稀疏自編碼器（stacked sparse autoecoder，SSAE）和不同結構的 CNN 模型被用于乳腺癌的分類。另外，DBN、深度多項式網絡（deep polynomial network，DPN）、CNN 和稀疏編碼等模型可分別與非負矩陣分解、多核學習（multiple kernel learning，MKL）、Liebenberg-Marquardt 學習函數、SVM 等方法結合，從而優化分類效果。
Cho 等[20] 基于 CT 圖像，研究了訓練數據樣本的大小與可取得符合要求的準確率的基于 CNN 模型的系統之間的關系。結果表明，深度學習的架構需要足夠龐大的訓練數據集才可以更好地體現其特征提取方面的優勢，從而達到符合實際應用的準確率。因此，為了解決醫學圖像數據集樣本偏小的問題，人們嘗試將通過自然圖像預訓練的深度學習模型應用到醫學圖像的特征提取之中，并應用于醫療輔助診斷系統。Xu 等[5] 首次采用 ImageNet 預訓練的 CNN 模型提取腦膠質瘤病理圖像的特征，對膠質母細胞瘤（glioblastoma multiforme，GBM）和低級別膠質瘤（low grade glioma，LGG）進行分類。Carneiro 等[21] 基于乳腺鉬靶的多視圖（包括雙側乳腺軸和雙側乳腺側斜位）以及分割后的微鈣化和腫塊區域，采用 ImageNet 預訓練的 CNN 模型對腫塊進行分類，從而評估患者乳腺癌的發展風險。
總地來說，在腫瘤分類方面，深度學習模型能夠在很大程度上提高 CAD 系統的準確率、靈敏度和特異度（見表 3）。一般而言，較大規模的圖像數據集才可以大幅度提高深度學習模型的分類準確率[20]。因此，為了克服醫學圖像數據集樣本偏小的問題，人們提出了遷移學習的方法，并在一定程度上提高了腫瘤分類的準確率。但是 DPN 和 S-DPN-3 在小樣本的超聲圖像中的分類效果優于 DBN 和 SAE[30-31]，這在一定程度上說明了深度學習模型的選擇對 CAD 系統分類能力的提高相當重要。也就是說，基于小樣本的圖像數據集，通過深度學習架構的合理設計，我們依然有可能達到較高的分類準確率。因此，對于不同類型的腫瘤和圖像類型，在選擇深度學習模型和設計算法框架的時候需要有所考量，從而取得較優的表現效果。
表2
基于深度學習的不同分割方法的結果對比
Table2.
Comparison of the results of different segmentation methods based on deep learning
表3
基于深度學習的分類方法的結果對比
Table3.
Comparison of the results of classification methods based on deep learning
2 總結與展望
基于醫學圖像的 CAD 系統可以輔助臨床醫生快速、準確、高效地做出診斷決策。然而，由于傳統淺層學習算法的限制，在實際應用中依然存在較大的問題，如人工提取特征帶來的主觀影響，以及無法利用高維特征之間的關系所提供的有效信息等。深度學習作為機器學習領域的新興技術，可在很大程度上改進淺層學習的問題，大幅提高 CAD 系統從圖像學習特征的能力，因此深度學習應用于基于醫學圖像的 CAD 或將成為醫學圖像處理技術發展的新方向。從文獻報道看，目前這一領域雖然處于發展初期，但是對比傳統的淺層學習方法，已在腫瘤分割和分類方面均體現出明顯的優勢。而且，基于計算機自動提取圖像特征的深度學習技術可以盡可能減少人工干預。不過，深度學習常常在較大的數據集上才能取得更明顯的效果；而且相比于傳統的機器學習的方法，深度學習的訓練時間偏長。此外，基于不同的數據集所得出的實驗結果之間不可比較，從而難以確定針對某一種癌癥診斷的最優化深度學習模型。因此，對于這一領域，未來可能有以下發展方向：第一，改進模型, 以提高從小樣本提取特征的能力并減少訓練時間；第二，基于公共數據庫進行深度學習模型的預訓練，并采用小樣本的特殊數據進行微調，從而提高實驗的可重復性和模型的泛化能力；第三，鑒于不同的影像技術可以提供不同的診斷信息，基于多模態數據集的深度學習模型有可能改善表現效果；第四，由于大量的臨床癌癥圖像數據缺乏有效的數據標注，發展以非監督學習為主的深度學習模型完成這些數據的自動標注，具有重要的意義[8]；第五，嘗試分析并提高深度學習模型所提取的特征與醫學影像臨床特征的相關性。目前，針對醫學圖像數據集樣本偏小的問題，遷移學習可能為解決該問題提供思路。另外，隨著硬件設備的發展，計算機的運算能力將會進一步提高，在某種程度上可以幫助解決深度學習技術的效率問題。綜上所述，在醫學影像技術和以深度學習為代表的圖像處理技術相結合的基礎上，可預見 CAD 技術有望進一步提升醫生的診斷效率和準確率，從而在臨床上進一步提高癌癥的診斷水平。
引言
據美國國家統計局 2015 年的癌癥統計數據顯示，在美國癌癥是導致死亡的第二大原因，且在未來幾年極有可能超過心血管類疾病成為死亡的首要因素[1]。在我國，癌癥已成為主要的公共健康問題和首要死亡原因。根據 2015 年的癌癥統計數據，中國有 429.2 萬例新發病例，281.4 萬例死亡病例[2]。如果癌癥患者在出現早期病變時得到及時的診斷和治療，將會大大提高生存率。因此，癌癥的早期篩查和準確診斷極其重要。
臨床上，病理學檢查往往被視為癌癥診斷的金標準[3]，但病理活檢作為一項有創檢查可能會導致疼痛、出血、感染甚至休克、死亡等并發癥，而且器官整體的病變情況的評估受限于活檢樣本的大小。醫學影像技術在癌癥診斷中發揮著日益重要的作用，主要包括 X 射線檢查、電子計算機斷層成像（computed tomography，CT）、超聲（ultrasound）、乳腺鉬靶 X 線攝影檢查、磁共振成像（magnetic resonance imaging，MRI）以及正電子發射斷層成像（positron emission tomography，PET）等。當前影像診斷主要依賴人工閱片完成，然而，日益增加的圖像數據也為人工閱片帶來極大挑戰。為了給醫生提供有效的輔助診斷信息，智能圖像處理技術正變得越來越重要。以機器學習和圖像處理技術為基礎的計算機輔助診斷（computer-aided diagnosis，CAD）逐漸成為醫學領域的研究熱點[4]。基于機器學習的 CAD 主要包括四方面的內容：① 圖像預處理；② 感興趣區（region of interest，ROI）的分割；③ 特征提取、選擇與分類；④ 腫瘤區域的識別（分類或者分割）[5]。其中，高效特征的提取尤為關鍵[6]。目前，基于傳統的淺層機器學習結構的 CAD 系統，高度依賴人工選擇的特征，以及分類器對特征的整合。而且，由于傳統的淺層學習結構無法滿足實際應用中對復雜函數建模的要求[7]，所以難以區分高維特征之間的關系，通常需要降維處理。因此，我們需要簡化及優化 CAD 技術中的特征選擇的過程，以提高 CAD 系統進行輔助診斷的準確度。
近年來方興未艾的深度學習技術[8] 作為一類多層神經網絡學習算法，可通過深層非線性網絡結構學習特征，并且通過組合低層特征形成更加抽象的深層表示（屬性類別或特征），實現復雜函數逼近，表征輸入數據分布式表示，從而可以學習到數據集的本質特征[7]。因此，深度學習算法應用于 CAD 系統具有以下優勢：第一，作為一種數據驅動的自動特征學習算法，可以直接從訓練數據提取特征，從而大大減少特征提取的工作量以及人工干預的影響；第二，通過神經網絡內在的深層結構可以表征特征之間的交互及層次結構，從而揭示高維特征之間的聯系；第三，特征提取、特征選擇及特征分類三個核心步驟可以在同一個深層結構的最優化中實現[6]。由此可見，深度學習有望解決基于傳統淺層機器學習的 CAD 問題，從而大大提高輔助診斷能力。
1 深度學習在癌癥的計算機輔助診斷中的應用進展
1.1 基于深度學習的 CAD 系統的基本設計
深度學習的算法大體上可分為四類：基于受限玻耳茲曼機（restricted Boltzmann machine，RBM）的模型，卷積神經網絡（convolutional neural network，CNN），基于自編碼（autoencoder）的模型，以及基于稀疏編碼的模型（見表 1）[9]。目前，應用于癌癥醫學圖像分析的深度學習網絡主要包括基于 RBM 的 DBN，CNN 和基于自編碼的 SAE、DAE 以及它們的改進算法。
圖1
基于深度學習的 CAD 系統的訓練流程圖
Figure1.
Training flowchart of CAD system based on deep learning
RBM 是一種生成式的隨機性神經網絡[10]，是玻耳茲曼機的衍生模型。Hinton 等[11] 提出的 DBN 是由一組 RBM 堆疊而成的深度產生式模型，其核心部分在于非監督貪心逐層訓練算法。這種算法能夠在某種程度上避免局部最優的問題，而且無監督學習的訓練方式使其具備對未標記的數據進行訓練的能力，從而有效解決以誤差反向傳播（error back propagation，BP）為代表的淺層學習結構的局限性（如局部最優、過擬合和無法訓練未標記數據等[12]）。CNN 是一種基于多層感知器的算法[13]，融合了三種結構性思想（局部感受野、權值共享、空間的子采樣）以實現一定程度的位移和形變恒穩性[12]。CNN 主要包括三層結構：卷積層、池化層和全連接層。CNN 利用空間的相對關系減少參數數目，從而比一般前向 BP 訓練速度有顯著提高[7]。SAE 和 DAE 是用于學習高效編碼的特殊的人工神經網絡，它們通過訓練重構輸入，因此輸出向量與輸入向量具有相同的維度。SAE 和 DAE 的核心思想在于通過減少重建錯誤從而達到最優化，對應的編碼就是神經網絡學習到的特征[9]。
圖 1 是基于深度學習的 CAD 系統的訓練流程圖。網絡的深度和網絡參數的最優化是影響特征提取效果的兩個最重要的因素，而較大的訓練集有利于網絡參數的初始化和參數的微調。深度學習網絡輸出的特征可以直接作為分類器的輸入，也可以根據實際需求進行特定的處理后再輸入分類器。測試集可作為根據訓練集得出的分類器的輸入，得到樣本的測試結果，最后根據金標準和一定的評價指標對分類器進行性能評估。常見的評價指標包括：準確率（accuracy，ACC）、靈敏度（sensitivity，SEN）、特異度（specificity，SPEC）、F1 分數（F1）、精確度（precision，PREC）、召回率（recall，RC）、Dice 系數（Dice）、Dice 指數（dice index，DI）、JACCARD 指數（JACCARD）以及受試者工作特征曲線 （receiver operating characteristic curve，ROC）下面積（area under curve，AUC）等。
1.2 病灶分割的研究進展
采用深度學習模型對醫學圖像進行腫瘤病灶分割已見諸報道（見表 2）。羅蔓等[14] 基于多模態 MRI 圖像進行腦腫瘤的分割。Dhungel 等[15-16] 利用 DBN 和 CNN 作為勢函數構建乳腺病灶分割模型。Cha 等[17] 基于 CT 尿路造影并利用結合水平集（level sets，LS）的 CNN 模型進行膀胱癌分割。為了保留有用信息的同時減少繁冗的計算量，Su 等[18] 通過重組最大池化層將 CNN 改進為運行速度更快的快速掃描深度卷積神經網絡（fast scanning deep convolutional neural network，fCNN），進一步提高腫瘤病灶分割的準確率，并減少了訓練時間。
表1
深度學習的算法分類
Table1.
A categorization of the deep learning methods and their representative works
總而言之，在癌癥病灶分割方面，由于深度學習模型可以從圖像中直接學習到隱藏的高層次特征，所以對比其他基于人工提取低層次特征（如顏色、形狀、紋理和邊緣等）的淺層學習的算法，可以取得更好的效果（見表 2）。通常深度學習模型需要的訓練時間大于各種淺層結構算法，但這取決于模型設計以及訓練集的選取。對于不同類型的數據集，不同的深度學習模型的表現有所差異。此外，由深度學習模型和其他淺層學習算法組合而成的混合模型，比僅使用基本深度學習模型的方法，在準確率方面可能有所提高；而改進的深度學習模型則有可能在提高分割準確率的同時也減少了運行時間。
1.3 病灶/結節分類的研究進展
基于不同類型的圖像和不同病灶位置，已報道的文獻分別提及了不同的深度學習模型的應用策略。基于 CT 圖像，DBN、CNN、多尺度卷積神經網絡（multi-scale convolutional neural networks，MCNN）和堆棧式去噪自編碼器（stacked denoising autoencoder，SDAE）等模型被用于肺結節的分類。基于乳腺癌的病理圖像、乳腺鉬靶和數字乳腺斷層融合（digital breast tomosynthesis，DBT）等不同類型的圖像，堆棧式稀疏自編碼器（stacked sparse autoecoder，SSAE）和不同結構的 CNN 模型被用于乳腺癌的分類。另外，DBN、深度多項式網絡（deep polynomial network，DPN）、CNN 和稀疏編碼等模型可分別與非負矩陣分解、多核學習（multiple kernel learning，MKL）、Liebenberg-Marquardt 學習函數、SVM 等方法結合，從而優化分類效果。
Cho 等[20] 基于 CT 圖像，研究了訓練數據樣本的大小與可取得符合要求的準確率的基于 CNN 模型的系統之間的關系。結果表明，深度學習的架構需要足夠龐大的訓練數據集才可以更好地體現其特征提取方面的優勢，從而達到符合實際應用的準確率。因此，為了解決醫學圖像數據集樣本偏小的問題，人們嘗試將通過自然圖像預訓練的深度學習模型應用到醫學圖像的特征提取之中，并應用于醫療輔助診斷系統。Xu 等[5] 首次采用 ImageNet 預訓練的 CNN 模型提取腦膠質瘤病理圖像的特征，對膠質母細胞瘤（glioblastoma multiforme，GBM）和低級別膠質瘤（low grade glioma，LGG）進行分類。Carneiro 等[21] 基于乳腺鉬靶的多視圖（包括雙側乳腺軸和雙側乳腺側斜位）以及分割后的微鈣化和腫塊區域，采用 ImageNet 預訓練的 CNN 模型對腫塊進行分類，從而評估患者乳腺癌的發展風險。
總地來說，在腫瘤分類方面，深度學習模型能夠在很大程度上提高 CAD 系統的準確率、靈敏度和特異度（見表 3）。一般而言，較大規模的圖像數據集才可以大幅度提高深度學習模型的分類準確率[20]。因此，為了克服醫學圖像數據集樣本偏小的問題，人們提出了遷移學習的方法，并在一定程度上提高了腫瘤分類的準確率。但是 DPN 和 S-DPN-3 在小樣本的超聲圖像中的分類效果優于 DBN 和 SAE[30-31]，這在一定程度上說明了深度學習模型的選擇對 CAD 系統分類能力的提高相當重要。也就是說，基于小樣本的圖像數據集，通過深度學習架構的合理設計，我們依然有可能達到較高的分類準確率。因此，對于不同類型的腫瘤和圖像類型，在選擇深度學習模型和設計算法框架的時候需要有所考量，從而取得較優的表現效果。
表2
基于深度學習的不同分割方法的結果對比
Table2.
Comparison of the results of different segmentation methods based on deep learning
表3
基于深度學習的分類方法的結果對比
Table3.
Comparison of the results of classification methods based on deep learning
2 總結與展望
基于醫學圖像的 CAD 系統可以輔助臨床醫生快速、準確、高效地做出診斷決策。然而，由于傳統淺層學習算法的限制，在實際應用中依然存在較大的問題，如人工提取特征帶來的主觀影響，以及無法利用高維特征之間的關系所提供的有效信息等。深度學習作為機器學習領域的新興技術，可在很大程度上改進淺層學習的問題，大幅提高 CAD 系統從圖像學習特征的能力，因此深度學習應用于基于醫學圖像的 CAD 或將成為醫學圖像處理技術發展的新方向。從文獻報道看，目前這一領域雖然處于發展初期，但是對比傳統的淺層學習方法，已在腫瘤分割和分類方面均體現出明顯的優勢。而且，基于計算機自動提取圖像特征的深度學習技術可以盡可能減少人工干預。不過，深度學習常常在較大的數據集上才能取得更明顯的效果；而且相比于傳統的機器學習的方法，深度學習的訓練時間偏長。此外，基于不同的數據集所得出的實驗結果之間不可比較，從而難以確定針對某一種癌癥診斷的最優化深度學習模型。因此，對于這一領域，未來可能有以下發展方向：第一，改進模型, 以提高從小樣本提取特征的能力并減少訓練時間；第二，基于公共數據庫進行深度學習模型的預訓練，并采用小樣本的特殊數據進行微調，從而提高實驗的可重復性和模型的泛化能力；第三，鑒于不同的影像技術可以提供不同的診斷信息，基于多模態數據集的深度學習模型有可能改善表現效果；第四，由于大量的臨床癌癥圖像數據缺乏有效的數據標注，發展以非監督學習為主的深度學習模型完成這些數據的自動標注，具有重要的意義[8]；第五，嘗試分析并提高深度學習模型所提取的特征與醫學影像臨床特征的相關性。目前，針對醫學圖像數據集樣本偏小的問題，遷移學習可能為解決該問題提供思路。另外，隨著硬件設備的發展，計算機的運算能力將會進一步提高，在某種程度上可以幫助解決深度學習技術的效率問題。綜上所述，在醫學影像技術和以深度學習為代表的圖像處理技術相結合的基礎上，可預見 CAD 技術有望進一步提升醫生的診斷效率和準確率，從而在臨床上進一步提高癌癥的診斷水平。
