將深度學習應用到醫學影像中危及器官自動分割領域時,為解決訓練樣本不足時三維卷積神經網絡優化出現的退化、梯度消失等問題,本研究將 Dense Net 與 V-Net 兩個網絡模型進行融合,開發一種用于三維計算機斷層掃描(CT)圖像自動分割的 Dense V-Network 算法,勾畫女性盆腔危及器官。采用戴斯相似性系數(DSC)、豪斯多夫距離(HD)、杰卡德距離(JD)三個參數來定量評估分割效果。結果顯示膀胱、小腸、直腸、股骨頭和脊髓自動分割的 DSC 值均在 0.87 以上(平均值是 0.9);JD 值均在 2.3 以內(平均值是 0.18);除小腸外,HD 值均在 0.9 cm 以內(平均值是 0.62 cm)。經驗證,Dense V-Network 網絡可精準地勾畫盆腔危及器官。
引用本文: 吳青南, 王運來, 全紅, 王俊杰, 谷珊珊, 楊薇, 葛瑞剛, 劉杰, 鞠忠建. 基于有限訓練樣本的融合網絡模型用于盆腔危及器官自動分割的研究. 生物醫學工程學雜志, 2020, 37(2): 311-316. doi: 10.7507/1001-5515.201809011 復制
版權信息: ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有,未經授權不得轉載、改編
引言
為保證放射治療實施的精確性和準確性,需要在患者計劃計算機斷層掃描(computed tomography,CT)圖像上精準地勾畫危及器官。然而勾畫主要依賴于醫生的經驗和能力[1]。不同醫生所勾畫的危及器官往往存在差異,同一位醫生在不同時期所勾畫的危及器官也可能略有不同[2-3]。而且,勾畫過程耗時較長,會延長患者的候治時間。因此,臨床迫切需要一種自動分割危及器官的高效而精準的方法。
目前放療工作中普遍使用基于圖譜的分割方法(atlas-based segmentation,ABS)[4-7]。該方法將各個圖譜用配準操作映射到待分割圖像所在的圖像空間中,得到兩者之間的空間對應關系,圖譜中的各組織器官的分割情況即待分割圖像的分割結果。但該方法受患者體型、圖譜庫大小、CT 圖像層數、配準精度等方面的限制,臨床效果不佳[8]。尤其是盆腔器官,其大小形態、紋理灰度和相對位置受自然變異性、疾病狀態、治療干擾以及器官形變等影響而在不同個體間存在極大差異,導致臨床可接受程度極低。
受深度學習在圖像理解與分析領域取得的成功啟發,許多研究者將其應用到放療領域醫學影像的處理中。目前,卷積神經網絡(convolutional neural networks,CNN)用于二維圖像分割已取得較為理想的結果[9],但用于三維圖像分割仍存在諸多挑戰。首先,三維醫學圖像的解剖環境比二維影像復雜得多,因此需要更多參數來捕獲更具代表性的特征。其次,訓練三維卷積神經網絡經常面臨各種優化困難,例如過度擬合、梯度消失或爆炸以及收斂速度緩慢等。第三,訓練數據不足使得捕捉特征和訓練深度三維卷積神經網絡更加困難[10]。
研究發現,ResNet[11]、DenseNet[12]等將多種模型進行融合,較好地解決了在小訓練樣本的情況下,當梯度信息經過許多層時出現的梯度消失等問題。為了最大限度地挖掘學習能力,本研究嘗試將 Dense Net 與 V-Net 兩個網絡結構模型進行融合,提出一種基于多模型融合的 Dense V-Network 算法,以實現快速且精準地勾畫盆腔危及器官,并進行驗證。
1 材料與方法
1.1 卷積神經網絡結構
卷積神經網絡利用卷積層來提取圖像特征,通過加深網絡層數可提取更抽象的特征值,目前在二維圖像分割、圖像識別等領域已經取得較理想效果。基于模型融合的 Dense V-Network 網絡吸納了 Dense Net 與 V-Net 兩個圖像分割模型的優點。如圖 1a 所示,V-Net 網絡采用三維卷積和深度殘差網絡組合[13],其中三維卷積有效提升了三維數據的感知,殘差網絡解決了增加深度導致訓練誤差增大的退化現象,加速了收斂。網絡的左側部分為壓縮路徑,以 2*2*2 卷積核進行池化。每個階段包含一到四個卷積層,卷積層通過密接連接保證了信息流通并減小了訓練參數。左側早期階段提取的特征傳遞到右側部分,可以收集在壓縮路徑中丟失的微小細節,提高最終輪廓預測的質量。Dense Net 網絡主要利用 Dense Block 結構[14]使每層從前面的所有層獲得附加輸入,并將其自身的特征映射傳遞到所有后續層,這種密集連接結構既解決了訓練中出現的欠擬合現象,又因為特征圖的重復利用,大大減少了模型中需要訓練的參數量。如圖 1b 所示,利用 3*3*3 的卷積核將上述兩個網絡融合在一起,融合后的 Dense V-Network 模型可實現上述兩個網絡結構的優勢互補,既減少了需要調整的參數數目,降低冗余,節省訓練所占內存空間,又減少了過度擬合現象。二者結合有效地解決了訓練三維數據時出現的梯度消失或爆炸等問題,改善了收斂時間,使得在不增加訓練集的前提下,通過單純地增加網絡深度來提高網絡性能。
 圖1
				網絡結構
						
				圖1
				網絡結構
			
									a. V-Net 網絡;b. Dense V-Network 網絡
Figure1. The structure of networka. V-Net; b. Dense V-Network
1.2 訓練數據
本研究共采用解放軍總醫院 2018 年收治的 100 例分期相近的盆腔腫瘤患者數據。危及器官勾畫均由主治及以上醫師在 CT 影像上完成,再由資深主任醫師進行修改并審核通過。
在卷積神經網絡模型訓練方面,隨機選擇了 80 例作為訓練集,用于調整自動分割模型的參數,其余 20 例作為測試集,用于評估卷積神經網絡模型的性能。為解決三維網絡中訓練樣本不足的問題,本研究從每一例病例中隨機抽取連續 64 層作為一個遷移樣本,每個病例可以抽取 10~20 個樣本,且對數據進行 10° 以內的隨機旋轉,最終總樣本量達到 10 000,進一步達到數據增強的目的。
基于 ABS 分割方法,本研究使用自動化分割軟件 MIM。在 MIM 中編寫 Atlas 工作流,導入 80 例患者的 CT 和勾畫數據,建立圖譜庫。另 20 例患者數據用于驗證。
1.3 模型訓練
為了盡可能減少訓練時間,本研究先分別訓練 V-Net 和 Dense Net 網絡,使二者達到最優后凍結這兩個部分,再對融合層進行微調,使其能達到最好的融合效果。訓練流程如圖 2 所示。本文提出的卷積神經網絡算法基于 Keras 實現,在兩塊 NVDIA(GTX1080)圖形顯卡上進行運算。使用 Tensorflow 實現模型的訓練、評估和錯誤分析,采用 cuDNN 計算內核進行編譯。初始學習效率設為 0.000 5,學習速率衰減因子 0.5,衰減步長為 1 000,迭代次數設為 50 000 進行模型訓練。
 圖2
				網絡結構訓練流程圖
			
												
				Figure2.
				The training flow chart of network structure
						
				圖2
				網絡結構訓練流程圖
			
												
				Figure2.
				The training flow chart of network structure
			
								1.4 評價指標
使用戴斯相似性系數(Dice similarity coefficient,DSC)、豪斯多夫距離(Hausdorff distance,HD)、杰卡德距離(Jaccard distance,JD)三個參數定量評價自動分割的精度。
(1)DSC 為自動分割結果與醫生手動分割結果的相似程度,用 A、B 表示兩個輪廓區域所包含的點集,DSC 的計算公式見式(1):
|  | 
其中|A∩B|代表 A 和 B 的交集。DSC 的數值范圍是 0~1,數值越高分割效果越好。
(2)HD 反映兩個輪廓點集之間的最大差異,計算公式見式(2):
|  | 
其中,h(A,B)表示集合 A 中的點與集合 B 中點的距離最大值,即 h(A,B)= 
 ,h(B,A)=
,h(B,A)=  。HD 值越小,意味著分割準確率越高。
。HD 值越小,意味著分割準確率越高。
(3)JD 值用于度量兩個集合之間的差異性。JD 數值越大,樣本相似度越低,其計算公式見式(3):
|  | 
2 結果
2.1 Dense V-Network 算法分割精度定量評估
本研究所提出的模型融合算法自動分割精度量化評價的 DSC 值、HD 值和 JD 值結果的箱型圖如圖 3 所示,可以看出分割結果比較理想,但小腸的 HD 值較大。
 圖3
				三個評估參數結果箱型圖
			
												
				Figure3.
				The box plots of three evaluation parameter results
						
				圖3
				三個評估參數結果箱型圖
			
												
				Figure3.
				The box plots of three evaluation parameter results
			
								表 1 中列出了膀胱、小腸、直腸、股骨頭和脊髓三個量化參數的平均值。通常 DSC > 0.7 表示自動分割區域和手動分割區域兩者重復度高,分割效果好[15]。從表 1 中看出 Dense V-Network 網絡分割危及器官與醫生手動勾畫范圍具有良好的重合性,DSC 均值為 0.90,HD 均值為 0.81 cm,JD 均值為 0.18。
 表1
                盆腔危及器官自動分割結果
		 	
		 			 				Table1.
    			The segmentation results of pelvic organs at risk
			
						表1
                盆腔危及器官自動分割結果
		 	
		 			 				Table1.
    			The segmentation results of pelvic organs at risk
       		
       				圖 4 展示了分割宮頸癌 CT 圖像的分割效果,其中紅色線條表示醫生勾畫的危及器官輪廓,藍色區域為 Dense V-Network 算法自動分割結果。可以看出,本模型自動分割結果和醫生手動勾畫結果具有很好的一致性。
 圖4
				CT 圖像分割結果
			
												
				Figure4.
				The automatic segmentation result of CT image
						
				圖4
				CT 圖像分割結果
			
												
				Figure4.
				The automatic segmentation result of CT image
			
								2.2 各個模型分割效果評價
為了評價融合模型的分割效果,研究將分別對 V-Net、Dense Net、Dense V-Network 三種結構進行訓練和測試,并與 ABS 自動分割結果進行比較。采用評估自動和半自動分割方法準確性最常用的有效度量參數——DSC 值進行評價,V-Net、Dense Net 與 ABS 分割結果的 DSC 值見表 2。結合表 1 中 Dense V-Network 分割結果的 DSC 值,可以看出三種神經網絡模型的自動分割結果均為良好,其中融合模型的各個器官 DSC 值結果均優于單一模型。而且,Dense V-Network 算法與常用的 ABS 方法相比,尤其是小腸和直腸結構,具有一定優越性。
 表2
                三種自動分割方法的 DSC 系數結果
		 	
		 			 				Table2.
    			The Dice similarity coefficient results of three ways for   automatic segmentation
			
						表2
                三種自動分割方法的 DSC 系數結果
		 	
		 			 				Table2.
    			The Dice similarity coefficient results of three ways for   automatic segmentation
       		
       				3 討論
危及器官的勾畫差異會導致劑量的不確定性,從而影響治療計劃設計和劑量評估,最終可能導致治療不安全、不可靠。現階段放療領域普遍采用 ABS 方法來提升勾畫效率,但影響因素多、結果不夠精確。基于多層監督學習的卷積神經網絡具備較好的容錯性、自適應性和權值共享等優點,訓練好的模型操作簡單、結果可靠,適合臨床應用。但是已有的卷積神經網絡在危及器官分割時存在一定的局限性,結果難以滿足臨床要求。故我們嘗試將不同網絡進行融合,以期提升效果。
本文提出一種基于多模型融合的放療危及器官自動分割 Dense V-Network 算法,融合 Dense Net 和 V-Net 兩種網絡模型的優勢,既可減少網絡中所需要調整的參數量,縮短訓練時間,又可解決網絡深度增加所帶來的退化問題,可通過增加網絡深度來提高精度,增強了網絡模型的可訓練度。在三維訓練樣本有限時,本文方法可實現快速且精準地勾畫危及器官。從結果看,除小腸 HD 值略大外,其余器官的 3 個評價指數均比較優秀,且勾畫效果明顯優于常用的 ABS 方法。經臨床專家評估,一致認為本文方法勾畫效果較好,操作快捷方便,優于現用軟件。但小腸等結構仍需小范圍修改。
關于基于深度學習進行盆腔危及器官分割的國際報道很少。二維深度卷積神經網絡雖然取得理想效果,如 Kazemilar 等[16]利用 2D U-Net 直接學習 2D CT 灰度轉換為相應的危及器官分割圖像的特征映射,得到膀胱和直腸的 DSC 值分別為 0.95 和 0.92,優于本文結果。但該文獻基于二維圖像進行分割,不符合醫學影像的三維特點,不能保證 CT 圖像上下層間的信息交流,在實際應用中可能會造成一定的偏差。Balagopal 等[17]利用 3D U-Net 網絡分割盆腔 CT 圖像中的膀胱、直腸和左右股骨頭,DSC 值分別為 0.95、0.84、0.96 和 0.95。膀胱的分割結果與本研究相同,本研究中直腸 DSC 值為 0.87,略優于其結果。Men 等[18]利用深度膨脹卷積神經網絡(deep dilated convolutional neural network,DDCNN)自動分割膀胱、小腸、直腸、左右股骨頭,DSC 值分別為 0.934、0.653、0.62、0.921 和 0.923,而本文所得結果,尤其是小腸和直腸,優于其結構。本研究利用融合模型 Dense V-network 算法分割盆腔危及器官,除小腸的 HD 值較大外,結果均優于絕大部分報道。
對于小腸結果較差,歸納為以下幾點原因:① CT 邊界不清,標注醫生勾畫困難,存在較大差異;② 部分醫生將小腸和直腸勾畫在一起;③ 部分數據未將整個小腸完整勾畫,只對靠近靶區、需進行劑量評估的部分進行勾畫;④ 因器官充盈程度而致腸道形態變化。⑤ 小腸體積較大,放大了偏差。上述原因也是導致其他軟組織器官自動分割結果差的共同點,需要在后續研究中探索解決方法。
4 結論
本文融合 V-Net 和 Dense Net 的結構優點,開發 Dense V-network 模型用于盆腔部腫瘤患者 CT 圖像危及器官的分割勾畫。結果顯示,在訓練樣本較小時,此模型可以精準地勾畫膀胱、直腸、股骨頭和脊髓等危及器官。通過 DSC 值定量評估,結果優于單一模型、ABS 分割方法和絕大部分國際報道,證明了多模型融合的優勢。但若應用于放療臨床工作,仍需醫生監督。隨著算法結構的優化和訓練數據的增加,預計結果可進一步改善。
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
引言
為保證放射治療實施的精確性和準確性,需要在患者計劃計算機斷層掃描(computed tomography,CT)圖像上精準地勾畫危及器官。然而勾畫主要依賴于醫生的經驗和能力[1]。不同醫生所勾畫的危及器官往往存在差異,同一位醫生在不同時期所勾畫的危及器官也可能略有不同[2-3]。而且,勾畫過程耗時較長,會延長患者的候治時間。因此,臨床迫切需要一種自動分割危及器官的高效而精準的方法。
目前放療工作中普遍使用基于圖譜的分割方法(atlas-based segmentation,ABS)[4-7]。該方法將各個圖譜用配準操作映射到待分割圖像所在的圖像空間中,得到兩者之間的空間對應關系,圖譜中的各組織器官的分割情況即待分割圖像的分割結果。但該方法受患者體型、圖譜庫大小、CT 圖像層數、配準精度等方面的限制,臨床效果不佳[8]。尤其是盆腔器官,其大小形態、紋理灰度和相對位置受自然變異性、疾病狀態、治療干擾以及器官形變等影響而在不同個體間存在極大差異,導致臨床可接受程度極低。
受深度學習在圖像理解與分析領域取得的成功啟發,許多研究者將其應用到放療領域醫學影像的處理中。目前,卷積神經網絡(convolutional neural networks,CNN)用于二維圖像分割已取得較為理想的結果[9],但用于三維圖像分割仍存在諸多挑戰。首先,三維醫學圖像的解剖環境比二維影像復雜得多,因此需要更多參數來捕獲更具代表性的特征。其次,訓練三維卷積神經網絡經常面臨各種優化困難,例如過度擬合、梯度消失或爆炸以及收斂速度緩慢等。第三,訓練數據不足使得捕捉特征和訓練深度三維卷積神經網絡更加困難[10]。
研究發現,ResNet[11]、DenseNet[12]等將多種模型進行融合,較好地解決了在小訓練樣本的情況下,當梯度信息經過許多層時出現的梯度消失等問題。為了最大限度地挖掘學習能力,本研究嘗試將 Dense Net 與 V-Net 兩個網絡結構模型進行融合,提出一種基于多模型融合的 Dense V-Network 算法,以實現快速且精準地勾畫盆腔危及器官,并進行驗證。
1 材料與方法
1.1 卷積神經網絡結構
卷積神經網絡利用卷積層來提取圖像特征,通過加深網絡層數可提取更抽象的特征值,目前在二維圖像分割、圖像識別等領域已經取得較理想效果。基于模型融合的 Dense V-Network 網絡吸納了 Dense Net 與 V-Net 兩個圖像分割模型的優點。如圖 1a 所示,V-Net 網絡采用三維卷積和深度殘差網絡組合[13],其中三維卷積有效提升了三維數據的感知,殘差網絡解決了增加深度導致訓練誤差增大的退化現象,加速了收斂。網絡的左側部分為壓縮路徑,以 2*2*2 卷積核進行池化。每個階段包含一到四個卷積層,卷積層通過密接連接保證了信息流通并減小了訓練參數。左側早期階段提取的特征傳遞到右側部分,可以收集在壓縮路徑中丟失的微小細節,提高最終輪廓預測的質量。Dense Net 網絡主要利用 Dense Block 結構[14]使每層從前面的所有層獲得附加輸入,并將其自身的特征映射傳遞到所有后續層,這種密集連接結構既解決了訓練中出現的欠擬合現象,又因為特征圖的重復利用,大大減少了模型中需要訓練的參數量。如圖 1b 所示,利用 3*3*3 的卷積核將上述兩個網絡融合在一起,融合后的 Dense V-Network 模型可實現上述兩個網絡結構的優勢互補,既減少了需要調整的參數數目,降低冗余,節省訓練所占內存空間,又減少了過度擬合現象。二者結合有效地解決了訓練三維數據時出現的梯度消失或爆炸等問題,改善了收斂時間,使得在不增加訓練集的前提下,通過單純地增加網絡深度來提高網絡性能。
 圖1
				網絡結構
						
				圖1
				網絡結構
			
									a. V-Net 網絡;b. Dense V-Network 網絡
Figure1. The structure of networka. V-Net; b. Dense V-Network
1.2 訓練數據
本研究共采用解放軍總醫院 2018 年收治的 100 例分期相近的盆腔腫瘤患者數據。危及器官勾畫均由主治及以上醫師在 CT 影像上完成,再由資深主任醫師進行修改并審核通過。
在卷積神經網絡模型訓練方面,隨機選擇了 80 例作為訓練集,用于調整自動分割模型的參數,其余 20 例作為測試集,用于評估卷積神經網絡模型的性能。為解決三維網絡中訓練樣本不足的問題,本研究從每一例病例中隨機抽取連續 64 層作為一個遷移樣本,每個病例可以抽取 10~20 個樣本,且對數據進行 10° 以內的隨機旋轉,最終總樣本量達到 10 000,進一步達到數據增強的目的。
基于 ABS 分割方法,本研究使用自動化分割軟件 MIM。在 MIM 中編寫 Atlas 工作流,導入 80 例患者的 CT 和勾畫數據,建立圖譜庫。另 20 例患者數據用于驗證。
1.3 模型訓練
為了盡可能減少訓練時間,本研究先分別訓練 V-Net 和 Dense Net 網絡,使二者達到最優后凍結這兩個部分,再對融合層進行微調,使其能達到最好的融合效果。訓練流程如圖 2 所示。本文提出的卷積神經網絡算法基于 Keras 實現,在兩塊 NVDIA(GTX1080)圖形顯卡上進行運算。使用 Tensorflow 實現模型的訓練、評估和錯誤分析,采用 cuDNN 計算內核進行編譯。初始學習效率設為 0.000 5,學習速率衰減因子 0.5,衰減步長為 1 000,迭代次數設為 50 000 進行模型訓練。
 圖2
				網絡結構訓練流程圖
			
												
				Figure2.
				The training flow chart of network structure
						
				圖2
				網絡結構訓練流程圖
			
												
				Figure2.
				The training flow chart of network structure
			
								1.4 評價指標
使用戴斯相似性系數(Dice similarity coefficient,DSC)、豪斯多夫距離(Hausdorff distance,HD)、杰卡德距離(Jaccard distance,JD)三個參數定量評價自動分割的精度。
(1)DSC 為自動分割結果與醫生手動分割結果的相似程度,用 A、B 表示兩個輪廓區域所包含的點集,DSC 的計算公式見式(1):
|  | 
其中|A∩B|代表 A 和 B 的交集。DSC 的數值范圍是 0~1,數值越高分割效果越好。
(2)HD 反映兩個輪廓點集之間的最大差異,計算公式見式(2):
|  | 
其中,h(A,B)表示集合 A 中的點與集合 B 中點的距離最大值,即 h(A,B)= 
 ,h(B,A)=
,h(B,A)=  。HD 值越小,意味著分割準確率越高。
。HD 值越小,意味著分割準確率越高。
(3)JD 值用于度量兩個集合之間的差異性。JD 數值越大,樣本相似度越低,其計算公式見式(3):
|  | 
2 結果
2.1 Dense V-Network 算法分割精度定量評估
本研究所提出的模型融合算法自動分割精度量化評價的 DSC 值、HD 值和 JD 值結果的箱型圖如圖 3 所示,可以看出分割結果比較理想,但小腸的 HD 值較大。
 圖3
				三個評估參數結果箱型圖
			
												
				Figure3.
				The box plots of three evaluation parameter results
						
				圖3
				三個評估參數結果箱型圖
			
												
				Figure3.
				The box plots of three evaluation parameter results
			
								表 1 中列出了膀胱、小腸、直腸、股骨頭和脊髓三個量化參數的平均值。通常 DSC > 0.7 表示自動分割區域和手動分割區域兩者重復度高,分割效果好[15]。從表 1 中看出 Dense V-Network 網絡分割危及器官與醫生手動勾畫范圍具有良好的重合性,DSC 均值為 0.90,HD 均值為 0.81 cm,JD 均值為 0.18。
 表1
                盆腔危及器官自動分割結果
		 	
		 			 				Table1.
    			The segmentation results of pelvic organs at risk
			
						表1
                盆腔危及器官自動分割結果
		 	
		 			 				Table1.
    			The segmentation results of pelvic organs at risk
       		
       				圖 4 展示了分割宮頸癌 CT 圖像的分割效果,其中紅色線條表示醫生勾畫的危及器官輪廓,藍色區域為 Dense V-Network 算法自動分割結果。可以看出,本模型自動分割結果和醫生手動勾畫結果具有很好的一致性。
 圖4
				CT 圖像分割結果
			
												
				Figure4.
				The automatic segmentation result of CT image
						
				圖4
				CT 圖像分割結果
			
												
				Figure4.
				The automatic segmentation result of CT image
			
								2.2 各個模型分割效果評價
為了評價融合模型的分割效果,研究將分別對 V-Net、Dense Net、Dense V-Network 三種結構進行訓練和測試,并與 ABS 自動分割結果進行比較。采用評估自動和半自動分割方法準確性最常用的有效度量參數——DSC 值進行評價,V-Net、Dense Net 與 ABS 分割結果的 DSC 值見表 2。結合表 1 中 Dense V-Network 分割結果的 DSC 值,可以看出三種神經網絡模型的自動分割結果均為良好,其中融合模型的各個器官 DSC 值結果均優于單一模型。而且,Dense V-Network 算法與常用的 ABS 方法相比,尤其是小腸和直腸結構,具有一定優越性。
 表2
                三種自動分割方法的 DSC 系數結果
		 	
		 			 				Table2.
    			The Dice similarity coefficient results of three ways for   automatic segmentation
			
						表2
                三種自動分割方法的 DSC 系數結果
		 	
		 			 				Table2.
    			The Dice similarity coefficient results of three ways for   automatic segmentation
       		
       				3 討論
危及器官的勾畫差異會導致劑量的不確定性,從而影響治療計劃設計和劑量評估,最終可能導致治療不安全、不可靠。現階段放療領域普遍采用 ABS 方法來提升勾畫效率,但影響因素多、結果不夠精確。基于多層監督學習的卷積神經網絡具備較好的容錯性、自適應性和權值共享等優點,訓練好的模型操作簡單、結果可靠,適合臨床應用。但是已有的卷積神經網絡在危及器官分割時存在一定的局限性,結果難以滿足臨床要求。故我們嘗試將不同網絡進行融合,以期提升效果。
本文提出一種基于多模型融合的放療危及器官自動分割 Dense V-Network 算法,融合 Dense Net 和 V-Net 兩種網絡模型的優勢,既可減少網絡中所需要調整的參數量,縮短訓練時間,又可解決網絡深度增加所帶來的退化問題,可通過增加網絡深度來提高精度,增強了網絡模型的可訓練度。在三維訓練樣本有限時,本文方法可實現快速且精準地勾畫危及器官。從結果看,除小腸 HD 值略大外,其余器官的 3 個評價指數均比較優秀,且勾畫效果明顯優于常用的 ABS 方法。經臨床專家評估,一致認為本文方法勾畫效果較好,操作快捷方便,優于現用軟件。但小腸等結構仍需小范圍修改。
關于基于深度學習進行盆腔危及器官分割的國際報道很少。二維深度卷積神經網絡雖然取得理想效果,如 Kazemilar 等[16]利用 2D U-Net 直接學習 2D CT 灰度轉換為相應的危及器官分割圖像的特征映射,得到膀胱和直腸的 DSC 值分別為 0.95 和 0.92,優于本文結果。但該文獻基于二維圖像進行分割,不符合醫學影像的三維特點,不能保證 CT 圖像上下層間的信息交流,在實際應用中可能會造成一定的偏差。Balagopal 等[17]利用 3D U-Net 網絡分割盆腔 CT 圖像中的膀胱、直腸和左右股骨頭,DSC 值分別為 0.95、0.84、0.96 和 0.95。膀胱的分割結果與本研究相同,本研究中直腸 DSC 值為 0.87,略優于其結果。Men 等[18]利用深度膨脹卷積神經網絡(deep dilated convolutional neural network,DDCNN)自動分割膀胱、小腸、直腸、左右股骨頭,DSC 值分別為 0.934、0.653、0.62、0.921 和 0.923,而本文所得結果,尤其是小腸和直腸,優于其結構。本研究利用融合模型 Dense V-network 算法分割盆腔危及器官,除小腸的 HD 值較大外,結果均優于絕大部分報道。
對于小腸結果較差,歸納為以下幾點原因:① CT 邊界不清,標注醫生勾畫困難,存在較大差異;② 部分醫生將小腸和直腸勾畫在一起;③ 部分數據未將整個小腸完整勾畫,只對靠近靶區、需進行劑量評估的部分進行勾畫;④ 因器官充盈程度而致腸道形態變化。⑤ 小腸體積較大,放大了偏差。上述原因也是導致其他軟組織器官自動分割結果差的共同點,需要在后續研究中探索解決方法。
4 結論
本文融合 V-Net 和 Dense Net 的結構優點,開發 Dense V-network 模型用于盆腔部腫瘤患者 CT 圖像危及器官的分割勾畫。結果顯示,在訓練樣本較小時,此模型可以精準地勾畫膀胱、直腸、股骨頭和脊髓等危及器官。通過 DSC 值定量評估,結果優于單一模型、ABS 分割方法和絕大部分國際報道,證明了多模型融合的優勢。但若應用于放療臨床工作,仍需醫生監督。隨著算法結構的優化和訓練數據的增加,預計結果可進一步改善。
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
 
        

 
                 
				 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
                                                                    
                                                                        
                                                                        
                                                                        