智能醫學圖像分割方法正在快速地發展和應用，但面臨著域轉移挑戰，即由于源域和目標域數據分布不同導致算法性能下降。為此，本文提出了一種基于生成對抗網絡（GAN）的無監督端到端域自適應醫學圖像分割方法。設計網絡訓練調整模型，由分割網絡和鑒別網絡組成。分割網絡以殘差模塊為基本模塊，增加對特征的復用能力，降低模型優化難度，并將分割損失與對抗損失相結合，在鑒別網絡的作用下學習圖像特征層面的跨域特征。鑒別網絡采用卷積神經網絡，并帶入源域標簽訓練，用來區分生成網絡的分割結果是來自源域或目標域，整個訓練過程無監督。使用膝關節磁共振（MR）圖像公開數據集和采集的臨床數據集進行實驗，與經典的特征級域自適應方法和圖像級域自適應方法對比，所提方法的平均戴斯相似性系數（DSC）分別提高了2.52%與6.10%。本文方法有效提高了分割方法的域自適應能力，顯著提高了對脛骨和股骨的分割精度，可以較好地解決磁共振圖像分割中的域轉移問題。
引用本文： 孫玉波, 劉嘉男, 孫澤文, 韓建達, 于寧波. 一種基于生成對抗網絡的無監督域自適應磁共振圖像分割方法. 生物醫學工程學雜志, 2022, 39(6): 1181-1188. doi: 10.7507/1001-5515.202203009 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
引言
醫學圖像分割是決定醫學圖像在臨床診療中能否提供可靠依據的關鍵手段[1-2]。隨著人工智能技術的發展，基于神經網絡的醫學圖像智能分割得到廣泛應用[3-4]，已經成為人工智能輔助診療的重要技術[5-6]。
通過人工智能方法進行醫學圖像分割的過程中，域轉移成為一個重要挑戰[7]。這主要是由于通過源域訓練好的分割模型是針對某種特定類型序列圖像的，在其他類型序列圖像上分割相同組織時會不匹配，從而導致精度下降。精度誤差通常與源域和目標域之間的分布差異成比例。因此，通過源域數據訓練的模型，在對目標域數據分割時常常不能達到期望的效果。但研究人員們希望無論數據來自哪個域，都可以使用一個通用模型獲得有效的分割結果。解決域轉移問題，成為醫學圖像分析中的迫切需求。
為了應對域轉移挑戰，研究者提出了域自適應方法[8]，較為常見的為圖像級域自適應和特征級域自適應。要使分割網絡適應目標域圖像，可以通過使用有標簽的目標域數據對分割網絡進行調整來實現，但這需要對目標域數據進行注釋。而圖像分割需要進行像素級注釋，與其他任務（如圖像分類）相比，為分割任務注釋數據要困難得多，從而導致分割任務圖像通常缺乏人工標簽。因此，無監督的域自適應方法受到越來越多的關注。
從圖像層面進行的域自適應稱為圖像級域自適應，經常使用生成對抗網絡（generative adversarial network，GAN）作為框架[9-11]，尤其是Zhu等[12]提出的CycleGAN，它可以將一個圖像轉換成另一種圖像風格，而不需要成對的訓練樣本。Wollmann等[13]提出了一種基于CycleGAN的乳腺癌分類方法，首先使用CycleGAN將淋巴結的全切片圖像從源域轉換到目標域，然后將DenseNet用于乳腺癌分類。Hiasa等[14]基于CycleGAN并結合邊緣損失將全髖關節磁共振（magnetic resonance，MR）圖像轉化為電子計算機斷層掃描（computed tomography，CT）圖像，并使用U-Net對生成的CT圖像進行分割。但他們使用的非端到端的分割方法，不僅推理時間長，而且相對來說訓練也更加復雜。此外，Liu等[15]同樣使用CycleGAN將不同類型的膝關節MR圖像序列進行轉化和分割，但他們使用的2維卷積神經網絡結構會限制單個切片內的圖像特征，并且當圖像之間的對比度不一致時，可能會導致分割偏差。
從特征層面進行的域自適應稱為特征級域自適應，其主要目的是將源域數據和目標域數據映射到同一個特征空間，促使生成器學習跨域特征。Javanmardi等[16]提出了基于GAN的域自適應方法，并在公開的眼血管數據集和電子顯微鏡神經元圖像分割數據集中進行了實驗，將U-Net作為生成器用于圖像的分割，使用另一個卷積神經網絡作為鑒別器對分割結果進行分類，使用0或者1進行標記。Panfilov等[17]同樣基于GAN對膝關節軟骨進行了分割，不僅如此，實驗中使用了兩個鑒別器對不同階段的特征進行分類，以在高維特征層面進行特征自適應學習，并且在三個數據集上進行了實驗，在股骨軟骨和脛骨軟骨上最好的分割準確度結果提高了3.0%和6.8%。但此工作只對軟骨進行了分割，且使用的源域與目標域數據均來自同一公司生產的設備，MR圖像間差異較小。
為了更加有效地解決域轉移問題，提高分割網絡自適應性，本文提出了一種基于GAN的無監督端到端特征級域自適應醫學圖像分割方法。同時對比分析了本文提出的特征級域自適應方法與三種經典方法：① 直接使用由源域數據訓練的分割網絡對目標域圖像進行分割；② Zhu等[12]于2017年提出的圖像級域自適應方法；③ Panfilov等[17]于2019年提出的特征級域自適應方法。進一步的，使用來自不同MR設備且灰度值存在顯著差異的膝關節MR圖像數據集進行域自適應實驗，對所提域自適應方法進行了有效性驗證。
1 特征級域自適應圖像分割方法設計
本文設計了一種無監督端到端特征級域自適應圖像分割方法，整體流程如圖1所示（
：源域數據，
：源域分割標簽，
：目標域數據，
：目標域分割標簽）。針對醫學圖像分割中人工標注工作繁瑣、主觀性強等問題，我們采用GAN針對目標域數據進行無監督學習訓練。我們所提的無監督訓練是指在解決域轉移問題過程中，只使用目標域數據而未使用目標域標簽。GAN中生成器的梯度更新信息來自鑒別器，而不是來自數據樣本，同時我們將源域標簽作為鑒別器輸入，使其更加適合針對目標域數據的無監督訓練。本文采用了以殘差模塊為基本模塊的分割網絡，增強了對特征的復用能力。通過源域數據進行分割網絡預訓練，獲得適合源域數據的參數作為GAN中生成器即分割網絡的參數初值。鑒別器結構為卷積神經網絡，其中目標域數據通過重采樣與中心裁剪匹配源域數據格式，與源域分割標簽的獨熱編碼一起作為鑒別器的輸入。再通過GAN對分割網絡參數進行學習和調整，獲得適合目標域的分割網絡參數。隨后通過戴斯相似性系數（Dice similarity coefficient，DSC）進行分割精度檢驗。本文所設計無監督域自適應方法基于Pytorch[18]實現。
圖1
本文提出的域自適應方法流程圖
Figure1.
Flow chart of the proposed domain adaptation method
生成器
使用之前在我們的工作中提出的分割網絡[5]，具體如圖2所示。分割網絡的基本模塊為殘差模塊，這樣設計既增加了網絡對特征的復用能力，又起到了降低優化難度的作用。利用并行的擴張卷積模塊獲取不同的感受野，克服了U-Net模型中單一感受野的局限性，有效提高分割能力的魯棒性。使用空洞空間金字塔池化模塊（atrous spatial pyramid pooling，ASPP），利用具有不同感受野的卷積操作，獲取豐富的上下文信息。同時多輸出融合的深監督模塊能直接利用不同層次的特征，實現多尺度特征信息互補，最終提高了分割區域的連貫性和準確性。
圖2
生成器結構
Figure2.
Structure of the generator
鑒別器D的結構如圖3所示，本結構中鑒別器共由5個卷積層組成，初始卷積核數量設置為64，第二層卷積核個數為128，隨后逐層加倍，最后一層輸出通道被設置為1，再通過雙線性插值將最后一層的輸出還原至384×384，即原始圖像的分辨率大小。所使用的激活函數采用Leaky ReLU。
圖3
鑒別器結構
Figure3.
Structure of the discriminator
生成器的具體訓練流程如圖4a所示，源域圖像
與目標域圖像
作為生成器輸入，生成器輸出圖像分割結果。損失函數設置如公式(1)所示，由分割損失與對抗損失兩部分組成。
使用softmax函數，
為分割結果的概率值。
圖4
生成對抗網絡訓練過程
a. 生成器訓練流程； b. 鑒別器訓練流程
Figure4. Training process of the GANa. the generator training process; b. the discriminator training process
 |
鑒別器的具體訓練流程如圖4b所示，本文將源域數據分割標簽的獨熱編碼作為鑒別器輸入之一，選取二分類交叉熵作為其損失函數，鑒別器的輸出是與圖像分辨率一致的矩陣。二分類交叉熵損失為：
 |
對于源域數據，本文中將其標簽設定為矩陣0，對于本地數據其標簽為矩陣1。將 
和 
分別代入交叉熵損失后相加，可得鑒別器損失函數。且式中 
為由生成器得到的源域圖像分割標簽概率圖，我們將此替換為源域標簽 
的獨熱編碼，設計了如式(3)所示的鑒別器損失函數，以增加鑒別器精度。
 |
2 實驗數據與實驗設計
膝骨關節炎是一種慢性退行性關節疾病，會導致患者關節疼痛和運動障礙。關節軟骨的體積和厚度是膝骨關節炎檢測和分級的重要指標之一[19]。MR成像長期以來被認為是最強大的膝關節檢查工具[20]，臨床上通常用于研究膝關節，特別是關節軟骨的內部結構變化。對于需要進行膝關節置換術的晚期膝骨關節炎患者，利用分割后的MR圖像進行三維重建可以構建患者的膝關節模型，用于個性化假體設計和術前規劃[21]。但是由于成像設備差異、同一設備掃描參數差異等原因，域轉移問題在膝骨關節炎MR圖像的分割中經常出現，并仍未得到有效解決。因此，本文選取了來自不同MR設備且灰度值存在顯著差異的膝關節MR圖像數據集進行了域自適應方法驗證實驗。
設計實驗，對比分析本文所提特征級域自適應方法和三種經典方法：① 直接使用由源域數據訓練的分割網絡對目標域圖像進行分割；② Zhu等[12]于2017年提出的圖像級域自適應方法；③ Panfilov等[17]于2019年提出的特征級域自適應方法。
2.1 實驗數據
本文使用膝關節MR圖像公開數據集OAI-ZIB[22]作為源域數據，使用由北京大學第三醫院運動醫學研究所提供并授權使用的膝骨關節炎患者的膝關節MR圖像數據集[5]作為目標域數據，進行域自適應方法驗證實驗，對所提方法的有效性進行驗證。
OAI-ZIB數據集來自美國國家衛生研究院，數據集的手工分割由柏林Zuse研究機構進行。手工分割區域包括股骨、股骨軟骨、脛骨和脛骨軟骨。合作醫院提供的本地MR圖像數據集，由影像科醫師進行了標注，并使用ITK SNAP軟件進行分割[23]。具體參數如表1所示，兩個數據集的MR圖像之間存在明顯的域轉移問題。
表1
存在域轉移問題的源域與目標域數據集對比
Table1.
Comparison of the source domain dataset and the target domain dataset with domain shift
公開數據集中的MR圖像和合作醫院提供的臨床數據集MR圖像對比如圖5所示。由于MR圖像的具體類型不同，公開數據集圖像中骨性區域一般為黑色，軟骨區域為白色，而本地數據集則相反，兩個數據集中的圖像灰度值存在明顯差異。
圖5
不同數據集圖像對比
Figure5.
Image comparison of different data sets
2.2 實驗設備與數據預處理
實驗中使用的計算機CPU為E5-2678 v3，內存為128 GB，顯卡為2080Ti。
本文使用了OAI-ZIB公開數據集中的1 840張圖像以及本地數據集中的1 694張圖像，為避免同一病例的MR圖像層間相關性對實驗造成影響，數據均以每個病例為整體進行劃分。實驗設計具體為：取OAI-ZIB數據集中的1 840張圖像作為源域數據，隨機選取本地數據集中2例患者共225張圖像作為測試集，1例患者110張圖像作為驗證集，其余12例患者共1 359張圖像作為訓練集。由于公開數據集圖像與本地數據集圖像的像素間距不同，我們對本地數據集圖像進行了重采樣，采用規定化像素間距方法使本地數據集圖像分辨率變為444×444，隨后進行中心裁剪使分辨率為384×384，與公開數據集圖像分辨率相同。
2.3 對比實驗設計
首先使用源域數據與標簽對本文所提出的分割網絡進行訓練，得到適用于源域數據的分割網絡參數。進而使用訓練所得參數配置分割網絡，進行目標域圖像分割，以此作為基線。
其次使用Zhu等[12]提出的CycleGAN圖像級域自適應網絡，將不同類型的MR圖像相互轉換。具體為使用通過CycleGAN訓練好的生成器，將目標域圖像轉換為源域圖像風格，并輸入使用源域數據訓練的分割網絡。本文遵循之前研究中CycleGAN的實驗參數設置，訓練生成器和鑒別器。
最后設計與Panfilov等[17]提出的特征級域自適應方法進行對比。為了控制影響分割結果的因素，對比實驗中的參數設定與本文提出的方法相同。批處理大小設置為1，學習率設置為0.001，動量設置為0.9，權重衰減設置為0.000 5，損失函數中
設置為0.1。其中使用公開數據庫數據預訓練模型，優化器為隨機梯度下降（stochastic gradient descent，SGD）[24]。參數隨機初始化后訓練鑒別器，并在其中使用了譜標準化[25]，選用Adam優化器[26]，學習率設置為0.001。學習率使用Poly更新，次方數0.9，訓練次數設定為100 000次。
3 模型訓練與結果分析
本文將所提特征級域自適應方法與三種經典方法分別進行了訓練與分割實驗，同時也對CycleGAN在本文所用數據集中圖像風格轉化的有效性進行了驗證。為了直觀地展示各種方法在圖像分割結果上的差異，隨機選取了兩幅目標域圖像進行不同方法的分割結果定性對比。最后采用戴斯相似性系數對各分割方法在測試集中的分割精度進行了量化評估與對比分析。
3.1 定性分析
我們在測試集中隨機選取兩張圖像進行對比分析，所提方法與三種已有方法的分割結果如圖6所示。由于存在域轉移問題，直接使用由源域數據訓練的分割網絡對目標域圖像進行分割，無法對股骨和脛骨進行有效分割，分割區域不完整。Zhu等[12]提出的圖像級域自適應方法使用CycleGAN將目標域圖像轉換為源域圖像風格，如圖7所示，再使用由源域數據訓練的分割網絡進行分割，能有效改善分割結果，但假陽性區域過多。使用Panfilov等[17]提出的特征級域自適應方法后，分割區域存在較多缺失。而本文所提的特征級域自適應方法的分割結果與手工分割結果最為接近。
圖6
不同分割方法對比
Figure6.
Qualitative segmentation results comparison of different methods
圖7
圖像級域自適應中，目標域圖像轉化為源域風格
Figure7.
In image-level domain adaptation, the target domain image is converted to the source domain state
3.2 定量評估
由于每個病例的MR圖像常由多個存在前后關系的二維圖像切片組成，故評估分割精度時，本文選擇將每個病例的數據作為整體進行評估而不是逐張進行評估，是一種符合數據情況的評估方法。分割精度評估大多采用戴斯相似性系數，其通常用于計算兩個集合間的相似度，適合本研究中的相似度量化評估需求，且最近有研究表明戴斯相似性系數在醫學圖像分割任務中更為合適[27]，故本研究中采用戴斯相似性系數進行定量評估。戴斯相似性系數的計算結果范圍為0%~100%，數值越小表示相似度越差，反之則越好。
實驗中的待分割部分包括股骨、脛骨、股骨軟骨和脛骨軟骨。本文采用戴斯相似性系數對每一個分割區域分別進行評估，隨后取平均值。戴斯相似性系數的計算過程如公式(4)所示。
 |
其中，Y代表真值，即目標域的人工分割結果，P為分割網絡預測的結果。
圖像分割對比實驗結果如表2所示，相對于經典域自適應方法，本文提出的無監督特征級域自適應方法在股骨和脛骨區域分割中戴斯相似性系數分別可以達到92.06%和89.34%；同時股骨軟骨的分割精度也得到了較大提升，戴斯相似性系數可達到48.03%；另外，本文所提方法可以獲得最高的平均戴斯相似性系數64.18%，相對于直接使用由源域數據訓練、圖像級域自適應方法[12]和特征級域自適應方法[17]分別提升了48.42%、2.52%和6.10%。直接使用源域數據訓練分割模型參數對本地臨床圖像進行分割，戴斯相似性系數最低，甚至無法分割軟骨。使用經典圖像級域自適應和經典特征級域自適應后，平均戴斯相似性系數有所提高。使用本文所提方法在脛骨軟骨分割中戴斯相似性系數低于經典圖像級域自適應方法，但股骨、股骨軟骨和脛骨的分割中，戴斯相似性系數均高于經典方法。
表2
不同域自適應分割方法戴斯相似性系數對比
Table2.
The DSC comparison of different domain adaptation methods
經典圖像級域自適應對脛骨軟骨分割精度高于特征級域自適應方法，但不論是經典方法還是本文所提方法，對脛骨軟骨區域進行分割的戴斯相似性系數普遍偏低。進行圖像對比后發現，如圖8a所示，目標域數據集中脛骨軟骨部分的對比度較低，脛骨軟骨與脛骨骨性區域界限不明顯。通過調整窗位、窗寬增加對比度后可以使其界限較為清晰，但這種做法會造成圖像中脛骨部分與旁邊的肌肉組織部分相似，如圖8b所示，影響脛骨骨骼部分的分割，故本文在實驗中未對目標域數據進行對比度處理。同時本地數據集均來自膝骨關節炎患者，脛骨軟骨區域均存在一定的病理問題，且脛骨軟骨區域在每張MR圖像中占比較小，約為1.7%，特征級域自適應方法在特征學習過程中會受到模糊邊界與軟骨區域病理問題的影響，從而損失一定的分割精度。
圖8
不同對比度的本地數據集圖像
a. 原始圖像；b. 調整對比度后的圖像
Figure8. MR images with different contrasts in our dataseta. original image; b. contrast adjusted image
相對于對比方法中的經典域自適應方法，本文所提方法的戴斯相似性系數有一定的提升，骨骼區域由于面積較大幾乎在每一張MR圖像上都存在，在實際的人工標注中耗時較多，本文所提的域自適應方法可以較好地解決在骨骼區域的域轉移問題。
4 結論
本文針對醫學圖像智能化分割面臨的域轉移挑戰，提出了一種基于GAN的無監督端到端特征級域自適應圖像分割方法。在膝關節MR圖像公開數據集和我們合作醫院的膝關節MR圖像臨床數據集上進行了域自適應實驗，結果表明所提方法能有效提高分割模型的域自適應能力，顯著提高了對脛骨和股骨的分割精度。本文使用膝關節MR圖像進行方法驗證，此方法還可推廣至其他部位的醫學圖像分割，如髖關節等。未來將開發結合圖像級域自適應與特征級域自適應的方法，結合兩者優勢，同步提高骨性區域與軟骨區域的分割精度，從而更好地在臨床中為假體設計與術前規劃等提供幫助。同時，MR圖像是由多個存在前后關系的二維圖像切片組成，這些切片包含豐富的結構信息，在以后的工作中，將會基于GAN在無監督訓練上的優勢，研發基于圖像切片間相關性的域自適應圖像分割方法，進一步提高分割精度。
重要聲明：
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：孫玉波主要負責研究框架設計、方法設計與實現、數據處理與分析、文稿寫作以及最后定稿。劉嘉男主要負責方法設計與實現、對比方法代碼設計與實現、數據集處理與分析以及文稿寫作。孫澤文主要負責數據集整理、打標、分析與解釋。韓建達教授與于寧波教授主要負責課題構思與設計、資料的分析和解釋、對文稿關鍵方法與學術內容的修改以及最后定稿。
引言
醫學圖像分割是決定醫學圖像在臨床診療中能否提供可靠依據的關鍵手段[1-2]。隨著人工智能技術的發展，基于神經網絡的醫學圖像智能分割得到廣泛應用[3-4]，已經成為人工智能輔助診療的重要技術[5-6]。
通過人工智能方法進行醫學圖像分割的過程中，域轉移成為一個重要挑戰[7]。這主要是由于通過源域訓練好的分割模型是針對某種特定類型序列圖像的，在其他類型序列圖像上分割相同組織時會不匹配，從而導致精度下降。精度誤差通常與源域和目標域之間的分布差異成比例。因此，通過源域數據訓練的模型，在對目標域數據分割時常常不能達到期望的效果。但研究人員們希望無論數據來自哪個域，都可以使用一個通用模型獲得有效的分割結果。解決域轉移問題，成為醫學圖像分析中的迫切需求。
為了應對域轉移挑戰，研究者提出了域自適應方法[8]，較為常見的為圖像級域自適應和特征級域自適應。要使分割網絡適應目標域圖像，可以通過使用有標簽的目標域數據對分割網絡進行調整來實現，但這需要對目標域數據進行注釋。而圖像分割需要進行像素級注釋，與其他任務（如圖像分類）相比，為分割任務注釋數據要困難得多，從而導致分割任務圖像通常缺乏人工標簽。因此，無監督的域自適應方法受到越來越多的關注。
從圖像層面進行的域自適應稱為圖像級域自適應，經常使用生成對抗網絡（generative adversarial network，GAN）作為框架[9-11]，尤其是Zhu等[12]提出的CycleGAN，它可以將一個圖像轉換成另一種圖像風格，而不需要成對的訓練樣本。Wollmann等[13]提出了一種基于CycleGAN的乳腺癌分類方法，首先使用CycleGAN將淋巴結的全切片圖像從源域轉換到目標域，然后將DenseNet用于乳腺癌分類。Hiasa等[14]基于CycleGAN并結合邊緣損失將全髖關節磁共振（magnetic resonance，MR）圖像轉化為電子計算機斷層掃描（computed tomography，CT）圖像，并使用U-Net對生成的CT圖像進行分割。但他們使用的非端到端的分割方法，不僅推理時間長，而且相對來說訓練也更加復雜。此外，Liu等[15]同樣使用CycleGAN將不同類型的膝關節MR圖像序列進行轉化和分割，但他們使用的2維卷積神經網絡結構會限制單個切片內的圖像特征，并且當圖像之間的對比度不一致時，可能會導致分割偏差。
從特征層面進行的域自適應稱為特征級域自適應，其主要目的是將源域數據和目標域數據映射到同一個特征空間，促使生成器學習跨域特征。Javanmardi等[16]提出了基于GAN的域自適應方法，并在公開的眼血管數據集和電子顯微鏡神經元圖像分割數據集中進行了實驗，將U-Net作為生成器用于圖像的分割，使用另一個卷積神經網絡作為鑒別器對分割結果進行分類，使用0或者1進行標記。Panfilov等[17]同樣基于GAN對膝關節軟骨進行了分割，不僅如此，實驗中使用了兩個鑒別器對不同階段的特征進行分類，以在高維特征層面進行特征自適應學習，并且在三個數據集上進行了實驗，在股骨軟骨和脛骨軟骨上最好的分割準確度結果提高了3.0%和6.8%。但此工作只對軟骨進行了分割，且使用的源域與目標域數據均來自同一公司生產的設備，MR圖像間差異較小。
為了更加有效地解決域轉移問題，提高分割網絡自適應性，本文提出了一種基于GAN的無監督端到端特征級域自適應醫學圖像分割方法。同時對比分析了本文提出的特征級域自適應方法與三種經典方法：① 直接使用由源域數據訓練的分割網絡對目標域圖像進行分割；② Zhu等[12]于2017年提出的圖像級域自適應方法；③ Panfilov等[17]于2019年提出的特征級域自適應方法。進一步的，使用來自不同MR設備且灰度值存在顯著差異的膝關節MR圖像數據集進行域自適應實驗，對所提域自適應方法進行了有效性驗證。
1 特征級域自適應圖像分割方法設計
本文設計了一種無監督端到端特征級域自適應圖像分割方法，整體流程如圖1所示（：源域數據，：源域分割標簽，：目標域數據，：目標域分割標簽）。針對醫學圖像分割中人工標注工作繁瑣、主觀性強等問題，我們采用GAN針對目標域數據進行無監督學習訓練。我們所提的無監督訓練是指在解決域轉移問題過程中，只使用目標域數據而未使用目標域標簽。GAN中生成器的梯度更新信息來自鑒別器，而不是來自數據樣本，同時我們將源域標簽作為鑒別器輸入，使其更加適合針對目標域數據的無監督訓練。本文采用了以殘差模塊為基本模塊的分割網絡，增強了對特征的復用能力。通過源域數據進行分割網絡預訓練，獲得適合源域數據的參數作為GAN中生成器即分割網絡的參數初值。鑒別器結構為卷積神經網絡，其中目標域數據通過重采樣與中心裁剪匹配源域數據格式，與源域分割標簽的獨熱編碼一起作為鑒別器的輸入。再通過GAN對分割網絡參數進行學習和調整，獲得適合目標域的分割網絡參數。隨后通過戴斯相似性系數（Dice similarity coefficient，DSC）進行分割精度檢驗。本文所設計無監督域自適應方法基于Pytorch[18]實現。
圖1
本文提出的域自適應方法流程圖
Figure1.
Flow chart of the proposed domain adaptation method
生成器使用之前在我們的工作中提出的分割網絡[5]，具體如圖2所示。分割網絡的基本模塊為殘差模塊，這樣設計既增加了網絡對特征的復用能力，又起到了降低優化難度的作用。利用并行的擴張卷積模塊獲取不同的感受野，克服了U-Net模型中單一感受野的局限性，有效提高分割能力的魯棒性。使用空洞空間金字塔池化模塊（atrous spatial pyramid pooling，ASPP），利用具有不同感受野的卷積操作，獲取豐富的上下文信息。同時多輸出融合的深監督模塊能直接利用不同層次的特征，實現多尺度特征信息互補，最終提高了分割區域的連貫性和準確性。
圖2
生成器結構
Figure2.
Structure of the generator
鑒別器D的結構如圖3所示，本結構中鑒別器共由5個卷積層組成，初始卷積核數量設置為64，第二層卷積核個數為128，隨后逐層加倍，最后一層輸出通道被設置為1，再通過雙線性插值將最后一層的輸出還原至384×384，即原始圖像的分辨率大小。所使用的激活函數采用Leaky ReLU。
圖3
鑒別器結構
Figure3.
Structure of the discriminator
生成器的具體訓練流程如圖4a所示，源域圖像與目標域圖像作為生成器輸入，生成器輸出圖像分割結果。損失函數設置如公式(1)所示，由分割損失與對抗損失兩部分組成。使用softmax函數，為分割結果的概率值。
圖4
生成對抗網絡訓練過程
a. 生成器訓練流程； b. 鑒別器訓練流程
Figure4. Training process of the GANa. the generator training process; b. the discriminator training process
|
鑒別器的具體訓練流程如圖4b所示，本文將源域數據分割標簽的獨熱編碼作為鑒別器輸入之一，選取二分類交叉熵作為其損失函數，鑒別器的輸出是與圖像分辨率一致的矩陣。二分類交叉熵損失為：
|
對于源域數據，本文中將其標簽設定為矩陣0，對于本地數據其標簽為矩陣1。將 和 分別代入交叉熵損失后相加，可得鑒別器損失函數。且式中 為由生成器得到的源域圖像分割標簽概率圖，我們將此替換為源域標簽 的獨熱編碼，設計了如式(3)所示的鑒別器損失函數，以增加鑒別器精度。
|
2 實驗數據與實驗設計
膝骨關節炎是一種慢性退行性關節疾病，會導致患者關節疼痛和運動障礙。關節軟骨的體積和厚度是膝骨關節炎檢測和分級的重要指標之一[19]。MR成像長期以來被認為是最強大的膝關節檢查工具[20]，臨床上通常用于研究膝關節，特別是關節軟骨的內部結構變化。對于需要進行膝關節置換術的晚期膝骨關節炎患者，利用分割后的MR圖像進行三維重建可以構建患者的膝關節模型，用于個性化假體設計和術前規劃[21]。但是由于成像設備差異、同一設備掃描參數差異等原因，域轉移問題在膝骨關節炎MR圖像的分割中經常出現，并仍未得到有效解決。因此，本文選取了來自不同MR設備且灰度值存在顯著差異的膝關節MR圖像數據集進行了域自適應方法驗證實驗。
設計實驗，對比分析本文所提特征級域自適應方法和三種經典方法：① 直接使用由源域數據訓練的分割網絡對目標域圖像進行分割；② Zhu等[12]于2017年提出的圖像級域自適應方法；③ Panfilov等[17]于2019年提出的特征級域自適應方法。
2.1 實驗數據
本文使用膝關節MR圖像公開數據集OAI-ZIB[22]作為源域數據，使用由北京大學第三醫院運動醫學研究所提供并授權使用的膝骨關節炎患者的膝關節MR圖像數據集[5]作為目標域數據，進行域自適應方法驗證實驗，對所提方法的有效性進行驗證。
OAI-ZIB數據集來自美國國家衛生研究院，數據集的手工分割由柏林Zuse研究機構進行。手工分割區域包括股骨、股骨軟骨、脛骨和脛骨軟骨。合作醫院提供的本地MR圖像數據集，由影像科醫師進行了標注，并使用ITK SNAP軟件進行分割[23]。具體參數如表1所示，兩個數據集的MR圖像之間存在明顯的域轉移問題。
表1
存在域轉移問題的源域與目標域數據集對比
Table1.
Comparison of the source domain dataset and the target domain dataset with domain shift
公開數據集中的MR圖像和合作醫院提供的臨床數據集MR圖像對比如圖5所示。由于MR圖像的具體類型不同，公開數據集圖像中骨性區域一般為黑色，軟骨區域為白色，而本地數據集則相反，兩個數據集中的圖像灰度值存在明顯差異。
圖5
不同數據集圖像對比
Figure5.
Image comparison of different data sets
2.2 實驗設備與數據預處理
實驗中使用的計算機CPU為E5-2678 v3，內存為128 GB，顯卡為2080Ti。
本文使用了OAI-ZIB公開數據集中的1 840張圖像以及本地數據集中的1 694張圖像，為避免同一病例的MR圖像層間相關性對實驗造成影響，數據均以每個病例為整體進行劃分。實驗設計具體為：取OAI-ZIB數據集中的1 840張圖像作為源域數據，隨機選取本地數據集中2例患者共225張圖像作為測試集，1例患者110張圖像作為驗證集，其余12例患者共1 359張圖像作為訓練集。由于公開數據集圖像與本地數據集圖像的像素間距不同，我們對本地數據集圖像進行了重采樣，采用規定化像素間距方法使本地數據集圖像分辨率變為444×444，隨后進行中心裁剪使分辨率為384×384，與公開數據集圖像分辨率相同。
2.3 對比實驗設計
首先使用源域數據與標簽對本文所提出的分割網絡進行訓練，得到適用于源域數據的分割網絡參數。進而使用訓練所得參數配置分割網絡，進行目標域圖像分割，以此作為基線。
其次使用Zhu等[12]提出的CycleGAN圖像級域自適應網絡，將不同類型的MR圖像相互轉換。具體為使用通過CycleGAN訓練好的生成器，將目標域圖像轉換為源域圖像風格，并輸入使用源域數據訓練的分割網絡。本文遵循之前研究中CycleGAN的實驗參數設置，訓練生成器和鑒別器。
最后設計與Panfilov等[17]提出的特征級域自適應方法進行對比。為了控制影響分割結果的因素，對比實驗中的參數設定與本文提出的方法相同。批處理大小設置為1，學習率設置為0.001，動量設置為0.9，權重衰減設置為0.000 5，損失函數中設置為0.1。其中使用公開數據庫數據預訓練模型，優化器為隨機梯度下降（stochastic gradient descent，SGD）[24]。參數隨機初始化后訓練鑒別器，并在其中使用了譜標準化[25]，選用Adam優化器[26]，學習率設置為0.001。學習率使用Poly更新，次方數0.9，訓練次數設定為100 000次。
3 模型訓練與結果分析
本文將所提特征級域自適應方法與三種經典方法分別進行了訓練與分割實驗，同時也對CycleGAN在本文所用數據集中圖像風格轉化的有效性進行了驗證。為了直觀地展示各種方法在圖像分割結果上的差異，隨機選取了兩幅目標域圖像進行不同方法的分割結果定性對比。最后采用戴斯相似性系數對各分割方法在測試集中的分割精度進行了量化評估與對比分析。
3.1 定性分析
我們在測試集中隨機選取兩張圖像進行對比分析，所提方法與三種已有方法的分割結果如圖6所示。由于存在域轉移問題，直接使用由源域數據訓練的分割網絡對目標域圖像進行分割，無法對股骨和脛骨進行有效分割，分割區域不完整。Zhu等[12]提出的圖像級域自適應方法使用CycleGAN將目標域圖像轉換為源域圖像風格，如圖7所示，再使用由源域數據訓練的分割網絡進行分割，能有效改善分割結果，但假陽性區域過多。使用Panfilov等[17]提出的特征級域自適應方法后，分割區域存在較多缺失。而本文所提的特征級域自適應方法的分割結果與手工分割結果最為接近。
圖6
不同分割方法對比
Figure6.
Qualitative segmentation results comparison of different methods
圖7
圖像級域自適應中，目標域圖像轉化為源域風格
Figure7.
In image-level domain adaptation, the target domain image is converted to the source domain state
3.2 定量評估
由于每個病例的MR圖像常由多個存在前后關系的二維圖像切片組成，故評估分割精度時，本文選擇將每個病例的數據作為整體進行評估而不是逐張進行評估，是一種符合數據情況的評估方法。分割精度評估大多采用戴斯相似性系數，其通常用于計算兩個集合間的相似度，適合本研究中的相似度量化評估需求，且最近有研究表明戴斯相似性系數在醫學圖像分割任務中更為合適[27]，故本研究中采用戴斯相似性系數進行定量評估。戴斯相似性系數的計算結果范圍為0%~100%，數值越小表示相似度越差，反之則越好。
實驗中的待分割部分包括股骨、脛骨、股骨軟骨和脛骨軟骨。本文采用戴斯相似性系數對每一個分割區域分別進行評估，隨后取平均值。戴斯相似性系數的計算過程如公式(4)所示。
|
其中，Y代表真值，即目標域的人工分割結果，P為分割網絡預測的結果。
圖像分割對比實驗結果如表2所示，相對于經典域自適應方法，本文提出的無監督特征級域自適應方法在股骨和脛骨區域分割中戴斯相似性系數分別可以達到92.06%和89.34%；同時股骨軟骨的分割精度也得到了較大提升，戴斯相似性系數可達到48.03%；另外，本文所提方法可以獲得最高的平均戴斯相似性系數64.18%，相對于直接使用由源域數據訓練、圖像級域自適應方法[12]和特征級域自適應方法[17]分別提升了48.42%、2.52%和6.10%。直接使用源域數據訓練分割模型參數對本地臨床圖像進行分割，戴斯相似性系數最低，甚至無法分割軟骨。使用經典圖像級域自適應和經典特征級域自適應后，平均戴斯相似性系數有所提高。使用本文所提方法在脛骨軟骨分割中戴斯相似性系數低于經典圖像級域自適應方法，但股骨、股骨軟骨和脛骨的分割中，戴斯相似性系數均高于經典方法。
表2
不同域自適應分割方法戴斯相似性系數對比
Table2.
The DSC comparison of different domain adaptation methods
經典圖像級域自適應對脛骨軟骨分割精度高于特征級域自適應方法，但不論是經典方法還是本文所提方法，對脛骨軟骨區域進行分割的戴斯相似性系數普遍偏低。進行圖像對比后發現，如圖8a所示，目標域數據集中脛骨軟骨部分的對比度較低，脛骨軟骨與脛骨骨性區域界限不明顯。通過調整窗位、窗寬增加對比度后可以使其界限較為清晰，但這種做法會造成圖像中脛骨部分與旁邊的肌肉組織部分相似，如圖8b所示，影響脛骨骨骼部分的分割，故本文在實驗中未對目標域數據進行對比度處理。同時本地數據集均來自膝骨關節炎患者，脛骨軟骨區域均存在一定的病理問題，且脛骨軟骨區域在每張MR圖像中占比較小，約為1.7%，特征級域自適應方法在特征學習過程中會受到模糊邊界與軟骨區域病理問題的影響，從而損失一定的分割精度。
圖8
不同對比度的本地數據集圖像
a. 原始圖像；b. 調整對比度后的圖像
Figure8. MR images with different contrasts in our dataseta. original image; b. contrast adjusted image
相對于對比方法中的經典域自適應方法，本文所提方法的戴斯相似性系數有一定的提升，骨骼區域由于面積較大幾乎在每一張MR圖像上都存在，在實際的人工標注中耗時較多，本文所提的域自適應方法可以較好地解決在骨骼區域的域轉移問題。
4 結論
本文針對醫學圖像智能化分割面臨的域轉移挑戰，提出了一種基于GAN的無監督端到端特征級域自適應圖像分割方法。在膝關節MR圖像公開數據集和我們合作醫院的膝關節MR圖像臨床數據集上進行了域自適應實驗，結果表明所提方法能有效提高分割模型的域自適應能力，顯著提高了對脛骨和股骨的分割精度。本文使用膝關節MR圖像進行方法驗證，此方法還可推廣至其他部位的醫學圖像分割，如髖關節等。未來將開發結合圖像級域自適應與特征級域自適應的方法，結合兩者優勢，同步提高骨性區域與軟骨區域的分割精度，從而更好地在臨床中為假體設計與術前規劃等提供幫助。同時，MR圖像是由多個存在前后關系的二維圖像切片組成，這些切片包含豐富的結構信息，在以后的工作中，將會基于GAN在無監督訓練上的優勢，研發基于圖像切片間相關性的域自適應圖像分割方法，進一步提高分割精度。
重要聲明：
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：孫玉波主要負責研究框架設計、方法設計與實現、數據處理與分析、文稿寫作以及最后定稿。劉嘉男主要負責方法設計與實現、對比方法代碼設計與實現、數據集處理與分析以及文稿寫作。孫澤文主要負責數據集整理、打標、分析與解釋。韓建達教授與于寧波教授主要負責課題構思與設計、資料的分析和解釋、對文稿關鍵方法與學術內容的修改以及最后定稿。
