新型冠狀病毒感染是一種傳染性強、變異性強、潛伏期長的急性呼吸道傳染病。基于電子計算機斷層掃描成像的新型冠狀病毒感染病灶自動分割可以輔助醫生進行快速診斷和精確治療，能有效地減少誤診漏診的風險。針對新型冠狀病毒感染病灶征象復雜且邊界模糊難以分割等痛點，本文在新型冠狀病毒感染病灶分割網絡的基礎上結合水平集分割方法引入了水平集廣義骰子損失函數（LGDL），提出了雙路徑新型冠狀病毒感染病灶分割網絡（Dual-SAUNet++），其中LGDL是由掩膜路徑的廣義骰子損失和水平集路徑的均方誤差聯合所得的自適應權重損失。本文所提模型在測試集上取得的戴斯相似系數為（87.81 ± 10.86）%，交并比為（79.20 ± 14.58）%，敏感度為（94.18 ± 13.56）%，特異度為（99.83 ± 0.43）%，豪斯多夫距離為（18.29 ± 31.48） mm。實驗證明，Dual-SAUNet++能夠同時關注病灶的面積和邊界信息，可以有效分割出多尺度病灶且具有較強的抗噪能力。綜上，本文所提方法通過精確分割病灶區域，可輔助醫生判斷新型冠狀病毒感染的嚴重程度，為后續臨床治療提供可靠依據。
引用本文： 肖漢光, 李煥琪, 冉智強, 張啟航, 張勃龍, 韋羽佳, 祝秀紅. 基于自適應聯合損失函數的新型冠狀病毒感染病灶分割網絡. 生物醫學工程學雜志, 2023, 40(4): 743-752. doi: 10.7507/1001-5515.202206051 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
0 引言
新型冠狀病毒感染（corona virus disease 2019，COVID-19）是一種新型冠狀病毒引起的急性呼吸道傳染病[1]，隨著疫情全面放開，全球累計病例數量出現了急速增長，全人類已經做好了與新型冠狀病毒共存并且長久斗爭的準備[2]。由于毒株變異快、新型變異毒株隱匿性、感染性強等原因，全球抗擊疫情仍面臨巨大考驗。電子計算機斷層掃描成像（computed tomography，CT）可以觀測到新型冠狀病毒感染的典型征象，即單發或雙肺多發斑片狀磨玻璃影（ground glass opacity，GGO）以及間質改變，是新型冠狀病毒感染診斷的重要補充[3]。通過CT圖像可以清晰地發現病灶點及其大小、形態、紋理等特征[4]，同時可以通過分割病灶區域判斷患者肺部受累程度和感染的嚴重程度，為后續臨床治療提供支撐[5]。
新型冠狀病毒感染病灶圖像分割方法可分為傳統方法和深度學習方法。傳統的肺部病灶分割方法眾多[6-12]，例如：由于缺乏大型的、可公開的標注數據集，Khan等[13]提出了一種基于閾值的半自動新型冠狀病毒感染病灶CT圖像分割方法，具有較高的精度和特異性。Chakraborty等[14]提出了一種基于形態學的圖像分割方法，該方法利用簡單的形態學操作來進行空間信息的有效處理。傳統的水平集方法是一種隱式的可變分模型，輪廓曲線被隱式地表示為一個更高維函數（水平集函數）的零水平集。Akbari等[15]利用活動輪廓模型對肺部CT圖像數據進行新型冠狀病毒感染病灶的分割，該方法驗證了水平集方法在新型冠狀病毒感染病灶分割任務中的有效性。上述傳統的方法雖然能夠相對有效地進行新型冠狀病毒感染病灶分割，但是傳統分割方法的普遍缺陷為使用數字圖像處理技術或手動提取特征[12]，其自動化程度低且仍難以提取醫學圖像中復雜的高維特征。
深度學習方法可以從圖像中自動挖掘出與臨床結果相關的高維特征，在肺部疾病的診斷方面表現出優異的能力。U型網絡（U-Net）是經典的圖像分割網絡[16]，隨后也有大量基于U-Net的改進網絡被提出。Zhao等[17]提出了基于空洞卷積和雙重注意力機制的U-Net（dual attention mechanism U-Net，D2A U-Net）實現新型冠狀病毒感染病灶分割，取得的戴斯相似系數（Dice similarity coefficient，DSC）為72.98%，敏感度（sensitivity，Sen）為70.71%。Joseph Raj等[18]用密集網絡塊取代卷積層和池化層以加快信息傳輸速度，并用注意力門抑制背景，改進的空洞卷積能夠獲得更多的邊緣特征，取得的DSC為80.31%，F1分數（F1-score，F1）為82%。微小病灶的分割一直是醫學分割領域的難題，一些研究將新的網絡結構與優化的損失函數相結合，以達到提升微小病灶分割準確率的作用。Wang等[19]將具有噪聲魯棒性的戴斯（Dice）損失函數與科普爾網絡（COPLE-Net）和自適應框架組合進行訓練，有效地將病灶從含有噪聲的切片中準確分割出來，取得的DSC為80.72%。Zhou等[20]在U-Net的基礎上引入通道和空間注意力機制，并使用焦點損失作為損失函數，通過調整系數來關注小病灶的分割，該方法分割單張CT切片僅需0.29 s，DSC和豪斯多夫距離（Hausdorff distance，HD）分別為83.1%和18.8 mm。大多數肺部病灶分割模型對大尺度病灶分割效果較好，但難以適應多尺度病灶分割需求，且存在病灶邊界分割不準確的問題。新型冠狀病毒感染感染初期病灶表現為高透明度的磨玻璃影，重癥期為明顯的白色實變，實變區域與多發微小病灶并存且征象復雜，現有的肺部病灶分割模型很難適應新型冠狀病毒感染病灶分割的要求。
本文針對現有模型對病灶邊界分割不準確、對多尺度病灶適應性差的問題，將傳統水平集方法與深度學習方法相結合，提出基于自適應聯合損失函數的雙路徑新型冠狀病毒感染病灶分割網絡（Dual-SAUNet++）用于新型冠狀病毒感染病灶CT圖像分割，創新點包括以下三個方面：
（1）本文在融合了擠壓激勵殘差 （squeeze excitation residual，SER）通道注意力機制和空洞空間金字塔池化（atrous spatial pyramid pooling，ASPP）多尺度特征提取模塊的SAUNet++網絡基礎上，增加了水平集距離圖的預測路徑，水平集距離圖可以輔助模型輸出更精確的掩膜圖，以期實現雙預測路徑網絡優于現有分割網絡。
（2）本文將掩膜路徑的廣義Dice損失（generalized Dice loss，GDL）和水平集路徑的均方誤差（mean-square error，MSE）損失聯合構成水平集廣義Dice損失函數（level set generalized Dice loss function，LGDL），使模型既關注病灶的區域信息又同時關注病灶的邊界信息，以期改善模型對病灶邊界的分割效果，提高模型對多尺度病灶分割的能力和抗噪能力。
（3）本文提出的LGDL是一種自適應聯合損失函數，使模型在訓練過程中可以動態地調整掩膜路徑和水平集路徑的損失權重，以期實現模型對病灶區域信息與病灶邊界信息的最優結合，同時提高模型對病灶區域和病灶邊界的分割效果。
1 研究方法
1.1 網絡結構
本文提出的Dual-SAUNet++網絡結構如圖1所示，該網絡在SAUNet++的基礎上引入雙輸出聯合損失函數[21]，其中SAUNet++是將若干SER模塊通過下采樣鏈接、上采樣鏈接以及不同長度的跳躍連接形成形同巢穴U-Net（U-Net++）的多層U型結構[22]，它有一條下采樣鏈路和四條不同深度的上采樣鏈路，并在下采樣鏈路的最末端增加了一個ASPP模塊作為最深層上采樣的輸入。SER模塊，用來調整特征圖的通道數和各通道的權值，其內部的擠壓激勵模塊的輸出和輸入形成殘差鏈接。ASPP模塊，采用多尺度空洞卷積將下采樣鏈路提取到的特征圖進行多尺度信息統一合并輸入上采樣鏈。網絡輸出端由兩條路徑組成，上方路徑是常見的掩膜預測路徑，使用S型生長曲線（sigmoid）激活函數，像素值變化區間為（0， 1）；下方路徑是水平集距離圖預測路徑，使用雙曲正切（tanh）激活函數，像素值變化區間為（?1， 1）。將模型的輸出分別經過兩種不同的激活函數可以得到對應的預測標簽，即掩膜路徑的掩膜圖和水平集路徑的水平集距離圖，進而分別使用GDL和MSE計算聯合損失函數。水平集距離圖是由真實掩膜通過距離變換得到[23]。雖然這兩條路徑的分割結果形式不同，但目標都是分割新型冠狀病毒感染病灶，即利用兩條路徑的表示差異來構建任務一致性，因此總體的損失函數為兩條路徑損失的線性組合。
圖1
Dual-SAUNet++網絡
Figure1.
Dual-SAUNet++ network
1.2 水平集方法
基于水平集方法的圖像分割使用水平集函數來模擬輪廓的演化，水平集函數理論上可以定義為任意連續的李普希茨（Lipschitz）函數，但在實際應用過程中通常初始化為符號距離函數。水平集方法是通過捕獲目標區域的能量泛函并對水平集函數進行演化實現對目標的分割。在傳統的水平集方法中，水平集函數會失去其符號距離性質，產生不規則性。而深度學習方法可以通過模型訓練對誤差進行反向傳播來對能量泛函進行求解，從而可以形成端到端的分割。水平集距離圖可以輔助模型輸出更精確的掩膜圖，為了將基于水平集的圖像分割方法與深度學習方法進行有效的結合，本文引入雙輸出損失路徑對模型求解進行優化。通過使用tanh函數擬合模型輸出作為對應的符號距離函數，并與由真實標簽構造的水平集距離圖計算損失。在水平集路徑損失中將掩膜圖像重構為水平集距離圖，公式如式(1)所示[19]：
 |
其中，x表示分割掩膜；y表示目標邊界；
是零水平集，也表示分割目標的輪廓；Sin和Sout分別表示分割目標的內部區域和外部區域；T（x）表示掩膜圖到水平集距離圖的任務轉換。新型冠狀病毒感染病灶圖像的水平集距離圖變換過程如圖2所示，同一行表示同一病灶的不同表示方式。
圖2
新型冠狀病毒感染病灶圖像的水平集距離圖變換過程
Figure2.
Transformation process of the level set distance of corona virus disease 2019 lesion image
1.3 損失函數
醫學圖像分割任務中，病變區域往往只占整張圖片的小部分，存在嚴重的病灶區域數據不平衡問題和小病灶區域分割困難問題。Dice損失廣泛用于圖像分割模型的訓練，但對于小目標的分割，一旦有少量像素點預測錯誤，Dice損失就會產生明顯震蕩，導致訓練不穩定[24]。Sudre等[25]在Dice損失的基礎上提出GDL（以符號GDL表示），它引入與病灶面積成反比的權重，彌補了Dice損失在小目標分割時的缺陷，如式(2)～式(3)所示：
 |
 |
其中，rln∈［0，1］和pln∈［0，1］分別表示類別l在第n個位置的真實像素類別和預測概率值，wl表示每個類別的權重，N表示切片的總像素數。ε設為1 × 10?5，為了避免損失函數分母為0的問題。每個病變的占比通過其面積的倒數來修正，從而降低病灶大小和Dice損失之間的關聯性。
MSE是反映預測數據與原始數據之間差異程度的一種度量，并且對離群點和異常值具有較好魯棒性。在本研究中，通過模型訓練對水平集路徑的預測結果和金標準水平集距離圖之間對應點的MSE進行反向傳播，實現對病灶邊界的回歸，改善病灶邊界的分割效果。MSE（以符號MSE表示）的計算公式如式（4）所示：
 '/> |
其中，y和 
分別表示在第i個位置的真實值和預測值，n表示切片的總像素數。
本研究中的Dual-SAUNet++網絡具有雙輸出路徑，掩膜路徑采用的損失函數是GDL（以符號GDL表示），水平集路徑采用的損失函數是MSE（以符號MSE表示）。由于本研究希望模型同時關注病灶區域和邊界特征，最終采用的損失函數為LGDL（以符號LGDL表示），即掩膜路徑的GDL和水平集路徑的MSE與各自權重之積再求和。現有大多數研究采用固定權重對多損失進行聯合，然而固定權重存在以下局限：一方面權重的選取需要大量實驗并且很難最優，另一方面在訓練時可能限制任務的學習。因此，本研究采用自適應權重，使模型在訓練過程中根據不同訓練階段的損失值自適應分配權重，從而提高模型性能，如式(5)～式(7)所示：
 |
 |
 |
其中，w1和w2分別表示GDL的權重和MSE損失的權重，gdl和mse分別對應GDL和MSE的值，e為指數函數的底數，ε設1 × 10?7，為了避免系數分母為0的問題。
2 實驗設置
2.1 數據集
實驗中使用的肺部CT切片來自四個數據集: 其中新型冠狀病毒感染CT分割數據集（corona virus disease 2019 CT segmentation dataset，COVID-19-CT-Seg）[26]、莫斯科醫學數據集（Moscow medicine dataset， MosMed）[27]、醫學分割數據集（medical segmentation dataset，MedSeg）[28]為公開數據集，電子科技大學新型冠狀病毒感染數據集（corona virus disease 2019 dataset from the University of Electronic Science and Technology of China，UESTC-COVID-19）為非公開數據集，但本文研究已獲得授權可使用該數據集的數據。所有數據集均為由專業醫生標注的肺部病變分割數據集。本研究從不同感染程度的新型冠狀病毒感染患者（共計250例）的CT掃描片中提取了11 359個含有病灶且病灶面積大于10像素的切片，將其中的10 000張用于訓練和驗證，1 359張用于測試。值得說明的是，訓練集與驗證集的選取是隨機的，保證了實驗的科學性，測試的1 359張是從四個數據集中抽樣得來，數據的多樣性可以對模型的性能和泛化能力進行評估，用于測試的數據集獨立于訓練集之外，沒有泄露，充分保證了實驗結果的可靠性。實驗中使用5折交叉驗證的方法對模型進行訓練以及性能驗證，所得的實驗結果是絕對科學且可靠的，可以對模型的性能和泛化能力進行評估。預處理階段將這些原始大小為512 × 512或680 × 680的切片統一變換為256 × 256，并且將肺窗口窗寬、窗位分別調整為1 200和?500。
2.2 評價指標
分割任務中最常用的評價指標為DSC和交并比（intersetion over union，IoU），同時為了多維度評價模型性能，本研究還使用了Sen、特異度(specificity，Spe)、HD、推理時間等參數。DSC和IoU用于評估真實掩膜和模型分割結果的重疊率，Sen用于預測正確的陽性樣本占真實陽性樣本的比例，Spe用于預測正確的陰性樣本占真實陰性樣本的比例，HD表示物體之間的最大表面距離，其計算公式如式(8)～式(13)所示：
 |
 |
 |
 |
 |
 |
式中，真陽性（true positive，TP）表示正類別中正確分類樣本的數量；真陰性（true negative，TN）表示負類別中正確分類樣本的數量；假陽性（false positive，FP）表示正類別中錯誤分類樣本的數量；假陰性（false negative，FN）是負類別中錯誤分類樣本的數量。X是真實掩膜，Y是分割結果，x和y分別表示X和Y的邊界像素集合，d（x， y）表示像素x與像素集合y之間的最小歐氏距離。HD的值越小說明分割效果越準確。
2.3 實驗環境
本文所有實驗使用英偉達2080顯卡（GeForce RTX2 080 SUPER 8G，NVIDIA，美國）進行訓練，學習率為1 × 10?5，批大小為6，最大輪次（epoch）為200。如果連續20個輪次在驗證集的準確率都沒有提升，模型將自動停止訓練防止過擬合。為了比較不同模型的性能，實驗中的所有模型都未進行預訓練。
3 實驗結果與討論
3.1 模型對比實驗
基于實驗所用的數據集，將Dual-SAUNet++與最先進的醫學圖像分割模型進行了比較。U-Net是最經典的醫學圖像分割模型。殘差注意力U-Net（residual attention-aware U-Net，RA-Unet）在U-Net的結構上增加了注意力殘差機制[29]。空間和通道的殘差雙注意力U-Net（spatial and channel attention residual U-Net，AttSEResUnet）增加了殘差塊以及空間級和通道級注意力門。COPLE-Net增加了擠壓激勵模塊和橋接層[19]。高效的新型冠狀病毒感染迷你分割網絡（minimum network for efficient corona virus disease 2019 segmentation，MiniSeg）使用空間金字塔模塊來提取和融合特征，參數量相對較小[30]。新型冠狀病毒肺部感染分割網絡（corona virus disease 2019 lung infection segmentation network，Inf-Net）使用了將三個反向注意力模塊與并行解碼器連接[28]。不同模型在測試集上的性能如表1所示。Dual-SAUNet++在多項指標上表現良好，DSC取得（87.81 ± 10.86）%，IoU取得（79.20 ± 14.58）%，Sen取得（94.18 ± 13.56）%，Spe取得（99.83 ± 0.43）%，HD取得（18.29 ± 31.48） mm。
表1
不同模型分割新型冠狀病毒感染病灶的指標值
Table1.
Index values of different models to segment corona virus disease 2019 lesions
通過實驗結果可以發現，Dual-SAUNet++模型在DSC、IoU、Sen、Spe和HD上均優于現有模型，其中HD提升較為明顯，這說明本模型在關注病灶區域的同時對病灶邊界處理得更好。綜合來看，Dual-SAUNet++雖然由于自身復雜的網絡結構在推理時間上不具有較大優勢，但分割效果是最優的，分割邊界也是最精確的。Inf-Net模型的DSC也可以達到87%，但是其Sen遠低于Dual-SAUNet++模型。對于一個醫學圖像分割任務模型，分割的精度和邊界輪廓是更加重要的評價指標。如圖3所示，展示了其中五種模型的分割結果，每一行表示不同病灶切片在不同模型中所對應的分割結果，第一列為測試集中的原始病灶切片，最后一列為原始病灶切片所對應的真實掩膜圖。在各模型的對比中發現U-Net對于小病灶的分割容易丟失，對于復雜病灶的分割容易分割過度。隨著SER和ASPP模塊的引入，模型在高透明度的GGO、位于血管和氣管附近的病變、位于胸壁的病變的分割效果上有明顯改進。隨著自適應權重聯合損失對模型損失函數的改進，模型對病灶邊界的分割性能又有進一步的提升，即本研究提出的Dual-SAUNet++模型得到的輸出結果與真實掩膜最為接近。
圖3
不同模型對新型冠狀病毒感染病灶的分割結果
Figure3.
Index values of different models to segment corona virus disease 2019 lesions
3.2 損失函數對比實驗
Dice損失、焦點特沃斯基損失函數（focal Tversky loss，FTL）和GDL是醫學圖像分割任務中常見的損失函數，本組實驗分別使用了Dice損失、FTL、GDL、LGDL作為損失函數訓練SAUNet++模型，結果如表2所示。
表2
不同損失函數分割新型冠狀病毒感染病灶的指標值
Table2.
The index values of different loss functions to segment corona virus disease 2019
表2中，FTL相比Dice損失在DSC上略有上升，但是Sen指標下降明顯，不適用于新型冠狀病毒感染病灶分割。GDL相比Dice損失和FTL在各個指標上均有一定的性能提升。LGDL相比于GDL、DSC、Sen和HD均有所提升，證明了水平集路徑對模型分割的輔助作用。具體而言，LGDL中GDL、MSE以及自適應權重w1、w2的訓練過程如圖4所示。
圖4
Dual-SAUNet++網絡中w1、w2以及各損失函數訓練過程
Figure4.
Training process of w1, w2 and each loss function in Dual-SAUNet++ network
圖4中，w1在訓練過程中逐漸減小，w2在訓練過程中逐漸增大，二者逐漸趨于0.5:0.5。由于模型在病灶分割任務中對病灶區域識別的優先級高于病灶輪廓識別，所以在模型剛開始訓練時GDL較大，其對應權重w1也就相對較大，隨著訓練的進行，模型逐漸關注于優化病灶分割邊界，所以水平集路徑權重w2逐漸變大。從損失函數整體來看，GDL與LGDL變化基本相同，GDL主導模型訓練，水平集路徑的MSE以較小值輔助模型訓練。不同損失函數的分割結果如圖5所示，每一行表示不同病灶切片在不同損失函數下所對應的分割結果，第一列為測試集中的原始病灶切片，最后一列為原始病灶切片所對應的真實掩膜圖。在各損失函數的對比中發現，Dice損失和FTL對小病灶的分割容易丟失且分割邊界較為平整，不能很好地擬合病灶邊界。當模型將損失函數改為GDL，對微小病灶分割精度提高，病灶邊界仍舊存在分割過度的問題。隨著水平集路徑損失函數的加入，對病灶輪廓的分割更加精確。如圖6所示，直觀展示了LGDL對微小病灶分割以及病灶分割邊界的改進。第一行是病灶的真實標簽；第二行是GDL分割結果與真實標簽的對比，綠色標記為GDL的分割輪廓；第三行是LGDL分割結果與真實標簽的對比，紅色標記為LGDL的分割輪廓；第四行是LGDL分割結果與GDL分割結果的對比，藍色標記為LGDL的分割輪廓。整體來看，LGDL對邊界以及微小病灶的分割性能優于GDL，證明了本研究所提出的水平集路徑可以從目標邊界的角度改善分割結果。
圖5
不同損失函數模型對新型冠狀病毒感染病灶的分割結果
Figure5.
Segmentation results of corona virus disease 2019 lesions by different loss functions
圖6
不同損失函數模型對新型冠狀病毒感染病灶的分割結果對比
Figure6.
Comparison of segmentation results of corona virus disease 2019 lesions by different loss functions
4 總結
本文提出了一個基于自適應聯合損失函數的Dual-SAUNet++模型，在SAUNet++網絡的輸出端增加了水平集距離圖的預測路徑，將掩膜路徑的GDL和水平集路徑的MSE損失結合構成新的自適應聯合損失函數LGDL。基于LGDL訓練SAUNet++模型，并最終取得DSC為（87.81 ± 10.86）%，Sen度為（94.18 ± 13.56）%，HD僅為（18.29 ± 31.48） mm的結果。模型測試階段，分別進行了模型間的對比實驗和損失函數的對比實驗。從實驗結果中可以發現，本模型在各個評價指標上均優于現有模型，在DSC上與性能最好的SAUNet++模型對比仍有提升，并且HD比模型U-Net和SAUNet++均有減少，表明本模型在保證分割精度的同時使分割邊界更加接近真實輪廓。這一優勢針對多尺度病灶的分割效果都有明顯改進，尤其是微小病灶，解決了其它模型對多尺度病灶分割適應性低的問題。雖然本研究所提出的模型由于自身結構較復雜，在推理時間上相對較長，但是在病灶分割的任務上更加重要的評價指標是模型的分割精度，因為病灶的準確分割對患者的后期治療有重大影響。所以總體來看，Dual-SAUNet++的綜合性能優于目前最先進的模型。但是本模型僅使用了有標簽數據進行訓練，未來可以將模型與半監督、弱監督學習以及多模態融合結合，充分利用數據以提升醫學圖像分割效果。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：肖漢光主要負責實驗數據分析指導，論文審閱修訂；李煥琪主要負責損失函數優化實驗以及論文撰寫；冉智強主要負責分割實驗；韋羽佳和祝秀紅主要負責實驗數據收集，文獻整理；張啟航主要負責論文排版和整理；張勃龍主要負責水平集距離圖理論部分撰寫。
0 引言
新型冠狀病毒感染（corona virus disease 2019，COVID-19）是一種新型冠狀病毒引起的急性呼吸道傳染病[1]，隨著疫情全面放開，全球累計病例數量出現了急速增長，全人類已經做好了與新型冠狀病毒共存并且長久斗爭的準備[2]。由于毒株變異快、新型變異毒株隱匿性、感染性強等原因，全球抗擊疫情仍面臨巨大考驗。電子計算機斷層掃描成像（computed tomography，CT）可以觀測到新型冠狀病毒感染的典型征象，即單發或雙肺多發斑片狀磨玻璃影（ground glass opacity，GGO）以及間質改變，是新型冠狀病毒感染診斷的重要補充[3]。通過CT圖像可以清晰地發現病灶點及其大小、形態、紋理等特征[4]，同時可以通過分割病灶區域判斷患者肺部受累程度和感染的嚴重程度，為后續臨床治療提供支撐[5]。
新型冠狀病毒感染病灶圖像分割方法可分為傳統方法和深度學習方法。傳統的肺部病灶分割方法眾多[6-12]，例如：由于缺乏大型的、可公開的標注數據集，Khan等[13]提出了一種基于閾值的半自動新型冠狀病毒感染病灶CT圖像分割方法，具有較高的精度和特異性。Chakraborty等[14]提出了一種基于形態學的圖像分割方法，該方法利用簡單的形態學操作來進行空間信息的有效處理。傳統的水平集方法是一種隱式的可變分模型，輪廓曲線被隱式地表示為一個更高維函數（水平集函數）的零水平集。Akbari等[15]利用活動輪廓模型對肺部CT圖像數據進行新型冠狀病毒感染病灶的分割，該方法驗證了水平集方法在新型冠狀病毒感染病灶分割任務中的有效性。上述傳統的方法雖然能夠相對有效地進行新型冠狀病毒感染病灶分割，但是傳統分割方法的普遍缺陷為使用數字圖像處理技術或手動提取特征[12]，其自動化程度低且仍難以提取醫學圖像中復雜的高維特征。
深度學習方法可以從圖像中自動挖掘出與臨床結果相關的高維特征，在肺部疾病的診斷方面表現出優異的能力。U型網絡（U-Net）是經典的圖像分割網絡[16]，隨后也有大量基于U-Net的改進網絡被提出。Zhao等[17]提出了基于空洞卷積和雙重注意力機制的U-Net（dual attention mechanism U-Net，D2A U-Net）實現新型冠狀病毒感染病灶分割，取得的戴斯相似系數（Dice similarity coefficient，DSC）為72.98%，敏感度（sensitivity，Sen）為70.71%。Joseph Raj等[18]用密集網絡塊取代卷積層和池化層以加快信息傳輸速度，并用注意力門抑制背景，改進的空洞卷積能夠獲得更多的邊緣特征，取得的DSC為80.31%，F1分數（F1-score，F1）為82%。微小病灶的分割一直是醫學分割領域的難題，一些研究將新的網絡結構與優化的損失函數相結合，以達到提升微小病灶分割準確率的作用。Wang等[19]將具有噪聲魯棒性的戴斯（Dice）損失函數與科普爾網絡（COPLE-Net）和自適應框架組合進行訓練，有效地將病灶從含有噪聲的切片中準確分割出來，取得的DSC為80.72%。Zhou等[20]在U-Net的基礎上引入通道和空間注意力機制，并使用焦點損失作為損失函數，通過調整系數來關注小病灶的分割，該方法分割單張CT切片僅需0.29 s，DSC和豪斯多夫距離（Hausdorff distance，HD）分別為83.1%和18.8 mm。大多數肺部病灶分割模型對大尺度病灶分割效果較好，但難以適應多尺度病灶分割需求，且存在病灶邊界分割不準確的問題。新型冠狀病毒感染感染初期病灶表現為高透明度的磨玻璃影，重癥期為明顯的白色實變，實變區域與多發微小病灶并存且征象復雜，現有的肺部病灶分割模型很難適應新型冠狀病毒感染病灶分割的要求。
本文針對現有模型對病灶邊界分割不準確、對多尺度病灶適應性差的問題，將傳統水平集方法與深度學習方法相結合，提出基于自適應聯合損失函數的雙路徑新型冠狀病毒感染病灶分割網絡（Dual-SAUNet++）用于新型冠狀病毒感染病灶CT圖像分割，創新點包括以下三個方面：
（1）本文在融合了擠壓激勵殘差 （squeeze excitation residual，SER）通道注意力機制和空洞空間金字塔池化（atrous spatial pyramid pooling，ASPP）多尺度特征提取模塊的SAUNet++網絡基礎上，增加了水平集距離圖的預測路徑，水平集距離圖可以輔助模型輸出更精確的掩膜圖，以期實現雙預測路徑網絡優于現有分割網絡。
（2）本文將掩膜路徑的廣義Dice損失（generalized Dice loss，GDL）和水平集路徑的均方誤差（mean-square error，MSE）損失聯合構成水平集廣義Dice損失函數（level set generalized Dice loss function，LGDL），使模型既關注病灶的區域信息又同時關注病灶的邊界信息，以期改善模型對病灶邊界的分割效果，提高模型對多尺度病灶分割的能力和抗噪能力。
（3）本文提出的LGDL是一種自適應聯合損失函數，使模型在訓練過程中可以動態地調整掩膜路徑和水平集路徑的損失權重，以期實現模型對病灶區域信息與病灶邊界信息的最優結合，同時提高模型對病灶區域和病灶邊界的分割效果。
1 研究方法
1.1 網絡結構
本文提出的Dual-SAUNet++網絡結構如圖1所示，該網絡在SAUNet++的基礎上引入雙輸出聯合損失函數[21]，其中SAUNet++是將若干SER模塊通過下采樣鏈接、上采樣鏈接以及不同長度的跳躍連接形成形同巢穴U-Net（U-Net++）的多層U型結構[22]，它有一條下采樣鏈路和四條不同深度的上采樣鏈路，并在下采樣鏈路的最末端增加了一個ASPP模塊作為最深層上采樣的輸入。SER模塊，用來調整特征圖的通道數和各通道的權值，其內部的擠壓激勵模塊的輸出和輸入形成殘差鏈接。ASPP模塊，采用多尺度空洞卷積將下采樣鏈路提取到的特征圖進行多尺度信息統一合并輸入上采樣鏈。網絡輸出端由兩條路徑組成，上方路徑是常見的掩膜預測路徑，使用S型生長曲線（sigmoid）激活函數，像素值變化區間為（0， 1）；下方路徑是水平集距離圖預測路徑，使用雙曲正切（tanh）激活函數，像素值變化區間為（?1， 1）。將模型的輸出分別經過兩種不同的激活函數可以得到對應的預測標簽，即掩膜路徑的掩膜圖和水平集路徑的水平集距離圖，進而分別使用GDL和MSE計算聯合損失函數。水平集距離圖是由真實掩膜通過距離變換得到[23]。雖然這兩條路徑的分割結果形式不同，但目標都是分割新型冠狀病毒感染病灶，即利用兩條路徑的表示差異來構建任務一致性，因此總體的損失函數為兩條路徑損失的線性組合。
圖1
Dual-SAUNet++網絡
Figure1.
Dual-SAUNet++ network
1.2 水平集方法
基于水平集方法的圖像分割使用水平集函數來模擬輪廓的演化，水平集函數理論上可以定義為任意連續的李普希茨（Lipschitz）函數，但在實際應用過程中通常初始化為符號距離函數。水平集方法是通過捕獲目標區域的能量泛函并對水平集函數進行演化實現對目標的分割。在傳統的水平集方法中，水平集函數會失去其符號距離性質，產生不規則性。而深度學習方法可以通過模型訓練對誤差進行反向傳播來對能量泛函進行求解，從而可以形成端到端的分割。水平集距離圖可以輔助模型輸出更精確的掩膜圖，為了將基于水平集的圖像分割方法與深度學習方法進行有效的結合，本文引入雙輸出損失路徑對模型求解進行優化。通過使用tanh函數擬合模型輸出作為對應的符號距離函數，并與由真實標簽構造的水平集距離圖計算損失。在水平集路徑損失中將掩膜圖像重構為水平集距離圖，公式如式(1)所示[19]：
|
其中，x表示分割掩膜；y表示目標邊界； 是零水平集，也表示分割目標的輪廓；Sin和Sout分別表示分割目標的內部區域和外部區域；T（x）表示掩膜圖到水平集距離圖的任務轉換。新型冠狀病毒感染病灶圖像的水平集距離圖變換過程如圖2所示，同一行表示同一病灶的不同表示方式。
圖2
新型冠狀病毒感染病灶圖像的水平集距離圖變換過程
Figure2.
Transformation process of the level set distance of corona virus disease 2019 lesion image
1.3 損失函數
醫學圖像分割任務中，病變區域往往只占整張圖片的小部分，存在嚴重的病灶區域數據不平衡問題和小病灶區域分割困難問題。Dice損失廣泛用于圖像分割模型的訓練，但對于小目標的分割，一旦有少量像素點預測錯誤，Dice損失就會產生明顯震蕩，導致訓練不穩定[24]。Sudre等[25]在Dice損失的基礎上提出GDL（以符號GDL表示），它引入與病灶面積成反比的權重，彌補了Dice損失在小目標分割時的缺陷，如式(2)～式(3)所示：
|
|
其中，rln∈［0，1］和pln∈［0，1］分別表示類別l在第n個位置的真實像素類別和預測概率值，wl表示每個類別的權重，N表示切片的總像素數。ε設為1 × 10?5，為了避免損失函數分母為0的問題。每個病變的占比通過其面積的倒數來修正，從而降低病灶大小和Dice損失之間的關聯性。
MSE是反映預測數據與原始數據之間差異程度的一種度量，并且對離群點和異常值具有較好魯棒性。在本研究中，通過模型訓練對水平集路徑的預測結果和金標準水平集距離圖之間對應點的MSE進行反向傳播，實現對病灶邊界的回歸，改善病灶邊界的分割效果。MSE（以符號MSE表示）的計算公式如式（4）所示：
| '/> |
其中，y和 分別表示在第i個位置的真實值和預測值，n表示切片的總像素數。
本研究中的Dual-SAUNet++網絡具有雙輸出路徑，掩膜路徑采用的損失函數是GDL（以符號GDL表示），水平集路徑采用的損失函數是MSE（以符號MSE表示）。由于本研究希望模型同時關注病灶區域和邊界特征，最終采用的損失函數為LGDL（以符號LGDL表示），即掩膜路徑的GDL和水平集路徑的MSE與各自權重之積再求和。現有大多數研究采用固定權重對多損失進行聯合，然而固定權重存在以下局限：一方面權重的選取需要大量實驗并且很難最優，另一方面在訓練時可能限制任務的學習。因此，本研究采用自適應權重，使模型在訓練過程中根據不同訓練階段的損失值自適應分配權重，從而提高模型性能，如式(5)～式(7)所示：
|
|
|
其中，w1和w2分別表示GDL的權重和MSE損失的權重，gdl和mse分別對應GDL和MSE的值，e為指數函數的底數，ε設1 × 10?7，為了避免系數分母為0的問題。
2 實驗設置
2.1 數據集
實驗中使用的肺部CT切片來自四個數據集: 其中新型冠狀病毒感染CT分割數據集（corona virus disease 2019 CT segmentation dataset，COVID-19-CT-Seg）[26]、莫斯科醫學數據集（Moscow medicine dataset， MosMed）[27]、醫學分割數據集（medical segmentation dataset，MedSeg）[28]為公開數據集，電子科技大學新型冠狀病毒感染數據集（corona virus disease 2019 dataset from the University of Electronic Science and Technology of China，UESTC-COVID-19）為非公開數據集，但本文研究已獲得授權可使用該數據集的數據。所有數據集均為由專業醫生標注的肺部病變分割數據集。本研究從不同感染程度的新型冠狀病毒感染患者（共計250例）的CT掃描片中提取了11 359個含有病灶且病灶面積大于10像素的切片，將其中的10 000張用于訓練和驗證，1 359張用于測試。值得說明的是，訓練集與驗證集的選取是隨機的，保證了實驗的科學性，測試的1 359張是從四個數據集中抽樣得來，數據的多樣性可以對模型的性能和泛化能力進行評估，用于測試的數據集獨立于訓練集之外，沒有泄露，充分保證了實驗結果的可靠性。實驗中使用5折交叉驗證的方法對模型進行訓練以及性能驗證，所得的實驗結果是絕對科學且可靠的，可以對模型的性能和泛化能力進行評估。預處理階段將這些原始大小為512 × 512或680 × 680的切片統一變換為256 × 256，并且將肺窗口窗寬、窗位分別調整為1 200和?500。
2.2 評價指標
分割任務中最常用的評價指標為DSC和交并比（intersetion over union，IoU），同時為了多維度評價模型性能，本研究還使用了Sen、特異度(specificity，Spe)、HD、推理時間等參數。DSC和IoU用于評估真實掩膜和模型分割結果的重疊率，Sen用于預測正確的陽性樣本占真實陽性樣本的比例，Spe用于預測正確的陰性樣本占真實陰性樣本的比例，HD表示物體之間的最大表面距離，其計算公式如式(8)～式(13)所示：
|
|
|
|
|
|
式中，真陽性（true positive，TP）表示正類別中正確分類樣本的數量；真陰性（true negative，TN）表示負類別中正確分類樣本的數量；假陽性（false positive，FP）表示正類別中錯誤分類樣本的數量；假陰性（false negative，FN）是負類別中錯誤分類樣本的數量。X是真實掩膜，Y是分割結果，x和y分別表示X和Y的邊界像素集合，d（x， y）表示像素x與像素集合y之間的最小歐氏距離。HD的值越小說明分割效果越準確。
2.3 實驗環境
本文所有實驗使用英偉達2080顯卡（GeForce RTX2 080 SUPER 8G，NVIDIA，美國）進行訓練，學習率為1 × 10?5，批大小為6，最大輪次（epoch）為200。如果連續20個輪次在驗證集的準確率都沒有提升，模型將自動停止訓練防止過擬合。為了比較不同模型的性能，實驗中的所有模型都未進行預訓練。
3 實驗結果與討論
3.1 模型對比實驗
基于實驗所用的數據集，將Dual-SAUNet++與最先進的醫學圖像分割模型進行了比較。U-Net是最經典的醫學圖像分割模型。殘差注意力U-Net（residual attention-aware U-Net，RA-Unet）在U-Net的結構上增加了注意力殘差機制[29]。空間和通道的殘差雙注意力U-Net（spatial and channel attention residual U-Net，AttSEResUnet）增加了殘差塊以及空間級和通道級注意力門。COPLE-Net增加了擠壓激勵模塊和橋接層[19]。高效的新型冠狀病毒感染迷你分割網絡（minimum network for efficient corona virus disease 2019 segmentation，MiniSeg）使用空間金字塔模塊來提取和融合特征，參數量相對較小[30]。新型冠狀病毒肺部感染分割網絡（corona virus disease 2019 lung infection segmentation network，Inf-Net）使用了將三個反向注意力模塊與并行解碼器連接[28]。不同模型在測試集上的性能如表1所示。Dual-SAUNet++在多項指標上表現良好，DSC取得（87.81 ± 10.86）%，IoU取得（79.20 ± 14.58）%，Sen取得（94.18 ± 13.56）%，Spe取得（99.83 ± 0.43）%，HD取得（18.29 ± 31.48） mm。
表1
不同模型分割新型冠狀病毒感染病灶的指標值
Table1.
Index values of different models to segment corona virus disease 2019 lesions
通過實驗結果可以發現，Dual-SAUNet++模型在DSC、IoU、Sen、Spe和HD上均優于現有模型，其中HD提升較為明顯，這說明本模型在關注病灶區域的同時對病灶邊界處理得更好。綜合來看，Dual-SAUNet++雖然由于自身復雜的網絡結構在推理時間上不具有較大優勢，但分割效果是最優的，分割邊界也是最精確的。Inf-Net模型的DSC也可以達到87%，但是其Sen遠低于Dual-SAUNet++模型。對于一個醫學圖像分割任務模型，分割的精度和邊界輪廓是更加重要的評價指標。如圖3所示，展示了其中五種模型的分割結果，每一行表示不同病灶切片在不同模型中所對應的分割結果，第一列為測試集中的原始病灶切片，最后一列為原始病灶切片所對應的真實掩膜圖。在各模型的對比中發現U-Net對于小病灶的分割容易丟失，對于復雜病灶的分割容易分割過度。隨著SER和ASPP模塊的引入，模型在高透明度的GGO、位于血管和氣管附近的病變、位于胸壁的病變的分割效果上有明顯改進。隨著自適應權重聯合損失對模型損失函數的改進，模型對病灶邊界的分割性能又有進一步的提升，即本研究提出的Dual-SAUNet++模型得到的輸出結果與真實掩膜最為接近。
圖3
不同模型對新型冠狀病毒感染病灶的分割結果
Figure3.
Index values of different models to segment corona virus disease 2019 lesions
3.2 損失函數對比實驗
Dice損失、焦點特沃斯基損失函數（focal Tversky loss，FTL）和GDL是醫學圖像分割任務中常見的損失函數，本組實驗分別使用了Dice損失、FTL、GDL、LGDL作為損失函數訓練SAUNet++模型，結果如表2所示。
表2
不同損失函數分割新型冠狀病毒感染病灶的指標值
Table2.
The index values of different loss functions to segment corona virus disease 2019
表2中，FTL相比Dice損失在DSC上略有上升，但是Sen指標下降明顯，不適用于新型冠狀病毒感染病灶分割。GDL相比Dice損失和FTL在各個指標上均有一定的性能提升。LGDL相比于GDL、DSC、Sen和HD均有所提升，證明了水平集路徑對模型分割的輔助作用。具體而言，LGDL中GDL、MSE以及自適應權重w1、w2的訓練過程如圖4所示。
圖4
Dual-SAUNet++網絡中w1、w2以及各損失函數訓練過程
Figure4.
Training process of w1, w2 and each loss function in Dual-SAUNet++ network
圖4中，w1在訓練過程中逐漸減小，w2在訓練過程中逐漸增大，二者逐漸趨于0.5:0.5。由于模型在病灶分割任務中對病灶區域識別的優先級高于病灶輪廓識別，所以在模型剛開始訓練時GDL較大，其對應權重w1也就相對較大，隨著訓練的進行，模型逐漸關注于優化病灶分割邊界，所以水平集路徑權重w2逐漸變大。從損失函數整體來看，GDL與LGDL變化基本相同，GDL主導模型訓練，水平集路徑的MSE以較小值輔助模型訓練。不同損失函數的分割結果如圖5所示，每一行表示不同病灶切片在不同損失函數下所對應的分割結果，第一列為測試集中的原始病灶切片，最后一列為原始病灶切片所對應的真實掩膜圖。在各損失函數的對比中發現，Dice損失和FTL對小病灶的分割容易丟失且分割邊界較為平整，不能很好地擬合病灶邊界。當模型將損失函數改為GDL，對微小病灶分割精度提高，病灶邊界仍舊存在分割過度的問題。隨著水平集路徑損失函數的加入，對病灶輪廓的分割更加精確。如圖6所示，直觀展示了LGDL對微小病灶分割以及病灶分割邊界的改進。第一行是病灶的真實標簽；第二行是GDL分割結果與真實標簽的對比，綠色標記為GDL的分割輪廓；第三行是LGDL分割結果與真實標簽的對比，紅色標記為LGDL的分割輪廓；第四行是LGDL分割結果與GDL分割結果的對比，藍色標記為LGDL的分割輪廓。整體來看，LGDL對邊界以及微小病灶的分割性能優于GDL，證明了本研究所提出的水平集路徑可以從目標邊界的角度改善分割結果。
圖5
不同損失函數模型對新型冠狀病毒感染病灶的分割結果
Figure5.
Segmentation results of corona virus disease 2019 lesions by different loss functions
圖6
不同損失函數模型對新型冠狀病毒感染病灶的分割結果對比
Figure6.
Comparison of segmentation results of corona virus disease 2019 lesions by different loss functions
4 總結
本文提出了一個基于自適應聯合損失函數的Dual-SAUNet++模型，在SAUNet++網絡的輸出端增加了水平集距離圖的預測路徑，將掩膜路徑的GDL和水平集路徑的MSE損失結合構成新的自適應聯合損失函數LGDL。基于LGDL訓練SAUNet++模型，并最終取得DSC為（87.81 ± 10.86）%，Sen度為（94.18 ± 13.56）%，HD僅為（18.29 ± 31.48） mm的結果。模型測試階段，分別進行了模型間的對比實驗和損失函數的對比實驗。從實驗結果中可以發現，本模型在各個評價指標上均優于現有模型，在DSC上與性能最好的SAUNet++模型對比仍有提升，并且HD比模型U-Net和SAUNet++均有減少，表明本模型在保證分割精度的同時使分割邊界更加接近真實輪廓。這一優勢針對多尺度病灶的分割效果都有明顯改進，尤其是微小病灶，解決了其它模型對多尺度病灶分割適應性低的問題。雖然本研究所提出的模型由于自身結構較復雜，在推理時間上相對較長，但是在病灶分割的任務上更加重要的評價指標是模型的分割精度，因為病灶的準確分割對患者的后期治療有重大影響。所以總體來看，Dual-SAUNet++的綜合性能優于目前最先進的模型。但是本模型僅使用了有標簽數據進行訓練，未來可以將模型與半監督、弱監督學習以及多模態融合結合，充分利用數據以提升醫學圖像分割效果。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：肖漢光主要負責實驗數據分析指導，論文審閱修訂；李煥琪主要負責損失函數優化實驗以及論文撰寫；冉智強主要負責分割實驗；韋羽佳和祝秀紅主要負責實驗數據收集，文獻整理；張啟航主要負責論文排版和整理；張勃龍主要負責水平集距離圖理論部分撰寫。
