傳統的單一方位最大密度投影（MIP）圖像在檢測顱內動脈瘤時容易忽略部分形態特征，造成漏檢和誤檢。針對該問題，本文提出一種新的基于全方位MIP圖像的顱內動脈瘤檢測方法。首先，對三維磁共振血管造影（MRA）圖像進行全方位最大密度投影，獲得MIP圖像；然后，利用匹配濾波對顱內動脈瘤區域進行預定位；最后，使用Squeeze and Excitation（SE）模塊對CaraNet模型進行了改進，并用改進后的模型對全方位MIP圖像中的預定位區域進行檢測，確定是否患有顱內動脈瘤。本文收集了245例圖像對所提方法進行了測試實驗。實驗結果表明本文所提方法的精確率和特異性分別可以達到93.75%和93.86%，顯著提高了對MIP圖像中顱內動脈瘤的檢測性能。
引用本文： 白培瑞, 宋雪峰, 劉慶一, 劉佳慧, 成錦, 修曉娜, 任延德, 王成健. 基于SE-CaraNet的全方位最大密度投影圖像顱內動脈瘤自動檢測方法. 生物醫學工程學雜志, 2024, 41(2): 228-236. doi: 10.7507/1001-5515.202301008 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
0 引言
顱內動脈瘤（intracranial aneurysms）是由顱內血管動脈壁的先天脆弱或后天損傷引起的異常隆起。顱內動脈瘤在一般人群中的患病率約為3%[1]，是蛛網膜下腔出血的主要原因[2]。顱內動脈瘤一旦破裂會嚴重威脅患者的生命安全，具有較高的致死率[3]。因此，在早期診斷中及時發現未破裂的顱內動脈瘤具有十分重要的臨床應用價值。
目前的顱內動脈瘤醫學影像診斷方法主要通過三維數字減影血管造影（digital subtraction angiography，DSA）、CT血管造影（computed tomography angiography，CTA）和磁共振血管造影（magnetic resonance angiography，MRA）等醫學成像技術進行[4]。其中，CTA與DSA的成像分辨率高，但是需要注射造影劑，有一定的藥物過敏風險。時間飛躍法磁共振血管造影（time of flight-magnetic resonance angiography，TOF-MRA）成像技術不使用造影劑，具有安全無創的優勢，在顱內動脈瘤檢查與診斷中具有更大的應用潛力[5]。近年來，可以提取不同投影角度下密度信息的最大密度投影法（maximum intensity projection，MIP）逐漸被應用于醫學影像中[6]，放射科醫師根據MIP圖像直接對病變區域進行診斷，相較于傳統的基于三維圖像數據逐層篩查的方式，檢測效率更高[7-9]。
顱內動脈瘤檢測算法可以分為傳統算法和深度學習算法兩類。傳統算法通常基于顱內動脈瘤的一種或多種特征進行檢測。Rahmany等[10]在DSA圖像上先使用OTSU算法提取血管結構，然后利用Zernike矩和區域特征提取（maximally stable extremal regions，MSER）檢測器檢測顱內動脈瘤。Uchiyama等[11]在MRA圖像上先采用灰度閾值和區域生長算法對血管進行分割，然后利用梯度濾波器進行顱內動脈瘤增強，最后根據圖像幾何特征去除假陽性目標。Hentschke等[12]在多模態血管造影圖像上，先使用多尺度球狀增強濾波器找到感興趣區域初始體積，再利用線性判別函數結合空間、形狀和概率信息去除假陽性目標。由于顱內動脈瘤的形態及位置差異較大，傳統算法在特征選擇上較為困難。深度學習算法以其強大的自學習能力和圖像處理適應性，被引入顱內動脈瘤檢測領域[13]。目前，大多數用于顱內動脈瘤檢測的深度學習算法采用編碼器與解碼器結構[14-15]。相對于傳統算法，深度學習算法利用深度特征可以提高顱內動脈瘤的檢測準確率，但是對算力和計算成本要求較高[16]。為此，研究人員嘗試使用MIP方法把三維圖像投影為二維圖像來檢測顱內動脈瘤，從而降低對計算資源的要求。Nakao等[17]使用基于區域生長的方法在血管周圍獲取感興趣區域，然后從9個方向上投影并生成MIP序列，將它連接成一個二維圖像后使用卷積神經網絡（convolutional neural networks，CNN）檢測顱內動脈瘤。Hou等[18]使用OTSU和Hessian矩陣方法在三維MRA圖像上沿血管獲取顱內動脈瘤的正負樣本塊，然后在每個樣本塊上投影得到9幅MIP圖像，并在一個方向上累積像素生成一維向量，最后利用一維CNN模型對它進行顱內動脈瘤檢測。Stember等[19]首先手動預定位顱內動脈瘤所在區域，并生成MIP圖像，然后使用CNN模型檢測并測量MIP圖像上的顱內動脈瘤。
綜上所述，采用深度學習算法對三維醫學影像的MIP圖像進行顱內動脈瘤定位和檢測已逐漸成為研究趨勢，但在顱內動脈瘤自動定位和全方位MIP密度信息的利用方面還存在不足。為此，本文提出了一種基于全方位MIP圖像的顱內動脈瘤自動檢測方法，利用解剖先驗知識對全方位MIP圖像的顱內動脈瘤區域進行自動預定位，并改進CaraNet模型，對預定位區域內的顱內動脈瘤進行準確檢測。
1 方法
1.1 整體流程
針對小目標的醫學圖像分割問題，Lou等[20]提出了CaraNet，它在結腸鏡息肉和腦腫瘤分割任務中表現良好。因此，本文采用CaraNet作為基礎模型，引入壓縮激勵（Squeeze and Excitation，SE）模塊對它進行了改進，同時結合自動預定位和全方位最大密度投影方法，進一步提升顱內動脈瘤檢測的準確性和計算效率。本文所提方法的整體流程如圖1所示。
圖1
本文算法整體流程
Figure1.
The overall process of algorithm in this paper
1.2 全方位最大密度投影
最大密度投影通過計算沿著被掃描物體每條射線上所遇到的最大密度像素而得到，當光線通過體數據時，密度最大的像素被保存并投影到二維平面上，進而形成MIP圖像，MIP圖像能很好地顯示血管的狹窄、擴張等變化[21]。圖2中左圖為腦部三維TOF-MRA的二維切片，右圖是將三維TOF-MRA圖像旋轉投影生成的MIP圖像。可見MIP圖像極大程度地保留了原始圖像的密度信息，相較于原始的三維圖像層數更少，顱內動脈瘤的檢測效率更高。由于不同病例腦血管結構的差異以及顱內動脈瘤發生位置隨機，顱內動脈瘤只在特定角度更易于觀察，目前尚無有效的方法快速找出最佳投影角度。
圖2
TOF-MRA（左）與MIP圖像（右）
Figure2.
TOF-MRA (Left) and MIP (Right) images
在實際臨床診斷中，醫生通常依據多張不同方向投影的MIP圖像診斷顱內動脈瘤，避免單一方向MIP圖像中可能出現的漏診問題。因此，本文對三維TOF-MRA圖像進行全方位最大密度投影，通過所有保存的MIP圖像進行自動的顱內動脈瘤檢測。全方位最大密度投影過程如圖3所示。每個樣本都是以10°的投影角度將三維TOF-MRA圖像進行投影并生成MIP圖像，當旋轉180°之后共得到18幅MIP圖像，這18幅連續MIP圖像作為一個樣本數據。
圖3
全方位投影示意圖
Figure3.
Omni-directional projection diagram
1.3 基于解剖先驗的顱內動脈瘤預定位
由于原始MIP圖像尺寸較大，通常在送入模型訓練和測試之前需要進行隨機裁剪，雖然弱化了噪聲的干擾，但也增加了計算花費。因此，我們提出基于解剖先驗的顱內動脈瘤區域預定位方法，如圖4所示。該方法利用顱內動脈瘤依附于血管出現的先驗知識，通過血管確定顱內動脈瘤可能出現的區域，從而減低計算花費，并減少顱骨等目標干擾，提高檢測精度。
圖4
顱內動脈瘤預定位
Figure4.
Pre-position of intracranial aneurysm
首先，原始圖像經過匹配濾波處理，利用匹配濾波器抑制顱內動脈瘤血管圖像中的背景，增強血管的對比度。匹配濾波器的內核可以表示如下：
 |
式中，σ表示濾波器橫截面強度的范圍，L代表血管的長度，本文中σ = 2，L = 9。
考慮到血管方向與垂直方向的夾角可以是任意角度θ（0 ≤ θ ≤ π），本文以Δθ = 15°的間隔，利用方向濾波器得到12個不同方向的濾波器響應，并以最大響應值作為最后輸出。設θi為第i個匹配核的血管方向，旋轉坐標系中對應的點(u,v)為：
 |
鄰域范圍的控制參數N取值為：
 |
因此，由式(1)可得第i個核對應的權重為：
 |
設A表示鄰域N中像素點的個數，則高斯模板均值為：
 |
則去除均值后的匹配濾波函數可以表示為：
 |
同時，在圖4中的原始圖像上利用OTSU獲得圖像掩膜，將匹配濾波的結果與圖像掩膜相減得到輪廓灰度圖，隨后進行中值濾波并膨脹，二值化后生成血管輪廓二值圖。然后，將二值化后的匹配濾波結果與血管輪廓二值圖相減得到去輪廓的血管二值圖。接著，用最大連通域檢測去除血管以外的噪聲像素點得到最大連通域圖像，計算其中心點坐標。最后，利用中心點坐標在原圖像中裁剪出顱內動脈瘤可能出現的區域，得到預定位圖像。本文的實驗部分中，設置了裁剪區域的大小為192像素 × 192像素。
1.4 SE-CaraNet顱內動脈瘤檢測網絡模型
本文以CaraNet的結構為主干網絡，通過系列改進使它適合于顱內動脈瘤檢測。網絡的架構如圖5所示，其中的通道注意力特征金字塔（channel-wise feature pyramid，CFP）模塊利用空洞卷積獲得多尺度的特征，并將不同通道的特征進行融合，最終得到多尺度特征。注意力（Attention）模塊由軸向注意力[22]與反向注意力[23]組合而成。損失函數采用了全局損失與局部損失結合的IoU和二進制交叉熵（binary cross entropy，BCE）損失[24-25]。
圖5
SE-CaraNet 網絡架構
Figure5.
SE-CaraNet network architecture
在本文的研究中，引入了SE模塊對CaraNet進行改進，其中（f1, f2, f3, f4, f5）是編碼器輸出的五層特征，SE模塊組成如下所述。
CaraNet在并行部分解碼器、通道特征金字塔都有多種高級特征的融合，利用不同策略將不同層級特征信息進行聚合，能夠有效地利用全局信息。對于本文中的顱內動脈瘤檢測任務，為了進一步提升CaraNet獲取不同層級深度特征的性能，本文模型在CaraNet中引入SE模塊[26]聚合通道信息，進而獲得帶有更多通道權重信息的深度特征。
SE模塊結構如圖6所示，首先假設特征 f ∈RH×W×C，其中H表示高度，W表示寬度，C表示通道，特征f可以表示為：f = (f 1, f 2, …, f c) ，f c表示第c個通道的特征圖，然后經過壓縮操作（全局平均池化）生成第c通道特征圖的全局平均ZC，可以表示為：
圖6
SE模塊結構
Figure6.
Structure of SE module
 |
然后通過激勵操作捕獲通道的依賴關系，在該操作中，利用下列公式賦予每個通道不同的權重。
 |
其中σ表示sigmoid激活函數，δ表示ReLU激活函數[27]，W1∈RC×C/r表示減小維度的全連接層，W2∈RC/r×C表示增加維度的全連接層，其中的維度衰減因子r本文設置為16。
最后的輸出可以表示為：
 |
SE模塊能夠提高模型的全局學習能力，通過添加SE模塊可以進一步提升CaraNet在顱內動脈瘤檢測任務中的性能。
由于本文方法使用了全方位MIP圖像作為檢測對象，SE-CaraNet模型直接得到的是待檢測數據每個方位MIP的顱內動脈瘤分割結果，為了得到該數據最終的檢測結果，本文采用了一種基于閾值的決策方法。該方法思路來源于臨床上醫生根據多個方位的MIP圖像來確診患者是否患有顱內動脈瘤的做法，當顱內動脈瘤在大于等于N個方位MIP圖像中出現時，才確診該患者患有顱內動脈瘤。本文方法在獲取全方位MIP圖像的分割結果后，將在大于等于N個方位的MIP圖像分割中存在顱內動脈瘤的患者標記為陽性，反之則標記為陰性。經過臨床醫師的經驗指導和多次的實驗之后，確認了最佳的閾值N = 3。
2 實驗與結果
2.1 實驗數據與環境
本文實驗數據是從青島大學附屬醫院收集的2013年1月至2021年5月的數據，樣本集共有615名受試者，以10°的投影角度將患者三維TOF-MRA圖像保存并生成MIP圖像，得到18幅MIP圖像，這18幅連續的全方位MIP圖像作為一個樣本數據。其中370例樣本作為訓練集，包含大型顱內動脈瘤樣本75例、中型顱內動脈瘤樣本110例、小型顱內動脈瘤樣本20例和陰性樣本165例。245例樣本作為測試集，包含大型顱內動脈瘤樣本49例、中型顱內動脈瘤樣本62例、小型顱內動脈瘤樣本20例和陰性樣本114例。
本文實驗均在Windows 10系統下完成，具體配置為Intel(R) Xeon(R) Silver 4210R CPU @ 2.40 GHz 2.39 GHz，GPU為NVIDIA RTX A6000，本文算法實現采用了基于Matlab與Python的混合編程，Matlab版本為2020，Python版本為3.7。
2.2 評價標準
為了定量評估本文提出模型的性能，實驗采用以下四個指標作為檢測性能的評價標準：正確率（Accuracy）、精確率（Precision）、敏感度（Sensitivity)、特異性（Specificity）。正確率表示正確檢測的樣本占總樣本的比例，精確率表示真陽性樣本占全部陽性樣本的比例，敏感度表示陽性樣本被正確檢測到的比例，特異性表示真陰性樣本占全部陰性樣本的比例，計算方法如下列公式所示：
 |
 |
 |
 |
其中，TP（true positive）表示陽性樣本被正確預測為陽性的數量，FN（false negative）表示陽性樣本被錯誤分類為陰性的數量，FP（false positive）表示陰性樣本被錯誤預測為陽性的數量，TN（true negative）表示陰性樣本被正確分類為陰性的數量。
2.3 實驗結果
我們將本文算法與Res2Net、SE-Res2Net、CaraNet進行了檢測性能的定性和定量比較。圖7中三行依次為大型（10 mm）、中型（4 mm）、小型（2.7 mm）三例顱內動脈瘤的檢測結果，第一列為醫生手動標注的顱內動脈瘤，其余各列為不同模型的檢測結果。從第一行可以看出，對于10 mm的顱內動脈瘤，Res2Net并未找到顱內動脈瘤，而另外三種模型均正確檢測出目標。相比于SE-Res2Net，CaraNet以及SE-CaraNet檢測出的顱內動脈瘤區域更加接近醫生手動標記的結果。第二行是4 mm尺寸的顱內動脈瘤患者檢測結果，SE-Res2Net未檢測到目標，Res2Net檢測出的是一個偽目標，而CaraNet與SE-CaraNet均有效檢測出顱內動脈瘤。相較于前兩行尺寸較大的顱內動脈瘤，小型顱內動脈瘤的檢測難度更高，加入SE模塊的SE-Res2Net與SE-CaraNet均有效檢測出了顱內動脈瘤，而另外兩種模型均未檢測出目標。
圖7
不同方法MIP圖像檢測結果
Figure7.
Results of MIP image detection by different methods
此外，本文還將改進的算法與Res2Net、SE-Res2Net以及原始的CaraNet模型做了定量評估，其結果如表1所示，從第一列可以看出無論是Res2Net還是CaraNet，加入SE模塊之后的模型正確率在原始模型基礎上均有提升，而本文模型獲得了最高的正確率。從后三列的比較可以看出，CaraNet模型相比于ResNet模型的優勢在于其精確率以及特異性更高，缺點在于敏感度較低。加入SE模塊后，SE-CaraNet的精確率和特異性沒有明顯變化，但敏感度獲得了顯著的提升，超過了Res2Net和SE-Res2Net。
表1
模型評估定量指標
Table1.
Quantitative indicators of model evaluation
3 討論
通過實驗結果的對比可以發現，由于SE模塊能夠輸入特征圖進行通道特征加強，提高模型的全局學習能力，加入SE模塊之后的SE-Res2Net和SE-CaraNet模型相對于Res2Net和CaraNet模型的性能均有不同程度提升。這一點在Res2Net模型表現為4種評價指標的整體提升，而在CaraNet模型表現為敏感度的顯著提升。這是由于CaraNet模型在檢測顱內動脈瘤時，雖然更不容易出現偽目標，但對中等和小型的顱內動脈瘤容易出現目標丟失問題。因此，CaraNet模型雖然精確率和特異性較高，但敏感度卻較低。本文提出的SE-CaraNet可以有效利用SE模塊增強深度特征中的通道信息、提高模型全局學習能力的特點，使得CaraNet模型的敏感度顯著提高，提升了對顱內動脈瘤的檢測性能。
受到顱內動脈瘤位置和形態的影響，MIP圖像中的顱內動脈瘤往往僅在某些投影角度圖像上易于觀察，而在其他投影角度上表現為正常血管的特征，或被其他血管遮擋。因此，在實際應用中，單一方位的MIP圖像用于顱內動脈瘤診斷會有漏診風險，這也限制了MIP圖像的臨床應用價值。如圖8所示，該圖是一名多發性顱內動脈瘤患者連續4個方位的MIP圖像，左側顱內動脈瘤在4幅圖像中均可觀察到，而右側顱內動脈瘤在方位1中表現為與正常血管無異，在方位2中也極易漏檢，僅在方位3和方位4中容易被觀察到。因此，本文采用全方位投影的MIP圖像檢測顱內動脈瘤，可以有效解決單方位投影帶來的漏診問題。以不同方位投影圖像作為訓練數據，本文模型也可以學習到更豐富的顱內動脈瘤特征，進一步提升算法的魯棒性。
圖8
全方位MIP圖像中的顱內動脈瘤
Figure8.
Intracranial aneurysms in omni-directional MIP images
在MIP圖像中，顱內動脈瘤被血管遮擋的現象也常常會出現，會對檢測算法造成干擾。如圖9所示，MIP1-MIP4是一名顱內動脈瘤患者4幅連續角度投影圖像，其中第一行是醫生手動標注的顱內動脈瘤，第二行是CaraNet的檢測結果，第三行是本文改進模型的檢測結果。從第二行可以看到，CaraNet僅在MIP1和MIP2列檢測出了顱內動脈瘤目標，其中MIP1中為偽目標，最終檢測結果中的該例數據被標記為陰性。最后一行SE-CaraNet模型在三個方位的MIP圖像中均檢測出了顱內動脈瘤，最終檢測結果中將該例數據標記為陽性。值得注意的是，在MIP3列SE-CaraNet在小部分遮擋情況下仍能正確檢測到目標；而從MIP4列可以看到，遮擋面積較多的圖像所有模型都未檢測出顱內動脈瘤。上述結果既證明了本文模型檢測部分遮擋顱內動脈瘤的魯棒性，同時也說明了使用全方位投影數據集檢測顱內動脈瘤的優勢，二者結合可以有效提升臨床MIP圖像的顱內動脈瘤檢測性能。
圖9
存在血管遮擋時的顱內動脈瘤檢測結果
Figure9.
Intracranial aneurysm detection results when vessels are covered
相對于直接對原始圖像中的顱內動脈瘤進行檢測，先定位出顱內動脈瘤區域再進行檢測的策略通常更加高效，魯棒性也更好。由于手動對顱內動脈瘤區域進行定位會產生大量人工成本，因此一些研究中提出了自動的定位方法。具有代表性的方法是Nakao等[17]以及Hou等[18]提出的模型，這兩種模型均是對三維數據進行預定位，提取顱內動脈瘤可能存在的三維圖像區域，然后再進行最大密度投影和檢測。但本文的研究中，考慮到直接進行三維定位需要較大的計算量，提出了先進行MIP投影再定位的策略，對MIP圖像使用基于匹配濾波的定位算法獲取顱內動脈瘤可能出現的區域，再進行顱內動脈瘤的檢測。實驗表明，本文算法的敏感度為80.15%，高于Nakao[17]研究中報道的70%。這是由于在二維的MIP圖像中進行預定位，可以更好地應對偽目標的干擾，降低檢測結果的假陽性。
4 結論
本文提出了一種改進的檢測MIP圖像顱內動脈瘤的深度學習模型SE-CaraNet。通過引入自動預定位和SE功能模塊，SE-CaraNet可以提升顱內動脈瘤檢測的關鍵性能指標。此外，本文采用的全方位投影MIP圖像，克服了傳統基于單一方位MIP圖像容易漏檢目標的缺點。通過本文收集的245例測試數據驗證了所提出方法的檢測性能，實驗結果表明本文方法對提高臨床輔助診斷效率具有良好的應用前景。下一步，我們將嘗試本文算法在多模態醫學圖像檢測中的應用，并探索更有效的算法優化方案。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：白培瑞主要負責制定本文的技術路線、論文審校等工作；宋雪峰負責算法實現與調試、起草論文等；劉慶一負責實驗方案制定、論文修改與投稿等工作；劉佳慧負責對比實驗設計與實現；成錦負責實驗結果統計；修曉娜負責文獻調研；任延德負責實驗數據采集；王成健負責實驗結果分析。
倫理聲明：本研究通過了青島大學附屬醫院醫學倫理委員會的審批（批文編號：QYFY WZLL 27548）。
0 引言
顱內動脈瘤（intracranial aneurysms）是由顱內血管動脈壁的先天脆弱或后天損傷引起的異常隆起。顱內動脈瘤在一般人群中的患病率約為3%[1]，是蛛網膜下腔出血的主要原因[2]。顱內動脈瘤一旦破裂會嚴重威脅患者的生命安全，具有較高的致死率[3]。因此，在早期診斷中及時發現未破裂的顱內動脈瘤具有十分重要的臨床應用價值。
目前的顱內動脈瘤醫學影像診斷方法主要通過三維數字減影血管造影（digital subtraction angiography，DSA）、CT血管造影（computed tomography angiography，CTA）和磁共振血管造影（magnetic resonance angiography，MRA）等醫學成像技術進行[4]。其中，CTA與DSA的成像分辨率高，但是需要注射造影劑，有一定的藥物過敏風險。時間飛躍法磁共振血管造影（time of flight-magnetic resonance angiography，TOF-MRA）成像技術不使用造影劑，具有安全無創的優勢，在顱內動脈瘤檢查與診斷中具有更大的應用潛力[5]。近年來，可以提取不同投影角度下密度信息的最大密度投影法（maximum intensity projection，MIP）逐漸被應用于醫學影像中[6]，放射科醫師根據MIP圖像直接對病變區域進行診斷，相較于傳統的基于三維圖像數據逐層篩查的方式，檢測效率更高[7-9]。
顱內動脈瘤檢測算法可以分為傳統算法和深度學習算法兩類。傳統算法通常基于顱內動脈瘤的一種或多種特征進行檢測。Rahmany等[10]在DSA圖像上先使用OTSU算法提取血管結構，然后利用Zernike矩和區域特征提取（maximally stable extremal regions，MSER）檢測器檢測顱內動脈瘤。Uchiyama等[11]在MRA圖像上先采用灰度閾值和區域生長算法對血管進行分割，然后利用梯度濾波器進行顱內動脈瘤增強，最后根據圖像幾何特征去除假陽性目標。Hentschke等[12]在多模態血管造影圖像上，先使用多尺度球狀增強濾波器找到感興趣區域初始體積，再利用線性判別函數結合空間、形狀和概率信息去除假陽性目標。由于顱內動脈瘤的形態及位置差異較大，傳統算法在特征選擇上較為困難。深度學習算法以其強大的自學習能力和圖像處理適應性，被引入顱內動脈瘤檢測領域[13]。目前，大多數用于顱內動脈瘤檢測的深度學習算法采用編碼器與解碼器結構[14-15]。相對于傳統算法，深度學習算法利用深度特征可以提高顱內動脈瘤的檢測準確率，但是對算力和計算成本要求較高[16]。為此，研究人員嘗試使用MIP方法把三維圖像投影為二維圖像來檢測顱內動脈瘤，從而降低對計算資源的要求。Nakao等[17]使用基于區域生長的方法在血管周圍獲取感興趣區域，然后從9個方向上投影并生成MIP序列，將它連接成一個二維圖像后使用卷積神經網絡（convolutional neural networks，CNN）檢測顱內動脈瘤。Hou等[18]使用OTSU和Hessian矩陣方法在三維MRA圖像上沿血管獲取顱內動脈瘤的正負樣本塊，然后在每個樣本塊上投影得到9幅MIP圖像，并在一個方向上累積像素生成一維向量，最后利用一維CNN模型對它進行顱內動脈瘤檢測。Stember等[19]首先手動預定位顱內動脈瘤所在區域，并生成MIP圖像，然后使用CNN模型檢測并測量MIP圖像上的顱內動脈瘤。
綜上所述，采用深度學習算法對三維醫學影像的MIP圖像進行顱內動脈瘤定位和檢測已逐漸成為研究趨勢，但在顱內動脈瘤自動定位和全方位MIP密度信息的利用方面還存在不足。為此，本文提出了一種基于全方位MIP圖像的顱內動脈瘤自動檢測方法，利用解剖先驗知識對全方位MIP圖像的顱內動脈瘤區域進行自動預定位，并改進CaraNet模型，對預定位區域內的顱內動脈瘤進行準確檢測。
1 方法
1.1 整體流程
針對小目標的醫學圖像分割問題，Lou等[20]提出了CaraNet，它在結腸鏡息肉和腦腫瘤分割任務中表現良好。因此，本文采用CaraNet作為基礎模型，引入壓縮激勵（Squeeze and Excitation，SE）模塊對它進行了改進，同時結合自動預定位和全方位最大密度投影方法，進一步提升顱內動脈瘤檢測的準確性和計算效率。本文所提方法的整體流程如圖1所示。
圖1
本文算法整體流程
Figure1.
The overall process of algorithm in this paper
1.2 全方位最大密度投影
最大密度投影通過計算沿著被掃描物體每條射線上所遇到的最大密度像素而得到，當光線通過體數據時，密度最大的像素被保存并投影到二維平面上，進而形成MIP圖像，MIP圖像能很好地顯示血管的狹窄、擴張等變化[21]。圖2中左圖為腦部三維TOF-MRA的二維切片，右圖是將三維TOF-MRA圖像旋轉投影生成的MIP圖像。可見MIP圖像極大程度地保留了原始圖像的密度信息，相較于原始的三維圖像層數更少，顱內動脈瘤的檢測效率更高。由于不同病例腦血管結構的差異以及顱內動脈瘤發生位置隨機，顱內動脈瘤只在特定角度更易于觀察，目前尚無有效的方法快速找出最佳投影角度。
圖2
TOF-MRA（左）與MIP圖像（右）
Figure2.
TOF-MRA (Left) and MIP (Right) images
在實際臨床診斷中，醫生通常依據多張不同方向投影的MIP圖像診斷顱內動脈瘤，避免單一方向MIP圖像中可能出現的漏診問題。因此，本文對三維TOF-MRA圖像進行全方位最大密度投影，通過所有保存的MIP圖像進行自動的顱內動脈瘤檢測。全方位最大密度投影過程如圖3所示。每個樣本都是以10°的投影角度將三維TOF-MRA圖像進行投影并生成MIP圖像，當旋轉180°之后共得到18幅MIP圖像，這18幅連續MIP圖像作為一個樣本數據。
圖3
全方位投影示意圖
Figure3.
Omni-directional projection diagram
1.3 基于解剖先驗的顱內動脈瘤預定位
由于原始MIP圖像尺寸較大，通常在送入模型訓練和測試之前需要進行隨機裁剪，雖然弱化了噪聲的干擾，但也增加了計算花費。因此，我們提出基于解剖先驗的顱內動脈瘤區域預定位方法，如圖4所示。該方法利用顱內動脈瘤依附于血管出現的先驗知識，通過血管確定顱內動脈瘤可能出現的區域，從而減低計算花費，并減少顱骨等目標干擾，提高檢測精度。
圖4
顱內動脈瘤預定位
Figure4.
Pre-position of intracranial aneurysm
首先，原始圖像經過匹配濾波處理，利用匹配濾波器抑制顱內動脈瘤血管圖像中的背景，增強血管的對比度。匹配濾波器的內核可以表示如下：
|
式中，σ表示濾波器橫截面強度的范圍，L代表血管的長度，本文中σ = 2，L = 9。
考慮到血管方向與垂直方向的夾角可以是任意角度θ（0 ≤ θ ≤ π），本文以Δθ = 15°的間隔，利用方向濾波器得到12個不同方向的濾波器響應，并以最大響應值作為最后輸出。設θi為第i個匹配核的血管方向，旋轉坐標系中對應的點(u,v)為：
|
鄰域范圍的控制參數N取值為：
|
因此，由式(1)可得第i個核對應的權重為：
|
設A表示鄰域N中像素點的個數，則高斯模板均值為：
|
則去除均值后的匹配濾波函數可以表示為：
|
同時，在圖4中的原始圖像上利用OTSU獲得圖像掩膜，將匹配濾波的結果與圖像掩膜相減得到輪廓灰度圖，隨后進行中值濾波并膨脹，二值化后生成血管輪廓二值圖。然后，將二值化后的匹配濾波結果與血管輪廓二值圖相減得到去輪廓的血管二值圖。接著，用最大連通域檢測去除血管以外的噪聲像素點得到最大連通域圖像，計算其中心點坐標。最后，利用中心點坐標在原圖像中裁剪出顱內動脈瘤可能出現的區域，得到預定位圖像。本文的實驗部分中，設置了裁剪區域的大小為192像素 × 192像素。
1.4 SE-CaraNet顱內動脈瘤檢測網絡模型
本文以CaraNet的結構為主干網絡，通過系列改進使它適合于顱內動脈瘤檢測。網絡的架構如圖5所示，其中的通道注意力特征金字塔（channel-wise feature pyramid，CFP）模塊利用空洞卷積獲得多尺度的特征，并將不同通道的特征進行融合，最終得到多尺度特征。注意力（Attention）模塊由軸向注意力[22]與反向注意力[23]組合而成。損失函數采用了全局損失與局部損失結合的IoU和二進制交叉熵（binary cross entropy，BCE）損失[24-25]。
圖5
SE-CaraNet 網絡架構
Figure5.
SE-CaraNet network architecture
在本文的研究中，引入了SE模塊對CaraNet進行改進，其中（f1, f2, f3, f4, f5）是編碼器輸出的五層特征，SE模塊組成如下所述。
CaraNet在并行部分解碼器、通道特征金字塔都有多種高級特征的融合，利用不同策略將不同層級特征信息進行聚合，能夠有效地利用全局信息。對于本文中的顱內動脈瘤檢測任務，為了進一步提升CaraNet獲取不同層級深度特征的性能，本文模型在CaraNet中引入SE模塊[26]聚合通道信息，進而獲得帶有更多通道權重信息的深度特征。
SE模塊結構如圖6所示，首先假設特征 f ∈RH×W×C，其中H表示高度，W表示寬度，C表示通道，特征f可以表示為：f = (f 1, f 2, …, f c) ，f c表示第c個通道的特征圖，然后經過壓縮操作（全局平均池化）生成第c通道特征圖的全局平均ZC，可以表示為：
圖6
SE模塊結構
Figure6.
Structure of SE module
|
然后通過激勵操作捕獲通道的依賴關系，在該操作中，利用下列公式賦予每個通道不同的權重。
|
其中σ表示sigmoid激活函數，δ表示ReLU激活函數[27]，W1∈RC×C/r表示減小維度的全連接層，W2∈RC/r×C表示增加維度的全連接層，其中的維度衰減因子r本文設置為16。
最后的輸出可以表示為：
|
SE模塊能夠提高模型的全局學習能力，通過添加SE模塊可以進一步提升CaraNet在顱內動脈瘤檢測任務中的性能。
由于本文方法使用了全方位MIP圖像作為檢測對象，SE-CaraNet模型直接得到的是待檢測數據每個方位MIP的顱內動脈瘤分割結果，為了得到該數據最終的檢測結果，本文采用了一種基于閾值的決策方法。該方法思路來源于臨床上醫生根據多個方位的MIP圖像來確診患者是否患有顱內動脈瘤的做法，當顱內動脈瘤在大于等于N個方位MIP圖像中出現時，才確診該患者患有顱內動脈瘤。本文方法在獲取全方位MIP圖像的分割結果后，將在大于等于N個方位的MIP圖像分割中存在顱內動脈瘤的患者標記為陽性，反之則標記為陰性。經過臨床醫師的經驗指導和多次的實驗之后，確認了最佳的閾值N = 3。
2 實驗與結果
2.1 實驗數據與環境
本文實驗數據是從青島大學附屬醫院收集的2013年1月至2021年5月的數據，樣本集共有615名受試者，以10°的投影角度將患者三維TOF-MRA圖像保存并生成MIP圖像，得到18幅MIP圖像，這18幅連續的全方位MIP圖像作為一個樣本數據。其中370例樣本作為訓練集，包含大型顱內動脈瘤樣本75例、中型顱內動脈瘤樣本110例、小型顱內動脈瘤樣本20例和陰性樣本165例。245例樣本作為測試集，包含大型顱內動脈瘤樣本49例、中型顱內動脈瘤樣本62例、小型顱內動脈瘤樣本20例和陰性樣本114例。
本文實驗均在Windows 10系統下完成，具體配置為Intel(R) Xeon(R) Silver 4210R CPU @ 2.40 GHz 2.39 GHz，GPU為NVIDIA RTX A6000，本文算法實現采用了基于Matlab與Python的混合編程，Matlab版本為2020，Python版本為3.7。
2.2 評價標準
為了定量評估本文提出模型的性能，實驗采用以下四個指標作為檢測性能的評價標準：正確率（Accuracy）、精確率（Precision）、敏感度（Sensitivity)、特異性（Specificity）。正確率表示正確檢測的樣本占總樣本的比例，精確率表示真陽性樣本占全部陽性樣本的比例，敏感度表示陽性樣本被正確檢測到的比例，特異性表示真陰性樣本占全部陰性樣本的比例，計算方法如下列公式所示：
|
|
|
|
其中，TP（true positive）表示陽性樣本被正確預測為陽性的數量，FN（false negative）表示陽性樣本被錯誤分類為陰性的數量，FP（false positive）表示陰性樣本被錯誤預測為陽性的數量，TN（true negative）表示陰性樣本被正確分類為陰性的數量。
2.3 實驗結果
我們將本文算法與Res2Net、SE-Res2Net、CaraNet進行了檢測性能的定性和定量比較。圖7中三行依次為大型（10 mm）、中型（4 mm）、小型（2.7 mm）三例顱內動脈瘤的檢測結果，第一列為醫生手動標注的顱內動脈瘤，其余各列為不同模型的檢測結果。從第一行可以看出，對于10 mm的顱內動脈瘤，Res2Net并未找到顱內動脈瘤，而另外三種模型均正確檢測出目標。相比于SE-Res2Net，CaraNet以及SE-CaraNet檢測出的顱內動脈瘤區域更加接近醫生手動標記的結果。第二行是4 mm尺寸的顱內動脈瘤患者檢測結果，SE-Res2Net未檢測到目標，Res2Net檢測出的是一個偽目標，而CaraNet與SE-CaraNet均有效檢測出顱內動脈瘤。相較于前兩行尺寸較大的顱內動脈瘤，小型顱內動脈瘤的檢測難度更高，加入SE模塊的SE-Res2Net與SE-CaraNet均有效檢測出了顱內動脈瘤，而另外兩種模型均未檢測出目標。
圖7
不同方法MIP圖像檢測結果
Figure7.
Results of MIP image detection by different methods
此外，本文還將改進的算法與Res2Net、SE-Res2Net以及原始的CaraNet模型做了定量評估，其結果如表1所示，從第一列可以看出無論是Res2Net還是CaraNet，加入SE模塊之后的模型正確率在原始模型基礎上均有提升，而本文模型獲得了最高的正確率。從后三列的比較可以看出，CaraNet模型相比于ResNet模型的優勢在于其精確率以及特異性更高，缺點在于敏感度較低。加入SE模塊后，SE-CaraNet的精確率和特異性沒有明顯變化，但敏感度獲得了顯著的提升，超過了Res2Net和SE-Res2Net。
表1
模型評估定量指標
Table1.
Quantitative indicators of model evaluation
3 討論
通過實驗結果的對比可以發現，由于SE模塊能夠輸入特征圖進行通道特征加強，提高模型的全局學習能力，加入SE模塊之后的SE-Res2Net和SE-CaraNet模型相對于Res2Net和CaraNet模型的性能均有不同程度提升。這一點在Res2Net模型表現為4種評價指標的整體提升，而在CaraNet模型表現為敏感度的顯著提升。這是由于CaraNet模型在檢測顱內動脈瘤時，雖然更不容易出現偽目標，但對中等和小型的顱內動脈瘤容易出現目標丟失問題。因此，CaraNet模型雖然精確率和特異性較高，但敏感度卻較低。本文提出的SE-CaraNet可以有效利用SE模塊增強深度特征中的通道信息、提高模型全局學習能力的特點，使得CaraNet模型的敏感度顯著提高，提升了對顱內動脈瘤的檢測性能。
受到顱內動脈瘤位置和形態的影響，MIP圖像中的顱內動脈瘤往往僅在某些投影角度圖像上易于觀察，而在其他投影角度上表現為正常血管的特征，或被其他血管遮擋。因此，在實際應用中，單一方位的MIP圖像用于顱內動脈瘤診斷會有漏診風險，這也限制了MIP圖像的臨床應用價值。如圖8所示，該圖是一名多發性顱內動脈瘤患者連續4個方位的MIP圖像，左側顱內動脈瘤在4幅圖像中均可觀察到，而右側顱內動脈瘤在方位1中表現為與正常血管無異，在方位2中也極易漏檢，僅在方位3和方位4中容易被觀察到。因此，本文采用全方位投影的MIP圖像檢測顱內動脈瘤，可以有效解決單方位投影帶來的漏診問題。以不同方位投影圖像作為訓練數據，本文模型也可以學習到更豐富的顱內動脈瘤特征，進一步提升算法的魯棒性。
圖8
全方位MIP圖像中的顱內動脈瘤
Figure8.
Intracranial aneurysms in omni-directional MIP images
在MIP圖像中，顱內動脈瘤被血管遮擋的現象也常常會出現，會對檢測算法造成干擾。如圖9所示，MIP1-MIP4是一名顱內動脈瘤患者4幅連續角度投影圖像，其中第一行是醫生手動標注的顱內動脈瘤，第二行是CaraNet的檢測結果，第三行是本文改進模型的檢測結果。從第二行可以看到，CaraNet僅在MIP1和MIP2列檢測出了顱內動脈瘤目標，其中MIP1中為偽目標，最終檢測結果中的該例數據被標記為陰性。最后一行SE-CaraNet模型在三個方位的MIP圖像中均檢測出了顱內動脈瘤，最終檢測結果中將該例數據標記為陽性。值得注意的是，在MIP3列SE-CaraNet在小部分遮擋情況下仍能正確檢測到目標；而從MIP4列可以看到，遮擋面積較多的圖像所有模型都未檢測出顱內動脈瘤。上述結果既證明了本文模型檢測部分遮擋顱內動脈瘤的魯棒性，同時也說明了使用全方位投影數據集檢測顱內動脈瘤的優勢，二者結合可以有效提升臨床MIP圖像的顱內動脈瘤檢測性能。
圖9
存在血管遮擋時的顱內動脈瘤檢測結果
Figure9.
Intracranial aneurysm detection results when vessels are covered
相對于直接對原始圖像中的顱內動脈瘤進行檢測，先定位出顱內動脈瘤區域再進行檢測的策略通常更加高效，魯棒性也更好。由于手動對顱內動脈瘤區域進行定位會產生大量人工成本，因此一些研究中提出了自動的定位方法。具有代表性的方法是Nakao等[17]以及Hou等[18]提出的模型，這兩種模型均是對三維數據進行預定位，提取顱內動脈瘤可能存在的三維圖像區域，然后再進行最大密度投影和檢測。但本文的研究中，考慮到直接進行三維定位需要較大的計算量，提出了先進行MIP投影再定位的策略，對MIP圖像使用基于匹配濾波的定位算法獲取顱內動脈瘤可能出現的區域，再進行顱內動脈瘤的檢測。實驗表明，本文算法的敏感度為80.15%，高于Nakao[17]研究中報道的70%。這是由于在二維的MIP圖像中進行預定位，可以更好地應對偽目標的干擾，降低檢測結果的假陽性。
4 結論
本文提出了一種改進的檢測MIP圖像顱內動脈瘤的深度學習模型SE-CaraNet。通過引入自動預定位和SE功能模塊，SE-CaraNet可以提升顱內動脈瘤檢測的關鍵性能指標。此外，本文采用的全方位投影MIP圖像，克服了傳統基于單一方位MIP圖像容易漏檢目標的缺點。通過本文收集的245例測試數據驗證了所提出方法的檢測性能，實驗結果表明本文方法對提高臨床輔助診斷效率具有良好的應用前景。下一步，我們將嘗試本文算法在多模態醫學圖像檢測中的應用，并探索更有效的算法優化方案。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：白培瑞主要負責制定本文的技術路線、論文審校等工作；宋雪峰負責算法實現與調試、起草論文等；劉慶一負責實驗方案制定、論文修改與投稿等工作；劉佳慧負責對比實驗設計與實現；成錦負責實驗結果統計；修曉娜負責文獻調研；任延德負責實驗數據采集；王成健負責實驗結果分析。
倫理聲明：本研究通過了青島大學附屬醫院醫學倫理委員會的審批（批文編號：QYFY WZLL 27548）。
