阿爾茨海默癥（AD）是一種進行性神經退行性疾病。由于AD患者早期階段的病癥不明顯，使得臨床診斷中難以快速確診，誤診率較高。目前關于AD早期診斷的相關研究中，較少關注受試者較長時間跨度上AD的進展變化。基于此，本文提出融合雙時間點結構性磁共振成像（sMRI）的AD早期輔助診斷集成模型，嘗試將受試者在兩個時間點上獲取的sMRI變化和臨床信息納入到預測模型的分析中，并使用三維卷積神經網絡（3DCNN）和孿生神經網絡模塊從受試者兩個時間點的sMRI中進行特征提取，同時用多層感知機（MLP）來對受試者的臨床信息進行建模，盡可能從受試者的多模態數據中提取與AD相關的特征，提高集成模型的診斷性能。實驗結果表明，基于本文模型，AD患者組與正常對照（NC）組的分類準確率為89%，轉化為AD的輕度認知障礙（MCIc）組與NC組的分類準確率達88%，不轉化為AD的輕度認知障礙（MCInc）組與MCIc組的分類準確率為69%，證實了本文所提方法在AD早期診斷中的有效性和高效性，有望在AD早期的臨床診斷中起輔助支持的作用。
引用本文： 曾安, 王健斌, 潘丹, 楊洋, 劉軍, 劉鑫, 陳文戈, 吳菊華. 融合雙時間點結構性磁共振成像的阿爾茨海默癥早期輔助診斷集成模型. 生物醫學工程學雜志, 2024, 41(3): 485-493. doi: 10.7507/1001-5515.202310046 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
0 引言
阿爾茨海默癥（Alzheimer's disease，AD）是一種進行性神經退行性疾病。世界衛生組織2023年關于AD的報告中指出，全球患有阿爾茨海默癥的人數預計將從2019年的5 500萬人上升至2050年的1.39億人[1]。研究表明，該疾病可以在患者出現臨床癥狀之前的10年甚至更長時間開始發展[2]。AD患者的臨床表現通常有判斷理解力障礙、記憶力障礙、性格和精神改變、情感障礙等。輕度認知障礙（mild cognitive impairment，MCI）通常被認為是AD的一種早期階段，是從正常人到AD患者的過渡階段。AD最重要的風險因素是衰老，在衰老的過程中患者可能出現葡萄糖代謝低下、線粒體功能障礙、抑郁和認知能力下降等情況。這些變化同樣也會出現在正常人的衰老中，如果僅通過簡易精神狀態量表或臨床癡呆評定量表評分，是無法準確識別受試者是否為MCI表現的，因為受試者并沒有表現出嚴重的記憶問題[3]。因此，如何在臨床上快速準確地開展AD早期診斷仍然是一個具有挑戰性的問題。
目前關于AD早期診斷的研究中，已有多項醫學診斷技術用于篩查AD早期患者，如：β-淀粉樣斑塊沉積、Tau蛋白等體液標記物檢測；磁共振成像（magnetic resonance imaging，MRI）、正電子發射型計算機斷層成像等影像學檢查技術；以及多種認知評估診斷技術[4]。其中，MRI包括：結構性MRI（structural MRI，sMRI）和功能性MRI。sMRI，是一種無創且功能強大的神經成像工具，能捕捉到區域性腦萎縮的情況，并揭示與AD相關的解剖結構變化[5]。當受試者的大腦發生病變時，MRI的特征會發生相應的變化。與AD相關的一些腦區，如海馬體、杏仁核、內嗅皮質等，其變化可以在一定程度上反映AD的疾病進展。基于對這些腦區的特征提取有助于準確預測AD和MCI，為AD早期診斷提供了重要的影像學生物標志物[6]。
對于AD患者所處不同階段的分類，傳統的機器學習研究通常使用sMRI進行特征提取，并通過分類器對提取的特征進行分類。最流行的分類器——支持向量機，是一種監督學習模型，可用于解決回歸和大多數分類問題。支持向量機能有效提取數據樣本中有代表性的高維抽象特征，且在數據樣本類別可分離的情況下表現較好。然而，傳統的機器學習模型存在高度的錯誤敏感性，模型提取特征的過程極度依賴人工分割大腦結構的工作，數據樣本中微小的偏差就會給模型診斷帶來較大影響。目前，這些問題已經可以通過深度學習技術來解決[7]。
深度學習技術可對數據樣本的高維抽象特征進行建模，在進行有監督或無監督的訓練后，通過多層非線性變換提取特征以獲得最佳的表示[7]，因此被廣泛應用于醫學圖像的分割、分類和配準等領域。其中，卷積神經網絡（convolutional neural network，CNN）能夠有效找到具有高度代表性的分層特征并快速調整參數。在醫學圖像領域的早期研究中，Payan等[8]采用文獻[9]的數據集，將稀疏自動編碼器與CNN相結合，將基于全腦MRI的三維CNN（three-dimensional CNN，3DCNN）結果與基于MRI切片的二維CNN（two-dimensional CNN，2DCNN）進行比較，證實了3DCNN要優于2DCNN。此后，大多數不同AD階段分類的深度學習研究，都使用了CNN[10-14]。變換器（Transformer）模型憑借其自注意力機制，在全局范圍內對輸入數據進行高效編碼，近期在AD診斷分類領域中展現出不俗的潛力[15-18]。不過這些模型主要基于受試者單一時間點的sMRI數據，無法獲得AD疾病的進展信息，這在一定程度上制約了AD早期診斷準確性的提高。另一方面，有部分研究采用循環神經網絡（recurrent neural network，RNN）來分析受試者多個時間點的sMRI[19]。雖然RNN在分析序列數據上具備一定的優勢，但它仍難以精準捕捉到多個時間點sMRI間的細微變化。
事實上，如果要確定患者病癥是可轉化為AD的MCI（MCI patients who will convert to AD，MCIc），還是不轉化為AD的MCI（MCI patients who will not convert to AD，MCInc），不僅需要關注患者單個時間點的sMRI，還需要更細致地關注sMRI之間的變化。在AD的早期臨床診斷中，醫生通過對比患者當前與近期獲得的sMRI圖像，觀察大腦中出現的與正常人不同的變化，以輔助進行準確的診斷。這種對比分析方法有助于揭示疾病的進展和潛在的病理變化。基于此診斷流程，本文提出了一個融合雙時間點sMRI的AD早期輔助診斷集成模型。該模型利用患者在兩個不同時間點上的sMRI數據，主要采用了基于密集連接卷積網絡（densely connected convolutional networks，DenseNet）[20]的3DCNN主干網絡和孿生神經網絡，著重關注兩次sMRI之間由AD引發的關鍵細微變化，同時通過特征融合模塊融入臨床基本信息，以期進一步提升AD早期臨床診斷效果。
1 方法
1.1 整體流程
本文的目標是構建融合雙時間點sMRI的AD早期輔助診斷集成模型，整體流程如圖1所示，其中主要分為數據處理以及構建集成模型。在數據處理的過程中，對受試者的sMRI數據進行配準、組合訓練樣本對以及提取sMRI中的感興趣區域（region of interest，ROI）。然后，在構建集成模型中針對提取出的ROI和臨床數據分別構建3DCNN、孿生神經網絡和多層感知機（multi-layer perceptron，MLP）模塊進行分類預測。
圖1
整體流程圖
Figure1.
Overall flowchart
1.2 數據處理
受試者的sMRI數據需要經過配準、組合訓練樣本對以及篩選ROI等多個流程后，用于訓練集成模型。數據處理流程圖如圖2所示。
圖2
數據處理流程圖
Figure2.
Data processing flow chart
本文的數據集分為正常對照（normal control，NC）組、MCInc組、MCIc組、AD組四個組別，每個組別包含多位受試者一段時間內在醫院的診斷記錄，每個診斷記錄中都包含受試者的sMRI和臨床信息。在數據處理流程中，首先使用科學計算軟件MATLAB（MathWorks Inc.，美國）的spm批處理工具對受試者sMRI進行圖像預處理，預處理包含去頭骨、配準、映射、平滑等操作，將所有sMRI映射至同一個三維尺寸。
本文依據診斷時間的先后對所有受試者的診斷記錄進行配對，形成早晚配對（分別為圖2中的Xearly 和Xlate）。這些配對中的受試者在兩個時間點的診斷記錄，可以視為該受試者在一段時間內的AD進展變化。考慮到實際診斷過程中，患者確診前的隨診時間間隔較短，因此本研究將這些配對的獲取時間間隔限制在2.5年以內，排除了時間間隔更大的配對。
現有研究表明，與AD相關的大腦區域主要集中在人腦的杏仁核和海馬體等區域（圖2腦圖譜中紅色部分，該區域所在的ROI編號為211、212、213、214、215、216、217、218）[21-22]。通過腦圖譜[23]將sMRI數據中與AD相關的ROI提取出來，這樣可以在減小集成模型復雜度的同時不降低輔助診斷效果。本文將杏仁核和海馬體所在的全部ROI納入到訓練樣本中。在確保樣本多樣性和完整性方面，本文同時也關注與杏仁核和海馬體直接相鄰的ROI（圖2腦圖譜中黃色部分，ROI編號為109、111、49、239、181、182、113、195、196、70、223、224、103、104、237、110、238、112、240、114、242、116、241、118、119、120、115、117），這些區域同樣包含與AD相關的潛在信息。因此，本文將這些區域也納入到訓練樣本中，以避免遺漏重要信息。根據上述方法，得到本文訓練樣本中包含的所有需要從sMRI中提取出來的ROI。據上述的所有ROI和腦圖譜，制作一個sMRI掩膜提取與AD相關的ROI，然后將sMRI裁剪至包含非零體素點的最小包圍盒尺寸，以此減少大量無效數據，顯著降低集成模型的參數量規模。
1.3 整體框架
本文提出了一種融合雙時間點sMRI的AD早期輔助診斷集成模型。該模型集成了3DCNN主干網絡模塊、孿生神經網絡模塊和MLP模塊，旨在從受試者兩次sMRI和臨床數據中提取特征。最后融合多模態特征預測AD發生概率。該集成模型的整體框架如圖3所示，其中3個模塊輸出的特征向量分別為Y0、Y1和Y2。
圖3
集成模型的整體框架
Figure3.
The overall framework of the ensemble model
1.3.1 3DCNN主干網絡模塊
本文基于DenseNet來構建3DCNN主干網絡模塊，同時在主干網絡之后使用全連接層計算得到預測結果，該模塊的結構圖如圖4所示。不同于殘差網絡（residual net，ResNet）[24]，基于DenseNet構建的卷積網絡在每個稠密塊（dense block）中，通過通道連接特征圖的方式保留了映射前和映射后的特征圖，此設計明確區分添加到下一層網絡中的信息和該層保留的信息。該結構使得網絡的最終分類器可以根據網絡中所有的特征映射進行決策，最大程度地避免特征圖在多層網絡的映射后信息損失的問題。基于DenseNet構建的網絡另一大優勢是提升了整個網絡中信息和梯度的流動，每一層都可以直接從損失函數和原始輸入數據獲得梯度。
圖4
3DCNN主干網絡模塊結構圖
Figure4.
Structure diagram of 3DCNN backbone network module
圖4中，輸入數據X0包含受試者訓練樣本對中的兩個時間點sMRI和兩次sMRI的變化差值圖（即圖4中的Xdiff）。通過這種方式，不僅可以提取兩個時間點sMRI上的原始特征，還可以直接捕捉兩個時間點sMRI之間的局部細微變化特征。視覺幾何組塊（visual geometry group block，VGG block）中包含卷積層、批量歸一化層、修正線性單元激活層（ReLU）和最大池化層，輸入數據的通道數從3擴展至32，同時用最大池化操作進行下采樣。Dense block的結構與VGG block類似，在特征提取的過程中，每一層的輸出會與上一層的輸出在通道維度上相連接，進而作為下一層的輸入。3DCNN主干網絡最后連接一個線性層，該線性層中包含展平、線性連接、批量歸一化和隨機丟棄操作，輸出一個高維特征向量Y0，供后面的模塊使用。
1.3.2 孿生神經網絡模塊
為了進一步引導和增強模型對受試者AD進展變化的關注，本文構建了一個孿生神經網絡。該網絡用于提取受試者兩個時間點sMRI在高維空間中的差異，其框架圖如圖5所示。由于孿生神經網絡對相似序列的差異較為敏感，它能夠在高維特征空間中觀察受試者兩次sMRI之間的變化，深入挖掘受試者AD進展變化的潛在信息，因此較為適合用于AD早期病癥的預測任務。
圖5
孿生神經網絡模塊結構圖
Figure5.
Structure diagram of twin neural network module
本文設計的孿生神經網絡模塊采用了與3DCNN主干網絡相似的網絡結構，使用權重共享的特征提取器分別對Xearly和Xlate進行特征提取，得到的Yearly和Ylate為受試者兩次sMRI的在高維特征空間中的表示。Yearly和Ylate相減后得到的這兩次sMRI在高維特征空間中的差別Y1，即為受試者的AD變化進展信息。
1.3.3 MLP模塊
在AD早期臨床診斷中，醫生通常會綜合考慮受試者的其他基本信息。本文也基于受試者最容易獲取的數據，如年齡、性別以及兩次sMRI的拍攝時間間隔等基本臨床信息進行建模。MLP模塊的結構圖如圖6所示。其中，輸入層中受試者的年齡和sMRI拍攝時間間隔信息從其值域映射至[0, 1]的范圍內，性別信息則通過獨熱碼進行表示。
圖6
MLP模塊結構圖
Figure6.
Structure diagram of MLP module
1.3.4 特征融合
本文選取特征級融合方法，將3個模塊輸出的特征向量Y0、Y1和Y2進行拼接，作為最后線性層的輸入。該做法旨在從受試者的不同數據來源中提取潛在的AD進展信息，進而提升集成模型的決策性能和泛化能力。最后通過柔性最大（softmax）函數對線性層的輸出進行歸一化操作，得到二分類任務的預測概率。
2 實驗
2.1 數據集介紹
本文使用的sMRI數據來自阿爾茨海默癥神經影像學倡議（Alzheimer’s Disease Neuroimaging Initiative，ADNI）數據庫。從ADNI數據庫中下載的sMRI數據劃分為NC組、MCInc組、MCIc組和AD組。
本文沿用本團隊已有研究中的ADNI數據集[25]，共509個受試者。從中挑選出具有2個或以上時間點sMRI的受試者，合計420個受試者的1 570個T1加權成像的sMRI用于本文實驗。相關受試者樣本的詳細信息如表1所示。
表1
420個受試者樣例的信息特征（
）
Table1.
Information features of 420 subjects （
）
2.2 分類性能指標
本文采用了4種分類性能指標進行評價，分別是分類準確率（accuracy，Acc）、召回率（recall，Rec）、精度（precision，Pre）和F1值，相關計算公式如式(1)～式(4)所示：
 |
 |
 |
 |
其中，真陽性（true positive，TP）表示正類別中正確分類樣本的數量；真陰性（true negative, TN）表示負類別中正確分類樣本的數量；假陽性（false positive，FP）表示正類別中錯誤分類樣本的數量；假陰性（false negative，FN）是負類別中錯誤分類樣本的數量。
2.3 實驗設置
本文中使用5折分層交叉驗證策略來訓練和測試所提出的集成模型，以此減少隨機因素的影響。首先將數據集平均分成6份，固定其中一份作為測試集，剩余5份在5折訓練過程中依次作為驗證集來檢驗模型的性能。此外，為了防止數據泄漏，制作好的訓練樣本對需要根據受試者進行劃分，保證同一個受試者的所有樣本全部劃分到同一份數據集中。
實驗通過3個二分類任務來檢驗集成模型的性能，分別是：① AD組對比NC組；② MCIc組對比NC組；③ MCIc組對比MCInc組。訓練過程部署在GeForce RTX3090顯卡（NVIDIA，美國）上，使用人工智能計算框架Pytorch（Meta Inc.，美國）實現集成模型。訓練的批大小設置為24，每折實驗訓練200次迭代，初始學習率為0.001，使用自適應矩估計（adaptive moment estimation，Adam）優化器進行參數更新，并且每一代的學習率設為上一代的0.95倍。訓練中每次迭代后計算該模型在對應的驗證集上的Acc表現，篩選出表現最好的集成模型保存下來，作為訓練結果。模型的損失函數中使用交叉熵函數計算預測結果與樣本標簽的損失，同時在損失函數中添加L1、L2正則項以防模型過擬合。
3 實驗結果分析
3.1 方法結果比較
為了驗證本文集成模型的效果，本文與DenseNet[20]、數據高效圖像Transformer（data-efficient image Transformer，DeiT）[26]方法使用相同的ADNI數據集（420個受試者）進行對比實驗。另外，還以本課題組已發表文獻[25]的方法作為對比，即基于3DCNN和遺傳算法的自適應可解釋性集成模型（adaptive interpretable ensemble model based on 3DCNN and genetic algorethm，3DCNN + EL + GA）。由于該方法的預訓練模型數量龐大，訓練時間較長，本文并未進行重新訓練。實驗結果直接引用自文獻[25]，但該研究是基于509個受試者的數據。上述對比實驗結果如表2所示。
表2
與其他方法實驗結果的對比（
）
Table2.
Experimental results comparison with other methods（
）
從表2中可看出，基于同一個數據集，本文方法由于捕捉到了不同時間節點上AD疾病發展的細微差別，其預測性能遠高于DenseNet[20]和DeiT[26]方法，在AD組對比NC組任務中均有所提升，在MCIc組對比NC組和MCIc組對比MCInc組任務中提升顯著。同時，在受試者數量減少17%的情況下，本文方法仍能達到與方法3DCNN + EL + GA[25]相近的Acc。
此外，由于本文方法充分利用了AD的先驗知識，使得訓練得到的集成模型的參數量大幅減小。與DenseNet[20]和3DCNN+EL+GA[25]相比，本文集成模型的參數量為1.14 × 107，DenseNet[20]的參數量為4.22 × 107，3DCNN + EL + GA[25]方法中單個模型的參數量為3.16 × 107。因此，本文模型的訓練過程更快速、更高效，每個任務的5折交叉實驗相較于方法3DCNN + EL + GA，從約40 d [25]縮短至約4 d。
另外，由于DeiT[26]方法是基于Transformer模型的，當被用于本文研究中樣本量較少的數據集上時，較難發揮出其自注意力機制的獨特優勢，難以獲得比較好的預測效果。
3.2 消融實驗
為驗證本文集成模型中各模塊及整體模型結構的有效性，本文基于ADNI數據庫中420個受試者的sMRI數據對各模塊進行消融實驗，所得結果如表3所示。消融實驗中以各方案的Acc作為參考指標。其中組別1僅使用3DCNN主干網絡，同時每個受試者只采用其一次sMRI；組別2～6中，每個受試者采用其在兩個不同時間點上采集的兩次sMRI進行訓練；同時，組別2僅使用3DCNN主干網絡，組別3使用了3DCNN主干網絡與MLP模塊，組別4使用3DCNN主干網絡與孿生神經網絡，組別5使用孿生神經網絡與MLP模塊，組別6為本文集成模型。消融實驗結果表明，對比組別3～5，本文提出的集成模型在分別去除上述這幾個模塊后，在三個二分類任務上的分類性能均有所下降，尤其是，AD組對比NC組的標準差從0.01上升到了0.02～0.06，MCIc組對比MCInc組的Acc均值從0.69降低到0.58～0.61。在MCIc組對比NC組和MCIc組對比MCInc組這兩個二分類任務的實驗結果表明，3DCNN主干網絡與孿生神經網絡模塊能有效提取受試者在sMRI上的AD進展信息，從而提高集成模型的分類準確性。同時，融合多模態特征進一步提升集成模型在三個任務中的分類性能。
表3
消融實驗中各實驗方案的準確率結果（
）
Table3.
Accuracy results for each experimental protocol in ablation experiments (
)
4 討論與總結
針對AD早期診斷困難的問題，本文提出了融合雙時間點sMRI的AD早期輔助診斷集成模型。該模型結合了基于3DCNN的主干網絡和孿生神經網絡模塊，自動提取受試者在兩個不同時間點的sMRI特征，并利用MLP模塊對受試者的一些臨床信息進行建模，最后通過融合多模態特征進行分類預測。與現有算法相比，該模型省去了復雜的網絡結構，通過增加受試者多模態信息的方式來提高分類性能。在ADNI數據集的實驗中，本文提出的集成模型展現出優于現有算法的性能，進一步證明了模型中各模塊的有效性。此外，本文方法還具有快速高效的特點，對于AD早期臨床診斷具有較大的實用價值。另外，本文模型在MCIc組對比MCInc組的分類任務上仍有提升空間，接下來需要考慮結合目前深度學習領域最前沿的算法模型，進一步提升該任務的分類效果，為AD早期臨床準確診斷提供更好的幫助。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：王健斌主要負責數據記錄與分析、算法程序與設計以及論文編寫；曾安、潘丹主要負責實驗流程、協調溝通、計劃安排、提供實驗指導以及論文審閱修訂，楊洋和劉軍主要負責論文審閱修訂；劉鑫、陳文戈、吳菊華主要負責修改論文，審定論文最終版本。
0 引言
阿爾茨海默癥（Alzheimer's disease，AD）是一種進行性神經退行性疾病。世界衛生組織2023年關于AD的報告中指出，全球患有阿爾茨海默癥的人數預計將從2019年的5 500萬人上升至2050年的1.39億人[1]。研究表明，該疾病可以在患者出現臨床癥狀之前的10年甚至更長時間開始發展[2]。AD患者的臨床表現通常有判斷理解力障礙、記憶力障礙、性格和精神改變、情感障礙等。輕度認知障礙（mild cognitive impairment，MCI）通常被認為是AD的一種早期階段，是從正常人到AD患者的過渡階段。AD最重要的風險因素是衰老，在衰老的過程中患者可能出現葡萄糖代謝低下、線粒體功能障礙、抑郁和認知能力下降等情況。這些變化同樣也會出現在正常人的衰老中，如果僅通過簡易精神狀態量表或臨床癡呆評定量表評分，是無法準確識別受試者是否為MCI表現的，因為受試者并沒有表現出嚴重的記憶問題[3]。因此，如何在臨床上快速準確地開展AD早期診斷仍然是一個具有挑戰性的問題。
目前關于AD早期診斷的研究中，已有多項醫學診斷技術用于篩查AD早期患者，如：β-淀粉樣斑塊沉積、Tau蛋白等體液標記物檢測；磁共振成像（magnetic resonance imaging，MRI）、正電子發射型計算機斷層成像等影像學檢查技術；以及多種認知評估診斷技術[4]。其中，MRI包括：結構性MRI（structural MRI，sMRI）和功能性MRI。sMRI，是一種無創且功能強大的神經成像工具，能捕捉到區域性腦萎縮的情況，并揭示與AD相關的解剖結構變化[5]。當受試者的大腦發生病變時，MRI的特征會發生相應的變化。與AD相關的一些腦區，如海馬體、杏仁核、內嗅皮質等，其變化可以在一定程度上反映AD的疾病進展。基于對這些腦區的特征提取有助于準確預測AD和MCI，為AD早期診斷提供了重要的影像學生物標志物[6]。
對于AD患者所處不同階段的分類，傳統的機器學習研究通常使用sMRI進行特征提取，并通過分類器對提取的特征進行分類。最流行的分類器——支持向量機，是一種監督學習模型，可用于解決回歸和大多數分類問題。支持向量機能有效提取數據樣本中有代表性的高維抽象特征，且在數據樣本類別可分離的情況下表現較好。然而，傳統的機器學習模型存在高度的錯誤敏感性，模型提取特征的過程極度依賴人工分割大腦結構的工作，數據樣本中微小的偏差就會給模型診斷帶來較大影響。目前，這些問題已經可以通過深度學習技術來解決[7]。
深度學習技術可對數據樣本的高維抽象特征進行建模，在進行有監督或無監督的訓練后，通過多層非線性變換提取特征以獲得最佳的表示[7]，因此被廣泛應用于醫學圖像的分割、分類和配準等領域。其中，卷積神經網絡（convolutional neural network，CNN）能夠有效找到具有高度代表性的分層特征并快速調整參數。在醫學圖像領域的早期研究中，Payan等[8]采用文獻[9]的數據集，將稀疏自動編碼器與CNN相結合，將基于全腦MRI的三維CNN（three-dimensional CNN，3DCNN）結果與基于MRI切片的二維CNN（two-dimensional CNN，2DCNN）進行比較，證實了3DCNN要優于2DCNN。此后，大多數不同AD階段分類的深度學習研究，都使用了CNN[10-14]。變換器（Transformer）模型憑借其自注意力機制，在全局范圍內對輸入數據進行高效編碼，近期在AD診斷分類領域中展現出不俗的潛力[15-18]。不過這些模型主要基于受試者單一時間點的sMRI數據，無法獲得AD疾病的進展信息，這在一定程度上制約了AD早期診斷準確性的提高。另一方面，有部分研究采用循環神經網絡（recurrent neural network，RNN）來分析受試者多個時間點的sMRI[19]。雖然RNN在分析序列數據上具備一定的優勢，但它仍難以精準捕捉到多個時間點sMRI間的細微變化。
事實上，如果要確定患者病癥是可轉化為AD的MCI（MCI patients who will convert to AD，MCIc），還是不轉化為AD的MCI（MCI patients who will not convert to AD，MCInc），不僅需要關注患者單個時間點的sMRI，還需要更細致地關注sMRI之間的變化。在AD的早期臨床診斷中，醫生通過對比患者當前與近期獲得的sMRI圖像，觀察大腦中出現的與正常人不同的變化，以輔助進行準確的診斷。這種對比分析方法有助于揭示疾病的進展和潛在的病理變化。基于此診斷流程，本文提出了一個融合雙時間點sMRI的AD早期輔助診斷集成模型。該模型利用患者在兩個不同時間點上的sMRI數據，主要采用了基于密集連接卷積網絡（densely connected convolutional networks，DenseNet）[20]的3DCNN主干網絡和孿生神經網絡，著重關注兩次sMRI之間由AD引發的關鍵細微變化，同時通過特征融合模塊融入臨床基本信息，以期進一步提升AD早期臨床診斷效果。
1 方法
1.1 整體流程
本文的目標是構建融合雙時間點sMRI的AD早期輔助診斷集成模型，整體流程如圖1所示，其中主要分為數據處理以及構建集成模型。在數據處理的過程中，對受試者的sMRI數據進行配準、組合訓練樣本對以及提取sMRI中的感興趣區域（region of interest，ROI）。然后，在構建集成模型中針對提取出的ROI和臨床數據分別構建3DCNN、孿生神經網絡和多層感知機（multi-layer perceptron，MLP）模塊進行分類預測。
圖1
整體流程圖
Figure1.
Overall flowchart
1.2 數據處理
受試者的sMRI數據需要經過配準、組合訓練樣本對以及篩選ROI等多個流程后，用于訓練集成模型。數據處理流程圖如圖2所示。
圖2
數據處理流程圖
Figure2.
Data processing flow chart
本文的數據集分為正常對照（normal control，NC）組、MCInc組、MCIc組、AD組四個組別，每個組別包含多位受試者一段時間內在醫院的診斷記錄，每個診斷記錄中都包含受試者的sMRI和臨床信息。在數據處理流程中，首先使用科學計算軟件MATLAB（MathWorks Inc.，美國）的spm批處理工具對受試者sMRI進行圖像預處理，預處理包含去頭骨、配準、映射、平滑等操作，將所有sMRI映射至同一個三維尺寸。
本文依據診斷時間的先后對所有受試者的診斷記錄進行配對，形成早晚配對（分別為圖2中的Xearly 和Xlate）。這些配對中的受試者在兩個時間點的診斷記錄，可以視為該受試者在一段時間內的AD進展變化。考慮到實際診斷過程中，患者確診前的隨診時間間隔較短，因此本研究將這些配對的獲取時間間隔限制在2.5年以內，排除了時間間隔更大的配對。
現有研究表明，與AD相關的大腦區域主要集中在人腦的杏仁核和海馬體等區域（圖2腦圖譜中紅色部分，該區域所在的ROI編號為211、212、213、214、215、216、217、218）[21-22]。通過腦圖譜[23]將sMRI數據中與AD相關的ROI提取出來，這樣可以在減小集成模型復雜度的同時不降低輔助診斷效果。本文將杏仁核和海馬體所在的全部ROI納入到訓練樣本中。在確保樣本多樣性和完整性方面，本文同時也關注與杏仁核和海馬體直接相鄰的ROI（圖2腦圖譜中黃色部分，ROI編號為109、111、49、239、181、182、113、195、196、70、223、224、103、104、237、110、238、112、240、114、242、116、241、118、119、120、115、117），這些區域同樣包含與AD相關的潛在信息。因此，本文將這些區域也納入到訓練樣本中，以避免遺漏重要信息。根據上述方法，得到本文訓練樣本中包含的所有需要從sMRI中提取出來的ROI。據上述的所有ROI和腦圖譜，制作一個sMRI掩膜提取與AD相關的ROI，然后將sMRI裁剪至包含非零體素點的最小包圍盒尺寸，以此減少大量無效數據，顯著降低集成模型的參數量規模。
1.3 整體框架
本文提出了一種融合雙時間點sMRI的AD早期輔助診斷集成模型。該模型集成了3DCNN主干網絡模塊、孿生神經網絡模塊和MLP模塊，旨在從受試者兩次sMRI和臨床數據中提取特征。最后融合多模態特征預測AD發生概率。該集成模型的整體框架如圖3所示，其中3個模塊輸出的特征向量分別為Y0、Y1和Y2。
圖3
集成模型的整體框架
Figure3.
The overall framework of the ensemble model
1.3.1 3DCNN主干網絡模塊
本文基于DenseNet來構建3DCNN主干網絡模塊，同時在主干網絡之后使用全連接層計算得到預測結果，該模塊的結構圖如圖4所示。不同于殘差網絡（residual net，ResNet）[24]，基于DenseNet構建的卷積網絡在每個稠密塊（dense block）中，通過通道連接特征圖的方式保留了映射前和映射后的特征圖，此設計明確區分添加到下一層網絡中的信息和該層保留的信息。該結構使得網絡的最終分類器可以根據網絡中所有的特征映射進行決策，最大程度地避免特征圖在多層網絡的映射后信息損失的問題。基于DenseNet構建的網絡另一大優勢是提升了整個網絡中信息和梯度的流動，每一層都可以直接從損失函數和原始輸入數據獲得梯度。
圖4
3DCNN主干網絡模塊結構圖
Figure4.
Structure diagram of 3DCNN backbone network module
圖4中，輸入數據X0包含受試者訓練樣本對中的兩個時間點sMRI和兩次sMRI的變化差值圖（即圖4中的Xdiff）。通過這種方式，不僅可以提取兩個時間點sMRI上的原始特征，還可以直接捕捉兩個時間點sMRI之間的局部細微變化特征。視覺幾何組塊（visual geometry group block，VGG block）中包含卷積層、批量歸一化層、修正線性單元激活層（ReLU）和最大池化層，輸入數據的通道數從3擴展至32，同時用最大池化操作進行下采樣。Dense block的結構與VGG block類似，在特征提取的過程中，每一層的輸出會與上一層的輸出在通道維度上相連接，進而作為下一層的輸入。3DCNN主干網絡最后連接一個線性層，該線性層中包含展平、線性連接、批量歸一化和隨機丟棄操作，輸出一個高維特征向量Y0，供后面的模塊使用。
1.3.2 孿生神經網絡模塊
為了進一步引導和增強模型對受試者AD進展變化的關注，本文構建了一個孿生神經網絡。該網絡用于提取受試者兩個時間點sMRI在高維空間中的差異，其框架圖如圖5所示。由于孿生神經網絡對相似序列的差異較為敏感，它能夠在高維特征空間中觀察受試者兩次sMRI之間的變化，深入挖掘受試者AD進展變化的潛在信息，因此較為適合用于AD早期病癥的預測任務。
圖5
孿生神經網絡模塊結構圖
Figure5.
Structure diagram of twin neural network module
本文設計的孿生神經網絡模塊采用了與3DCNN主干網絡相似的網絡結構，使用權重共享的特征提取器分別對Xearly和Xlate進行特征提取，得到的Yearly和Ylate為受試者兩次sMRI的在高維特征空間中的表示。Yearly和Ylate相減后得到的這兩次sMRI在高維特征空間中的差別Y1，即為受試者的AD變化進展信息。
1.3.3 MLP模塊
在AD早期臨床診斷中，醫生通常會綜合考慮受試者的其他基本信息。本文也基于受試者最容易獲取的數據，如年齡、性別以及兩次sMRI的拍攝時間間隔等基本臨床信息進行建模。MLP模塊的結構圖如圖6所示。其中，輸入層中受試者的年齡和sMRI拍攝時間間隔信息從其值域映射至[0, 1]的范圍內，性別信息則通過獨熱碼進行表示。
圖6
MLP模塊結構圖
Figure6.
Structure diagram of MLP module
1.3.4 特征融合
本文選取特征級融合方法，將3個模塊輸出的特征向量Y0、Y1和Y2進行拼接，作為最后線性層的輸入。該做法旨在從受試者的不同數據來源中提取潛在的AD進展信息，進而提升集成模型的決策性能和泛化能力。最后通過柔性最大（softmax）函數對線性層的輸出進行歸一化操作，得到二分類任務的預測概率。
2 實驗
2.1 數據集介紹
本文使用的sMRI數據來自阿爾茨海默癥神經影像學倡議（Alzheimer’s Disease Neuroimaging Initiative，ADNI）數據庫。從ADNI數據庫中下載的sMRI數據劃分為NC組、MCInc組、MCIc組和AD組。
本文沿用本團隊已有研究中的ADNI數據集[25]，共509個受試者。從中挑選出具有2個或以上時間點sMRI的受試者，合計420個受試者的1 570個T1加權成像的sMRI用于本文實驗。相關受試者樣本的詳細信息如表1所示。
表1
420個受試者樣例的信息特征（）
Table1.
Information features of 420 subjects （）
2.2 分類性能指標
本文采用了4種分類性能指標進行評價，分別是分類準確率（accuracy，Acc）、召回率（recall，Rec）、精度（precision，Pre）和F1值，相關計算公式如式(1)～式(4)所示：
|
|
|
|
其中，真陽性（true positive，TP）表示正類別中正確分類樣本的數量；真陰性（true negative, TN）表示負類別中正確分類樣本的數量；假陽性（false positive，FP）表示正類別中錯誤分類樣本的數量；假陰性（false negative，FN）是負類別中錯誤分類樣本的數量。
2.3 實驗設置
本文中使用5折分層交叉驗證策略來訓練和測試所提出的集成模型，以此減少隨機因素的影響。首先將數據集平均分成6份，固定其中一份作為測試集，剩余5份在5折訓練過程中依次作為驗證集來檢驗模型的性能。此外，為了防止數據泄漏，制作好的訓練樣本對需要根據受試者進行劃分，保證同一個受試者的所有樣本全部劃分到同一份數據集中。
實驗通過3個二分類任務來檢驗集成模型的性能，分別是：① AD組對比NC組；② MCIc組對比NC組；③ MCIc組對比MCInc組。訓練過程部署在GeForce RTX3090顯卡（NVIDIA，美國）上，使用人工智能計算框架Pytorch（Meta Inc.，美國）實現集成模型。訓練的批大小設置為24，每折實驗訓練200次迭代，初始學習率為0.001，使用自適應矩估計（adaptive moment estimation，Adam）優化器進行參數更新，并且每一代的學習率設為上一代的0.95倍。訓練中每次迭代后計算該模型在對應的驗證集上的Acc表現，篩選出表現最好的集成模型保存下來，作為訓練結果。模型的損失函數中使用交叉熵函數計算預測結果與樣本標簽的損失，同時在損失函數中添加L1、L2正則項以防模型過擬合。
3 實驗結果分析
3.1 方法結果比較
為了驗證本文集成模型的效果，本文與DenseNet[20]、數據高效圖像Transformer（data-efficient image Transformer，DeiT）[26]方法使用相同的ADNI數據集（420個受試者）進行對比實驗。另外，還以本課題組已發表文獻[25]的方法作為對比，即基于3DCNN和遺傳算法的自適應可解釋性集成模型（adaptive interpretable ensemble model based on 3DCNN and genetic algorethm，3DCNN + EL + GA）。由于該方法的預訓練模型數量龐大，訓練時間較長，本文并未進行重新訓練。實驗結果直接引用自文獻[25]，但該研究是基于509個受試者的數據。上述對比實驗結果如表2所示。
表2
與其他方法實驗結果的對比（）
Table2.
Experimental results comparison with other methods（）
從表2中可看出，基于同一個數據集，本文方法由于捕捉到了不同時間節點上AD疾病發展的細微差別，其預測性能遠高于DenseNet[20]和DeiT[26]方法，在AD組對比NC組任務中均有所提升，在MCIc組對比NC組和MCIc組對比MCInc組任務中提升顯著。同時，在受試者數量減少17%的情況下，本文方法仍能達到與方法3DCNN + EL + GA[25]相近的Acc。
此外，由于本文方法充分利用了AD的先驗知識，使得訓練得到的集成模型的參數量大幅減小。與DenseNet[20]和3DCNN+EL+GA[25]相比，本文集成模型的參數量為1.14 × 107，DenseNet[20]的參數量為4.22 × 107，3DCNN + EL + GA[25]方法中單個模型的參數量為3.16 × 107。因此，本文模型的訓練過程更快速、更高效，每個任務的5折交叉實驗相較于方法3DCNN + EL + GA，從約40 d [25]縮短至約4 d。
另外，由于DeiT[26]方法是基于Transformer模型的，當被用于本文研究中樣本量較少的數據集上時，較難發揮出其自注意力機制的獨特優勢，難以獲得比較好的預測效果。
3.2 消融實驗
為驗證本文集成模型中各模塊及整體模型結構的有效性，本文基于ADNI數據庫中420個受試者的sMRI數據對各模塊進行消融實驗，所得結果如表3所示。消融實驗中以各方案的Acc作為參考指標。其中組別1僅使用3DCNN主干網絡，同時每個受試者只采用其一次sMRI；組別2～6中，每個受試者采用其在兩個不同時間點上采集的兩次sMRI進行訓練；同時，組別2僅使用3DCNN主干網絡，組別3使用了3DCNN主干網絡與MLP模塊，組別4使用3DCNN主干網絡與孿生神經網絡，組別5使用孿生神經網絡與MLP模塊，組別6為本文集成模型。消融實驗結果表明，對比組別3～5，本文提出的集成模型在分別去除上述這幾個模塊后，在三個二分類任務上的分類性能均有所下降，尤其是，AD組對比NC組的標準差從0.01上升到了0.02～0.06，MCIc組對比MCInc組的Acc均值從0.69降低到0.58～0.61。在MCIc組對比NC組和MCIc組對比MCInc組這兩個二分類任務的實驗結果表明，3DCNN主干網絡與孿生神經網絡模塊能有效提取受試者在sMRI上的AD進展信息，從而提高集成模型的分類準確性。同時，融合多模態特征進一步提升集成模型在三個任務中的分類性能。
表3
消融實驗中各實驗方案的準確率結果（）
Table3.
Accuracy results for each experimental protocol in ablation experiments ()
4 討論與總結
針對AD早期診斷困難的問題，本文提出了融合雙時間點sMRI的AD早期輔助診斷集成模型。該模型結合了基于3DCNN的主干網絡和孿生神經網絡模塊，自動提取受試者在兩個不同時間點的sMRI特征，并利用MLP模塊對受試者的一些臨床信息進行建模，最后通過融合多模態特征進行分類預測。與現有算法相比，該模型省去了復雜的網絡結構，通過增加受試者多模態信息的方式來提高分類性能。在ADNI數據集的實驗中，本文提出的集成模型展現出優于現有算法的性能，進一步證明了模型中各模塊的有效性。此外，本文方法還具有快速高效的特點，對于AD早期臨床診斷具有較大的實用價值。另外，本文模型在MCIc組對比MCInc組的分類任務上仍有提升空間，接下來需要考慮結合目前深度學習領域最前沿的算法模型，進一步提升該任務的分類效果，為AD早期臨床準確診斷提供更好的幫助。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：王健斌主要負責數據記錄與分析、算法程序與設計以及論文編寫；曾安、潘丹主要負責實驗流程、協調溝通、計劃安排、提供實驗指導以及論文審閱修訂，楊洋和劉軍主要負責論文審閱修訂；劉鑫、陳文戈、吳菊華主要負責修改論文，審定論文最終版本。
