基于深度學習的癲癇腦電自動檢測方法，能避免人為因素的影響而倍受關注，而其有效性主要取決于深度神經網絡模型。為此，本研究將根據癲癇腦電的多尺度、時空特點及導聯間的信息流動特征，設計一種基于注意力的多尺度殘差網絡（AMSRN），并與多尺度主元分析法（MSPCA）相結合，實現癲癇的自動檢測。首先，利用MSPCA對原始癲癇腦電信號進行去噪和特征增強；進而，設計AMSRN模型結構與參數。其中，注意力模塊（AM）、多尺度卷積模塊（MCM）、時空特征提取模塊（STFEM）和分類模塊（CM）相繼完成基于注意力加權機制的信號重表達以及多尺度-時空特征的提取、融合與分類。基于麻省理工學院的波士頓兒童醫院（CHB-MIT）公共數據集進行5折交叉驗證實驗研究，AMSRN模型在靈敏度（98.56%）、F1分數（98.35%）、準確度（98.41%）及精確度（98.43%）等方面均取得了較好結果。結果表明，AMSRN模型能夠很好地利用癲癇發作引起的腦網絡信息流動強化導聯間差異性，并有效捕獲癲癇腦電的多尺度和時空特征，有利于改善癲癇檢測性能。
引用本文： 王興起, 李明愛. 應用基于注意力的多尺度殘差網絡實現癲癇腦電自動檢測. 生物醫學工程學雜志, 2024, 41(2): 253-261. doi: 10.7507/1001-5515.202307030 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
0 引言
癲癇是由大腦內神經元群異常超同步放電導致的，以突然、短暫及反復的癲癇性發作為特征的一種慢性神經系統疾病，嚴重威脅著患者生命健康[1]。腦電圖（electroencephalogram，EEG）是一種非平穩隨機信號，具有非線性、多尺度及空間分布等特點，易于采集，且含有豐富的生理和病理信息，是臨床上進行癲癇監測的重要工具，但檢測結果受醫生自身經驗和主觀因素影響，致使檢測結果準確性和可重復性不理想[2]。
許多研究者提出基于傳統機器學習的方法來實現癲癇自動檢測[3-9]，但面臨了復雜的特征工程問題，特征提取與分類器需要分步設計和參數調整。而深度學習作為高級的機器學習方法，不僅可以有效利用癲癇信號的長時程、非平穩、多通道特點，提取更具表征性的深度特征，而且可以實現特征提取和分類器的融合統一，因此基于深度學習的癲癇檢測展現出很好的發展潛力。Hussain等[10]提取腦電信號時域、頻域和時頻特征，并基于卷積神經網路（convolutional neural networks，CNN）和長短期記憶網絡（long short-term memory，LSTM）構建混合深度學習網絡完成分類任務。Yao等[11]利用基于腦電信號空間特征的注意力機制和雙向長短期記憶網絡完成癲癇分類任務。Hu等[12]等基于局部均值分解提取腦電信號統計特征，通過深度雙向長短時記憶網絡完成分類任務。Shen等[13]等基于可調節Q小波變換將腦電信號分解為不同頻率子帶，進而提取統計矩和譜帶功率特征，最后通過CNN網絡實現癲癇檢測。Fukumori等[14]提出基于循環神經網絡的自我注意力模型，與先進的機器學習模型相比，取得了更高的性能。Sharan等[15]采用Morlet小波提取多通道腦電信號相鄰時期功率譜特征，通過一維CNN網絡完成癲癇檢測任務。Chatzichristos等[16]利用不同預處理后得到的信號視圖訓練U型網絡，最后通過LSTM合并前置網絡特征，實現癲癇腦電檢測。Ma等[17]基于多通道特征融合模型CNN-Bi-LSTM提取腦電信號的時空特征，通過全連接層完成特征融合，基于注意力機制進一步降維特征，最后通過分類器完成癲癇信號的自動檢測。Zhao等[18]先采用CNN和Tranformer網絡提取腦電信號的局部和全局特征，隨后通過特征耦合塊融合兩種特征，最后將增強特征送入分類器完成癲癇自動檢測。Tian等[19]基于小波包分解和快速傅里葉變換構造多視圖特征，并通過CNN完成特征提取和分類。Ke等[20]設計了通道加權模塊（channel-weighted block，CW-Block)，并將CW-Block和擠壓激勵模塊（squeeze-and-excitation block，SE-Block）增加到殘差神經網絡（18層）中，交替動態捕獲不同通道的重要性和顯式建模多通道不同維度卷積特征之間的相互依賴性，實現癲癇自動檢測。Li等[21]提出一種通道嵌入頻譜-時間SE網絡，對基于先驗知識手動選擇的多通道腦電信號同時進行多層頻譜分析和多尺度時間分析，完成頻譜-時間多域特征的共同提取，最后通過分類器網絡實現癲癇腦電分類。另外，通過設置基于最大均值差異的信息最大化損失，通道嵌入頻譜-時間SE網絡能夠有效減輕過擬合問題。He等[22]將多通道腦電信號表示為圖，計算通道間的注意力并輸入至圖注意力網絡，以提取通道拓撲間的空間特征，繼而通過雙向長短期記憶網絡挖掘時間關系，再根據當前時刻的前、后狀態做出最終決策，實現癲癇檢測。Poorani等[23]利用CNN和LSTM相結合的混合神經網絡模型提取EEG信號的時-空特征，達到癲癇檢測的目的。綜上，癲癇檢測方法的研究已取得一定進展，如何根據癲癇腦電的多尺度、時空特點及導聯間的信息流動等特征，設計更有針對性的深度神經網絡模型改善癲癇檢測性能值得深入研究。
為此，本文研究了基于注意力機制的多尺度殘差網絡模型（attention-based multi-scale residual network，AMSRN），并與多尺度主成分分析（multi-scale principal component analysis，MSPCA）[24]相結合，利用腦電信號多尺度特征實現降噪，利用導聯間信息流動作為注意力加強導聯間差異性，隨后融合網絡深淺層特征，提取強表征性時空特征，以期實現癲癇自動檢測。
1 材料和方法
1.1 數據來源和數據預處理
1.1.1 數據來源
我們選取麻省理工學院EEG數據庫中收錄的來自波士頓兒童醫院（Children’s Hospital Boston-Massachusetts Institute of Technology，CHB-MIT）的數據集進行實驗研究。CHB-MIT數據集由23名患有頑固性癲癇的患者（18名女性和5名男性）腦電圖記錄組成，每條記錄持續約1 h，采樣頻率為256 Hz。23例患者的具體腦電數據信息參見附件1。
1.1.2 數據預處理
基于CHB-MIT數據集，選取具有代表性的23個導聯，包括FP1-F7、FP1-F7、F7-T7、T7-P7、P7-O1、FP1-F3、F3-C3、C3-P3、P3-O1、FP2-F4、F4-C4、C4-P4、P4-O2、FP2-F8、F8-T8、T8-P8、P8-O2、FZ-CZ、CZ-PZ、P7-T7、T7-FT9、FT9-FT10和FT10-T8，進行數據分割與數據平衡。本方法的實驗結果與時間片段長度緊密相關，當時間片段長度為4 s時，獲得最高準確度且訓練時間較短（各時間片段長度對實驗結果影響參見附件2）。因本文旨在設計輕量級神經網絡，針對癲癇發作期和發作間期信號時長的巨大差異，以及不同患者的個體差異，采用窗口時間尺度為4 s的滑窗技術平衡發作期和發作間期數據。采用基于動態步長的重疊滑窗分割時程較短且不等的發作期數據，而對于長時程的發作間期數據，則采用無重疊滑窗分割，從而保證發作間期和發作期的數據集均由500個樣本組成。從中各隨機選取400個樣本構成訓練集，剩余樣本作為測試集，進行5折實驗研究。
1.2 癲癇檢測方法
本文首先采用MSPCA對癲癇腦電信號進行降噪處理，進而基于AMSRN模型實現癲癇的自動檢測。
1.2.1 多尺度主成分分析
MSPCA兼有主成分分析和小波變換的優點，同時具有主成分分析去線性變量相關性的能力及小波變換提取變量局部特征和近似分解變量自相關性的能力，在癲癇腦電去噪中取得了較好的效果[24]。
假設將癲癇腦電信號表示為 
，其中，
為導聯數，
為每導信號的采樣點數，并依據文獻[24]計算和構造 
層小波變換轉換矩陣 
，則MSPCA的主要步驟包括：① 對每導信號進行J層小波分解，即計算 
；② 對每層細節系數矩陣 
進行主成分分析，1 ≤ i ≤ J，選擇合適的閾值，保留部分主成分；③ 對近似系數矩陣 
進行主成分分析，選擇合適的閾值，保留部分主成分；④ 將上述 ②、③ 步得到的簡化的細節矩陣和近似矩陣進行小波逆變換 
，恢復出一個新矩陣，再進行主成分分析，獲得去噪后的信號X*。
1.2.2 AMSRN模型
所提出的AMSRN模型由四個模塊組成：注意力模塊（attention module，AM）、多尺度卷積模塊（multiscale convolutional module，MCM）、時空特征提取模塊（spatio-temporal feature extraction module，STFEM）和分類模塊（classification module，CM）。模型結構如圖1所示。圖中，r 表示時間特征尺度。表1進一步給出AMSRN網絡模型的參數配置。
圖1
AMSRN模型結構
Figure1.
AMSRN model structure
表1
AMSRN模型結構參數
Table1.
AMSRN model structural parameters
（1）注意力模塊：癲癇信號發作期和發作間期多導聯腦電之間的信息流動存在顯著差異。為此，本文基于腦電信號導聯間信息流動的注意力機制顯式重構多導聯腦電特征，設計一種輕量級的注意力模塊。將維度為23*23的單位矩陣作為模塊輸入，先展平為1*(23*23)向量，并通過linear + ELU層動態捕獲導聯間信息流出強度。隨后重構維度得到腦網絡矩陣，再依據注意力加權機制得到導聯間具有強差異表征的腦電信號，作為多尺度卷積模塊輸入。
（2）多尺度卷積模塊：非線性與非平穩為癲癇腦電主要特征，且在多尺度時間尺度下才不會遺漏其特征細節。為此，本文設計了多尺度卷積模塊，其采用連續的深度卷積塊（deep convolutional block，DCB），通道間獨立地提取腦電多尺度特征。模塊的輸入為(nc, 1, ns)，卷積核大小為(1, 2)，步長為2。每層的分辨率為前一層的1/2，深層卷積相較于淺層卷積具有更長時程的時間感受野，其中第二到六層的輸出都將會進入下一層，進一步提取時空特征。
（3）時空特征提取模塊：由多尺度卷積模塊提取的多尺度特征，其特征矩陣較大，且特征表征性不足，需要進一步提取更豐富的時空特征。基于此，本文設計了時空特征提取模塊，包含了5組時空特征提取塊（spatio-temporal feature extraction block，STFEB）。STFEB由兩個模式層和全局平均池化（global average pooling，GAP）構成，每個模式層均由卷積、歸一化和ReLU激活函數組成，基于殘差網絡將淺模式層特征傳入深模式層，融合深層網絡抽象特征和淺層網絡細粒度特征，使深模式層輸出特征更具表征性，隨后基于GAP降維為32個特征點。5組STFEB的輸出特征被拼接為160特征點，作為分類模塊的輸入。
（4）分類模塊：該模塊包含兩個全連接層（full connectivity，FC）和log-softmax分類器。時空特征經全連接層特征降維后，通過log-softmax分類器計算癲癇發作期和發作間期的分類概率，log-softmax分類器計算式為：
 |
相較于softmax，在進行softmax操作后，再進行一次log運算，使得log-softmax分類器能夠減緩或避免運算溢出現象，計算過程更加平穩。分類概率隨后與真實標簽計算交叉熵損失，預測數據分類結果和真實結果之間的距離，反向傳播更新網絡參數。交叉熵損失計算式為：
 |
式中，n為分類數，p（xi）為真實分布概率，q（xi）為預測分布概率.
1.2.3 實驗環境
在PyTorch v1.6.0框架下，并基于NVIDIA GeForce 940MX和8G內存實驗環境進行實驗研究。使用Adam優化器優化網絡訓練參數，學習率為0.001。訓練時batch值設定為32，并使用類權重計算損失，以減少類不平衡對訓練造成的影響。若在連續多個時期的準確度沒有減少，則停止訓練，以減少冗余的訓練過程，加快訓練速度。
1.2.4 實驗評估
采取準確度、靈敏度、精確度和加權F1評分等性能指標，對所提癲癇自動檢測方法的性能進行評估。
準確度：計算識別正確的癲癇EEG片段占總EEG片段的百分比，公式為：準確度 = 
，式中，TP為預測為正類的正樣本，TN為預測為負類的負樣本，FP為預測為正類的負樣本，FN為預測為負類的正樣本。
靈敏度：癲癇發作的真實陽性率，計算式為：靈敏度 = 
。
精確度：預測為正樣本的數據占真實總正陽本數據的比率，如公式：精確度 = 
。
最后，通過F1分數來評價模型的整體最優性：F1分數 = 
，式中，P為精確度，S為靈敏度。
2 結果
2.1 癲癇檢測方法基于MSPCA的去噪實驗
本實驗包括小波基優選、閾值優選、信息占比優選三部分，評估指標為準確度。
（1）小波基優選：MSPCA中固定閾值和信息占比探究小波基函數對實驗結果的影響。從圖2a所示實驗結果可見，基于bior、coif和db4小波基的實驗準確率較低，基于harr和sym2小波基函數實驗準確率較高，但harr小波基函數相較于sym2計算時間較短，并且取得了微弱的準確度優勢。基于此，本文選擇harr小波基函數進行去噪實驗。
圖2
基于MSPCA的去噪實驗結果
a. 小波基函數選擇；b. 閾值選擇；c. 信息占比選擇
Figure2. Experimental results of denoising based on MSPCAa. wavelet basis function selection; b. threshold selection; c. information proportion selection
（2）閾值優選：在固定小波基函數和信息占比前提下，進一步探究軟閾值對去噪實驗結果的影響。從圖2b所示實驗結果知，閾值為0.03時實驗準確度達到峰值99.47%。為此，后續實驗中閾值優選為0.03。
（3）信息占比優選：當固定小波基函數和閾值時，探究不同信息占比對實驗結果的影響。從圖2c所示實驗結果知，信息占比為0.97時實驗準確度達到峰值99.97%，低于或高于此值均會造成實驗準確度下降。
基于MSPCA的去噪實驗表明，小波基的選擇、閾值和信息占比可影響癲癇信號的檢測結果，harr小波基函數、閾值0.03和信息占比0.97為最優組合。
2.2 模型消融實驗
本實驗由注意力層數優選、尺度特征層數優選、全連接層數優選三部分組成，準確度作為評估指標，基于5折消融實驗探究各模塊層數對模型的影響。
（1）注意力層數優選：在固定AMSRN模型尺度特征層數和全連接層數時，探究注意力層數對實驗結果的影響。從圖3a所實驗結果可見，一層注意力層時獲得最高準確度99.91%，兩層注意力層時精度有一定下降，無注意力層實驗結果最差。基于此，本文模型采用一層注意力層結構。
圖3
模型消融實驗結果
a. 注意力層數；b. 尺度特征層數；c. 全連接層數
Figure3. Experimental results of model ablationa. number of attention layers; b. number of scale feature layers; c. number of fully connected layers
（2）尺度特征層數優選：在AMSRN模型注意力層數和全連接層數固定時，探究尺度特征層數對實驗結果的影響。圖3b所示實驗結果表明，準確度隨著尺度特征層數的增加呈現波動，尺度特征層為五時準確度達到峰值96.13%。總體而言，隨著尺度特征層數的增加，網絡捕獲到更為豐富的尺度特征信息，但當尺度特征層數大于五時，準確度下降。基于此，本文選取五層尺度特征層構建網絡模型。
（3）全連接層數優選：當AMSRN模型注意力層數和尺度特征層數固定時，考察全連接層數對實驗結果的影響。實驗結果如圖3c所示，隨著層數的增加，準確度呈現先上升后下降的趨勢，兩層時達到實驗準確度峰值99.99%，一層和三層全連接層時準確度均有微小降低。故本文選取兩層全連接層構建網絡的分類模塊。
模型消融實驗表明，注意力層數、尺度特征層數和全連接層數均可對癲癇信號檢測結果產生影響，一層注意力層、五層尺度特征層和兩層全連接層為AMSRN模型最優結構組成。采用10折交叉驗證法的消融實驗結果與5折交叉法的實驗結果基本一致，具體可見附件3。
2.3 依賴于受試者實驗結果
基于最優AMSRN模型，在各個患者層面上進行10折交叉實驗，實驗的平均F1分數、靈敏度、精確度、準確度、訓練時間（指平均訓練時間）及測試時間分別為98.38%、98.58%、98.44%、98.44%、3.08 s及0.47 s（各患者10折交叉實驗詳細結果見附件4）；在各個患者層面上進行5折交叉驗證實驗，23名受試者均取得了較滿意的結果，平均F1分數、靈敏度、精確度、準確度及時間（指平均訓練時間）分別為98.35%、98.56%、98.43%、98.41%和3.80 s（各受試者5折交叉實驗詳細結果見附件5）。上述結果驗證了本文提出模型的有效性。另外，模型在12號、17號和4號受試者（年齡分別為2、12和22歲）所做實驗都取得較高的F1分數、靈敏度、精確度和準確度結果，表明模型適用于主題的全生命周期（具體實驗結果見附件6）。
基于相同CHB-MIT數據集，進一步將本文癲癇檢測算法與當前流行的先進算法進行對比，結果如表2所示。可見，在平均準確度和靈敏度方面，本文方法均取得較好的實驗結果。與CW-SRNet和GATBiLSTM相比，準確度稍低，但是靈敏度卻有明顯提升；與其余方法相比，準確度和靈敏度都有一定提高，證明本文方法具有較強的識別能力，特別是在識別正樣本方面表現出色。
表2
提出算法與先進算法的對比
Table2.
Comparison between the proposed algorithm and the advanced algorithms
2.4 模型特征提取與分析
為進一步觀測AMSRN模型注意力模塊、多尺度模塊和時空模塊對于信號特征提取的有效性，本文獲取癲癇發作期和發作間期各模塊提取的關鍵特征，歸一化處理后進行對比實驗。圖4為癲癇不同時期下的注意力層的幅值特征圖，圖中顯示，模塊的輸出特征相較于輸入特征更具表征性，癲癇發作期與發作間期之間的模塊輸出特征間相較于輸入特征更具差異性。模型所提取的癲癇信號注意力矩陣展示，癲癇發作期相較于發作間期，其導聯間能量交互更強。圖5為癲癇不同時期尺度特征層的幅值特征，圖中顯示，癲癇發作間期和發作期的幅值特征在不同尺度下均具有較強差異性，表明提取信號多尺度特征更有利于癲癇自動檢測。圖6為癲癇不同時期時空特征層的幅值特征，圖中顯示，基于時空模塊提取的信號時空特征相較于其多尺度特征，具有更少的特征維度，并且在發作間期與發作期之間具有較強的差異性。根據上述實驗圖表，進一步證實了AMSRN模型能很好地利用癲癇發作引起的導聯間信息流動強化導聯間差異性，并有效捕獲癲癇腦電的多尺度和時空特征。
圖4
癲癇不同時期下的注意力層的幅值特征
橫坐標時間點數為23，縱坐標導聯數為23
Figure4. Amplitude characteristics of the attention layer under different periods of epilepsythe number of time points in the horizontal coordinate is 23 and the number of leads in the vertical coordinate is 23
圖5
癲癇不同時期的尺度特征層的幅值特征
橫坐標時間點數為16，縱坐標導聯數為23，紅色字體表示特征的尺度
Figure5. Amplitude characteristics of the scale feature layer under different periods of epilepsythe number of time points in the horizontal coordinate is 16, the number of leads in the vertical coordinate is 23, and the red font indicates the scale of the feature
圖6
癲癇不同時期時空特征層的幅值特征
Figure6.
Amplitude characteristics of the spatio-temporal feature layer under different periods of epilepsy
3 討論
本文在基于MSPCA的去噪實驗中，完成了小波基優選、閾值優選和通道占比優選，證明了小波基函數、閾值、信息占比這些參數取值對腦電信號預處理有著重要作用。在對實驗準確率變化的影響程度方面，小波基函數影響最大，其次為信息占比，最后為閾值，三者均不可忽視。閾值和信息占比選擇需以實際場景為根據，若有實時性要求，可以適當選取較大閾值和較小信息占比，以犧牲準確度為代價，獲取更少特征，加快算法檢測速度。反之，若有精度要求，需選取較小閾值和較大信息占比，以便在去噪的同時，盡可能保留信號強表征性特征。本文旨在選取綜合指標較好的最優參數組，當選擇harr小波基函數、閾值為0.03和信息占比為0.97時，所提出的癲癇檢測方法取得了穩定且較理想的實驗結果。
在模型消融實驗中，通過注意力層數、尺度特征層數和全連接層數的優選確保AMSRN模型的最優性。實驗結果表明，注意力模塊、多尺度特征模塊及分類模塊三個網絡模塊層數均會對實驗結果造成影響，且隨著各個模塊層數的增加，模型性能基本呈現先上升后下降的趨勢，且在某個特定層數時，到達準確度峰值。而且，尺度特征層數對準確度的影響相對更加顯著。本文結果表明，當模型含一層注意力層、兩層全連接層和五層尺度特征層時，最利于癲癇分類。
另外，層數的選擇與EEG片段長度有關，需依據實際情況而定。本文中EEG片段長度為1 024個時間點，五層尺度特征層實驗結果為最優。若EEG片段時間點更大，則尺度特征層層數需相應增加，以便更好地捕獲更長時分辨率的尺度特征；反之，則尺度特征層層數需減少，否則會引起模型的分辨能力下滑。如何根據腦電信號時間點數不同，動態調節尺度特征層層數，增加模型的魯棒性，將是未來深入探討的一部分工作。
最后，本文通過獨立于受試者的實驗，將所提出算法與先進算法進行比較，驗證了其有效性和先進性。所提出算法取得了整體較好的實驗結果，有著與先進算法相當或更強檢測準確度的同時，在靈敏度和F1分數指標上彰顯出優勢。
本研究先采用MSPCA算法去除腦電噪聲，隨后通過AMSRN模型完成特征提取以及對發作期和非發作期數據的分類任務，在準確度、靈敏度和F1分數等指標上取得了較優的結果，且AMSRN模型平均單次預測時間為3.80 s，為癲癇檢測任務提供了一種輕量、有效的方法，對癲癇實時檢測提供了一定參考。但本文方法仍有一定的局限性，癲癇發作時，異常放電集中在癲癇病灶區，部分導聯間的信息流動對檢測任務作用微弱，本文采用AMSRN模型對23導聯腦電信號進行腦網絡特征學習，計算量較大，限制了方法的實時性。下一步可基于生物進化算法進行導聯優選及網絡結構動態優化的深入研究。
4 結論
本文提出一種基于AMSRN的癲癇自動檢測方法，采用MSPCA去除信號噪聲，隨后基于AMSRN模型完成特征提取和分類。所設計的AMSRN是一種新型卷積神經網絡，由注意力模塊、多尺度卷積模塊、殘差時空特征提取模塊和分類器模塊構成。先利用注意力模塊提取不同導聯間的信息交流特征，在顧及腦網絡有機整體性的同時，增強了原始腦電信號的差異性表達。多尺度卷積模塊進一步提取信號不同視場特征，再經殘差時空特征提取模塊提取時空特征，并將深、淺層時空特征融合，最終通過多層感知器實現癲癇檢測。本方法在準確度、靈敏度、F1分數及預測時間等方面圴取得較好結果，證明了AMSRN在癲癇腦電特征提取、特征融合及特征分類上的有效性，對癲癇預測研究及臨床應用具有一定借鑒作用。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：李明愛教授完善研究思路，制定整體的研究目標，提供研究儀器與計算資源，監督和領導研究活動的執行，評判性評論和審閱論文；王興起提出研究思路，負責設計方法，編寫計算機代碼和支持算法，驗證研究成果和實驗的可復用性，撰寫初稿，修改論文。
本文附件見本刊網站的電子版本（biomedeng.cn）。
0 引言
癲癇是由大腦內神經元群異常超同步放電導致的，以突然、短暫及反復的癲癇性發作為特征的一種慢性神經系統疾病，嚴重威脅著患者生命健康[1]。腦電圖（electroencephalogram，EEG）是一種非平穩隨機信號，具有非線性、多尺度及空間分布等特點，易于采集，且含有豐富的生理和病理信息，是臨床上進行癲癇監測的重要工具，但檢測結果受醫生自身經驗和主觀因素影響，致使檢測結果準確性和可重復性不理想[2]。
許多研究者提出基于傳統機器學習的方法來實現癲癇自動檢測[3-9]，但面臨了復雜的特征工程問題，特征提取與分類器需要分步設計和參數調整。而深度學習作為高級的機器學習方法，不僅可以有效利用癲癇信號的長時程、非平穩、多通道特點，提取更具表征性的深度特征，而且可以實現特征提取和分類器的融合統一，因此基于深度學習的癲癇檢測展現出很好的發展潛力。Hussain等[10]提取腦電信號時域、頻域和時頻特征，并基于卷積神經網路（convolutional neural networks，CNN）和長短期記憶網絡（long short-term memory，LSTM）構建混合深度學習網絡完成分類任務。Yao等[11]利用基于腦電信號空間特征的注意力機制和雙向長短期記憶網絡完成癲癇分類任務。Hu等[12]等基于局部均值分解提取腦電信號統計特征，通過深度雙向長短時記憶網絡完成分類任務。Shen等[13]等基于可調節Q小波變換將腦電信號分解為不同頻率子帶，進而提取統計矩和譜帶功率特征，最后通過CNN網絡實現癲癇檢測。Fukumori等[14]提出基于循環神經網絡的自我注意力模型，與先進的機器學習模型相比，取得了更高的性能。Sharan等[15]采用Morlet小波提取多通道腦電信號相鄰時期功率譜特征，通過一維CNN網絡完成癲癇檢測任務。Chatzichristos等[16]利用不同預處理后得到的信號視圖訓練U型網絡，最后通過LSTM合并前置網絡特征，實現癲癇腦電檢測。Ma等[17]基于多通道特征融合模型CNN-Bi-LSTM提取腦電信號的時空特征，通過全連接層完成特征融合，基于注意力機制進一步降維特征，最后通過分類器完成癲癇信號的自動檢測。Zhao等[18]先采用CNN和Tranformer網絡提取腦電信號的局部和全局特征，隨后通過特征耦合塊融合兩種特征，最后將增強特征送入分類器完成癲癇自動檢測。Tian等[19]基于小波包分解和快速傅里葉變換構造多視圖特征，并通過CNN完成特征提取和分類。Ke等[20]設計了通道加權模塊（channel-weighted block，CW-Block)，并將CW-Block和擠壓激勵模塊（squeeze-and-excitation block，SE-Block）增加到殘差神經網絡（18層）中，交替動態捕獲不同通道的重要性和顯式建模多通道不同維度卷積特征之間的相互依賴性，實現癲癇自動檢測。Li等[21]提出一種通道嵌入頻譜-時間SE網絡，對基于先驗知識手動選擇的多通道腦電信號同時進行多層頻譜分析和多尺度時間分析，完成頻譜-時間多域特征的共同提取，最后通過分類器網絡實現癲癇腦電分類。另外，通過設置基于最大均值差異的信息最大化損失，通道嵌入頻譜-時間SE網絡能夠有效減輕過擬合問題。He等[22]將多通道腦電信號表示為圖，計算通道間的注意力并輸入至圖注意力網絡，以提取通道拓撲間的空間特征，繼而通過雙向長短期記憶網絡挖掘時間關系，再根據當前時刻的前、后狀態做出最終決策，實現癲癇檢測。Poorani等[23]利用CNN和LSTM相結合的混合神經網絡模型提取EEG信號的時-空特征，達到癲癇檢測的目的。綜上，癲癇檢測方法的研究已取得一定進展，如何根據癲癇腦電的多尺度、時空特點及導聯間的信息流動等特征，設計更有針對性的深度神經網絡模型改善癲癇檢測性能值得深入研究。
為此，本文研究了基于注意力機制的多尺度殘差網絡模型（attention-based multi-scale residual network，AMSRN），并與多尺度主成分分析（multi-scale principal component analysis，MSPCA）[24]相結合，利用腦電信號多尺度特征實現降噪，利用導聯間信息流動作為注意力加強導聯間差異性，隨后融合網絡深淺層特征，提取強表征性時空特征，以期實現癲癇自動檢測。
1 材料和方法
1.1 數據來源和數據預處理
1.1.1 數據來源
我們選取麻省理工學院EEG數據庫中收錄的來自波士頓兒童醫院（Children’s Hospital Boston-Massachusetts Institute of Technology，CHB-MIT）的數據集進行實驗研究。CHB-MIT數據集由23名患有頑固性癲癇的患者（18名女性和5名男性）腦電圖記錄組成，每條記錄持續約1 h，采樣頻率為256 Hz。23例患者的具體腦電數據信息參見附件1。
1.1.2 數據預處理
基于CHB-MIT數據集，選取具有代表性的23個導聯，包括FP1-F7、FP1-F7、F7-T7、T7-P7、P7-O1、FP1-F3、F3-C3、C3-P3、P3-O1、FP2-F4、F4-C4、C4-P4、P4-O2、FP2-F8、F8-T8、T8-P8、P8-O2、FZ-CZ、CZ-PZ、P7-T7、T7-FT9、FT9-FT10和FT10-T8，進行數據分割與數據平衡。本方法的實驗結果與時間片段長度緊密相關，當時間片段長度為4 s時，獲得最高準確度且訓練時間較短（各時間片段長度對實驗結果影響參見附件2）。因本文旨在設計輕量級神經網絡，針對癲癇發作期和發作間期信號時長的巨大差異，以及不同患者的個體差異，采用窗口時間尺度為4 s的滑窗技術平衡發作期和發作間期數據。采用基于動態步長的重疊滑窗分割時程較短且不等的發作期數據，而對于長時程的發作間期數據，則采用無重疊滑窗分割，從而保證發作間期和發作期的數據集均由500個樣本組成。從中各隨機選取400個樣本構成訓練集，剩余樣本作為測試集，進行5折實驗研究。
1.2 癲癇檢測方法
本文首先采用MSPCA對癲癇腦電信號進行降噪處理，進而基于AMSRN模型實現癲癇的自動檢測。
1.2.1 多尺度主成分分析
MSPCA兼有主成分分析和小波變換的優點，同時具有主成分分析去線性變量相關性的能力及小波變換提取變量局部特征和近似分解變量自相關性的能力，在癲癇腦電去噪中取得了較好的效果[24]。
假設將癲癇腦電信號表示為 ，其中， 為導聯數， 為每導信號的采樣點數，并依據文獻[24]計算和構造 層小波變換轉換矩陣 ，則MSPCA的主要步驟包括：① 對每導信號進行J層小波分解，即計算 ；② 對每層細節系數矩陣 進行主成分分析，1 ≤ i ≤ J，選擇合適的閾值，保留部分主成分；③ 對近似系數矩陣 進行主成分分析，選擇合適的閾值，保留部分主成分；④ 將上述 ②、③ 步得到的簡化的細節矩陣和近似矩陣進行小波逆變換 ，恢復出一個新矩陣，再進行主成分分析，獲得去噪后的信號X*。
1.2.2 AMSRN模型
所提出的AMSRN模型由四個模塊組成：注意力模塊（attention module，AM）、多尺度卷積模塊（multiscale convolutional module，MCM）、時空特征提取模塊（spatio-temporal feature extraction module，STFEM）和分類模塊（classification module，CM）。模型結構如圖1所示。圖中，r 表示時間特征尺度。表1進一步給出AMSRN網絡模型的參數配置。
圖1
AMSRN模型結構
Figure1.
AMSRN model structure
表1
AMSRN模型結構參數
Table1.
AMSRN model structural parameters
（1）注意力模塊：癲癇信號發作期和發作間期多導聯腦電之間的信息流動存在顯著差異。為此，本文基于腦電信號導聯間信息流動的注意力機制顯式重構多導聯腦電特征，設計一種輕量級的注意力模塊。將維度為23*23的單位矩陣作為模塊輸入，先展平為1*(23*23)向量，并通過linear + ELU層動態捕獲導聯間信息流出強度。隨后重構維度得到腦網絡矩陣，再依據注意力加權機制得到導聯間具有強差異表征的腦電信號，作為多尺度卷積模塊輸入。
（2）多尺度卷積模塊：非線性與非平穩為癲癇腦電主要特征，且在多尺度時間尺度下才不會遺漏其特征細節。為此，本文設計了多尺度卷積模塊，其采用連續的深度卷積塊（deep convolutional block，DCB），通道間獨立地提取腦電多尺度特征。模塊的輸入為(nc, 1, ns)，卷積核大小為(1, 2)，步長為2。每層的分辨率為前一層的1/2，深層卷積相較于淺層卷積具有更長時程的時間感受野，其中第二到六層的輸出都將會進入下一層，進一步提取時空特征。
（3）時空特征提取模塊：由多尺度卷積模塊提取的多尺度特征，其特征矩陣較大，且特征表征性不足，需要進一步提取更豐富的時空特征。基于此，本文設計了時空特征提取模塊，包含了5組時空特征提取塊（spatio-temporal feature extraction block，STFEB）。STFEB由兩個模式層和全局平均池化（global average pooling，GAP）構成，每個模式層均由卷積、歸一化和ReLU激活函數組成，基于殘差網絡將淺模式層特征傳入深模式層，融合深層網絡抽象特征和淺層網絡細粒度特征，使深模式層輸出特征更具表征性，隨后基于GAP降維為32個特征點。5組STFEB的輸出特征被拼接為160特征點，作為分類模塊的輸入。
（4）分類模塊：該模塊包含兩個全連接層（full connectivity，FC）和log-softmax分類器。時空特征經全連接層特征降維后，通過log-softmax分類器計算癲癇發作期和發作間期的分類概率，log-softmax分類器計算式為：
|
相較于softmax，在進行softmax操作后，再進行一次log運算，使得log-softmax分類器能夠減緩或避免運算溢出現象，計算過程更加平穩。分類概率隨后與真實標簽計算交叉熵損失，預測數據分類結果和真實結果之間的距離，反向傳播更新網絡參數。交叉熵損失計算式為：
|
式中，n為分類數，p（xi）為真實分布概率，q（xi）為預測分布概率.
1.2.3 實驗環境
在PyTorch v1.6.0框架下，并基于NVIDIA GeForce 940MX和8G內存實驗環境進行實驗研究。使用Adam優化器優化網絡訓練參數，學習率為0.001。訓練時batch值設定為32，并使用類權重計算損失，以減少類不平衡對訓練造成的影響。若在連續多個時期的準確度沒有減少，則停止訓練，以減少冗余的訓練過程，加快訓練速度。
1.2.4 實驗評估
采取準確度、靈敏度、精確度和加權F1評分等性能指標，對所提癲癇自動檢測方法的性能進行評估。
準確度：計算識別正確的癲癇EEG片段占總EEG片段的百分比，公式為：準確度 = ，式中，TP為預測為正類的正樣本，TN為預測為負類的負樣本，FP為預測為正類的負樣本，FN為預測為負類的正樣本。
靈敏度：癲癇發作的真實陽性率，計算式為：靈敏度 = 。
精確度：預測為正樣本的數據占真實總正陽本數據的比率，如公式：精確度 = 。
最后，通過F1分數來評價模型的整體最優性：F1分數 = ，式中，P為精確度，S為靈敏度。
2 結果
2.1 癲癇檢測方法基于MSPCA的去噪實驗
本實驗包括小波基優選、閾值優選、信息占比優選三部分，評估指標為準確度。
（1）小波基優選：MSPCA中固定閾值和信息占比探究小波基函數對實驗結果的影響。從圖2a所示實驗結果可見，基于bior、coif和db4小波基的實驗準確率較低，基于harr和sym2小波基函數實驗準確率較高，但harr小波基函數相較于sym2計算時間較短，并且取得了微弱的準確度優勢。基于此，本文選擇harr小波基函數進行去噪實驗。
圖2
基于MSPCA的去噪實驗結果
a. 小波基函數選擇；b. 閾值選擇；c. 信息占比選擇
Figure2. Experimental results of denoising based on MSPCAa. wavelet basis function selection; b. threshold selection; c. information proportion selection
（2）閾值優選：在固定小波基函數和信息占比前提下，進一步探究軟閾值對去噪實驗結果的影響。從圖2b所示實驗結果知，閾值為0.03時實驗準確度達到峰值99.47%。為此，后續實驗中閾值優選為0.03。
（3）信息占比優選：當固定小波基函數和閾值時，探究不同信息占比對實驗結果的影響。從圖2c所示實驗結果知，信息占比為0.97時實驗準確度達到峰值99.97%，低于或高于此值均會造成實驗準確度下降。
基于MSPCA的去噪實驗表明，小波基的選擇、閾值和信息占比可影響癲癇信號的檢測結果，harr小波基函數、閾值0.03和信息占比0.97為最優組合。
2.2 模型消融實驗
本實驗由注意力層數優選、尺度特征層數優選、全連接層數優選三部分組成，準確度作為評估指標，基于5折消融實驗探究各模塊層數對模型的影響。
（1）注意力層數優選：在固定AMSRN模型尺度特征層數和全連接層數時，探究注意力層數對實驗結果的影響。從圖3a所實驗結果可見，一層注意力層時獲得最高準確度99.91%，兩層注意力層時精度有一定下降，無注意力層實驗結果最差。基于此，本文模型采用一層注意力層結構。
圖3
模型消融實驗結果
a. 注意力層數；b. 尺度特征層數；c. 全連接層數
Figure3. Experimental results of model ablationa. number of attention layers; b. number of scale feature layers; c. number of fully connected layers
（2）尺度特征層數優選：在AMSRN模型注意力層數和全連接層數固定時，探究尺度特征層數對實驗結果的影響。圖3b所示實驗結果表明，準確度隨著尺度特征層數的增加呈現波動，尺度特征層為五時準確度達到峰值96.13%。總體而言，隨著尺度特征層數的增加，網絡捕獲到更為豐富的尺度特征信息，但當尺度特征層數大于五時，準確度下降。基于此，本文選取五層尺度特征層構建網絡模型。
（3）全連接層數優選：當AMSRN模型注意力層數和尺度特征層數固定時，考察全連接層數對實驗結果的影響。實驗結果如圖3c所示，隨著層數的增加，準確度呈現先上升后下降的趨勢，兩層時達到實驗準確度峰值99.99%，一層和三層全連接層時準確度均有微小降低。故本文選取兩層全連接層構建網絡的分類模塊。
模型消融實驗表明，注意力層數、尺度特征層數和全連接層數均可對癲癇信號檢測結果產生影響，一層注意力層、五層尺度特征層和兩層全連接層為AMSRN模型最優結構組成。采用10折交叉驗證法的消融實驗結果與5折交叉法的實驗結果基本一致，具體可見附件3。
2.3 依賴于受試者實驗結果
基于最優AMSRN模型，在各個患者層面上進行10折交叉實驗，實驗的平均F1分數、靈敏度、精確度、準確度、訓練時間（指平均訓練時間）及測試時間分別為98.38%、98.58%、98.44%、98.44%、3.08 s及0.47 s（各患者10折交叉實驗詳細結果見附件4）；在各個患者層面上進行5折交叉驗證實驗，23名受試者均取得了較滿意的結果，平均F1分數、靈敏度、精確度、準確度及時間（指平均訓練時間）分別為98.35%、98.56%、98.43%、98.41%和3.80 s（各受試者5折交叉實驗詳細結果見附件5）。上述結果驗證了本文提出模型的有效性。另外，模型在12號、17號和4號受試者（年齡分別為2、12和22歲）所做實驗都取得較高的F1分數、靈敏度、精確度和準確度結果，表明模型適用于主題的全生命周期（具體實驗結果見附件6）。
基于相同CHB-MIT數據集，進一步將本文癲癇檢測算法與當前流行的先進算法進行對比，結果如表2所示。可見，在平均準確度和靈敏度方面，本文方法均取得較好的實驗結果。與CW-SRNet和GATBiLSTM相比，準確度稍低，但是靈敏度卻有明顯提升；與其余方法相比，準確度和靈敏度都有一定提高，證明本文方法具有較強的識別能力，特別是在識別正樣本方面表現出色。
表2
提出算法與先進算法的對比
Table2.
Comparison between the proposed algorithm and the advanced algorithms
2.4 模型特征提取與分析
為進一步觀測AMSRN模型注意力模塊、多尺度模塊和時空模塊對于信號特征提取的有效性，本文獲取癲癇發作期和發作間期各模塊提取的關鍵特征，歸一化處理后進行對比實驗。圖4為癲癇不同時期下的注意力層的幅值特征圖，圖中顯示，模塊的輸出特征相較于輸入特征更具表征性，癲癇發作期與發作間期之間的模塊輸出特征間相較于輸入特征更具差異性。模型所提取的癲癇信號注意力矩陣展示，癲癇發作期相較于發作間期，其導聯間能量交互更強。圖5為癲癇不同時期尺度特征層的幅值特征，圖中顯示，癲癇發作間期和發作期的幅值特征在不同尺度下均具有較強差異性，表明提取信號多尺度特征更有利于癲癇自動檢測。圖6為癲癇不同時期時空特征層的幅值特征，圖中顯示，基于時空模塊提取的信號時空特征相較于其多尺度特征，具有更少的特征維度，并且在發作間期與發作期之間具有較強的差異性。根據上述實驗圖表，進一步證實了AMSRN模型能很好地利用癲癇發作引起的導聯間信息流動強化導聯間差異性，并有效捕獲癲癇腦電的多尺度和時空特征。
圖4
癲癇不同時期下的注意力層的幅值特征
橫坐標時間點數為23，縱坐標導聯數為23
Figure4. Amplitude characteristics of the attention layer under different periods of epilepsythe number of time points in the horizontal coordinate is 23 and the number of leads in the vertical coordinate is 23
圖5
癲癇不同時期的尺度特征層的幅值特征
橫坐標時間點數為16，縱坐標導聯數為23，紅色字體表示特征的尺度
Figure5. Amplitude characteristics of the scale feature layer under different periods of epilepsythe number of time points in the horizontal coordinate is 16, the number of leads in the vertical coordinate is 23, and the red font indicates the scale of the feature
圖6
癲癇不同時期時空特征層的幅值特征
Figure6.
Amplitude characteristics of the spatio-temporal feature layer under different periods of epilepsy
3 討論
本文在基于MSPCA的去噪實驗中，完成了小波基優選、閾值優選和通道占比優選，證明了小波基函數、閾值、信息占比這些參數取值對腦電信號預處理有著重要作用。在對實驗準確率變化的影響程度方面，小波基函數影響最大，其次為信息占比，最后為閾值，三者均不可忽視。閾值和信息占比選擇需以實際場景為根據，若有實時性要求，可以適當選取較大閾值和較小信息占比，以犧牲準確度為代價，獲取更少特征，加快算法檢測速度。反之，若有精度要求，需選取較小閾值和較大信息占比，以便在去噪的同時，盡可能保留信號強表征性特征。本文旨在選取綜合指標較好的最優參數組，當選擇harr小波基函數、閾值為0.03和信息占比為0.97時，所提出的癲癇檢測方法取得了穩定且較理想的實驗結果。
在模型消融實驗中，通過注意力層數、尺度特征層數和全連接層數的優選確保AMSRN模型的最優性。實驗結果表明，注意力模塊、多尺度特征模塊及分類模塊三個網絡模塊層數均會對實驗結果造成影響，且隨著各個模塊層數的增加，模型性能基本呈現先上升后下降的趨勢，且在某個特定層數時，到達準確度峰值。而且，尺度特征層數對準確度的影響相對更加顯著。本文結果表明，當模型含一層注意力層、兩層全連接層和五層尺度特征層時，最利于癲癇分類。
另外，層數的選擇與EEG片段長度有關，需依據實際情況而定。本文中EEG片段長度為1 024個時間點，五層尺度特征層實驗結果為最優。若EEG片段時間點更大，則尺度特征層層數需相應增加，以便更好地捕獲更長時分辨率的尺度特征；反之，則尺度特征層層數需減少，否則會引起模型的分辨能力下滑。如何根據腦電信號時間點數不同，動態調節尺度特征層層數，增加模型的魯棒性，將是未來深入探討的一部分工作。
最后，本文通過獨立于受試者的實驗，將所提出算法與先進算法進行比較，驗證了其有效性和先進性。所提出算法取得了整體較好的實驗結果，有著與先進算法相當或更強檢測準確度的同時，在靈敏度和F1分數指標上彰顯出優勢。
本研究先采用MSPCA算法去除腦電噪聲，隨后通過AMSRN模型完成特征提取以及對發作期和非發作期數據的分類任務，在準確度、靈敏度和F1分數等指標上取得了較優的結果，且AMSRN模型平均單次預測時間為3.80 s，為癲癇檢測任務提供了一種輕量、有效的方法，對癲癇實時檢測提供了一定參考。但本文方法仍有一定的局限性，癲癇發作時，異常放電集中在癲癇病灶區，部分導聯間的信息流動對檢測任務作用微弱，本文采用AMSRN模型對23導聯腦電信號進行腦網絡特征學習，計算量較大，限制了方法的實時性。下一步可基于生物進化算法進行導聯優選及網絡結構動態優化的深入研究。
4 結論
本文提出一種基于AMSRN的癲癇自動檢測方法，采用MSPCA去除信號噪聲，隨后基于AMSRN模型完成特征提取和分類。所設計的AMSRN是一種新型卷積神經網絡，由注意力模塊、多尺度卷積模塊、殘差時空特征提取模塊和分類器模塊構成。先利用注意力模塊提取不同導聯間的信息交流特征，在顧及腦網絡有機整體性的同時，增強了原始腦電信號的差異性表達。多尺度卷積模塊進一步提取信號不同視場特征，再經殘差時空特征提取模塊提取時空特征，并將深、淺層時空特征融合，最終通過多層感知器實現癲癇檢測。本方法在準確度、靈敏度、F1分數及預測時間等方面圴取得較好結果，證明了AMSRN在癲癇腦電特征提取、特征融合及特征分類上的有效性，對癲癇預測研究及臨床應用具有一定借鑒作用。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：李明愛教授完善研究思路，制定整體的研究目標，提供研究儀器與計算資源，監督和領導研究活動的執行，評判性評論和審閱論文；王興起提出研究思路，負責設計方法，編寫計算機代碼和支持算法，驗證研究成果和實驗的可復用性，撰寫初稿，修改論文。
本文附件見本刊網站的電子版本（biomedeng.cn）。
