針對在胎兒心電信號提取中，U-Net同級卷積編碼器尺度的單一性忽略了母親和胎兒心電特征波的大小和形態差異，且當殘差收縮模塊作為編碼器的閾值學習過程中缺少對心電信號時間信息利用的問題，本文提出一種基于多尺度殘差收縮U-Net模型的胎兒心電信號提取方法。首先在殘差收縮模塊中引入Inception和時間域注意力，增強同級卷積編碼器的胎兒心電信號多尺度特征提取能力和時間域信息的利用；為了保持更多的心電波形局部細節特征，將U-Net中的最大池化替換為Softpool；最后，由殘差模塊和上采樣構成的解碼器逐步生成胎兒心電信號。本文應用臨床心電信號進行實驗，最終結果表明：與其他胎兒心電提取算法相比，本文方法可以提取更為清晰的胎兒心電信號，在2013年競賽數據集上靈敏度、陽性預測值和F1分數分別達到93.33%、99.36%、96.09%。因此本文方法可以有效提取胎兒心電信號，為圍產期胎兒健康監護提供了一種具有應用價值的方法。
引用本文： 王乾, 張正旭, 宋丹洋, 王玉靜, 宋立新. 基于多尺度殘差收縮U-Net的胎兒心電信號提取. 生物醫學工程學雜志, 2024, 41(3): 494-502. doi: 10.7507/1001-5515.202303012 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
0 引言
胎心監護是胎兒健康監測的一種重要手段，能有效降低圍產期胎兒的發病率及死亡率[1]。胎兒心電信號（fetal electrocardiogram，FECG）可以反映胎兒心臟活動的全貌，其形態學特征有利于對胎兒健康狀況進行監測，是一種具有廣闊應用場景的胎兒電子監護技術。
胎兒心電信號通常從孕婦腹部心電信號（abdominal electrocardiogram，AECG）中提取，而孕婦腹部心電信號中除了胎兒心電信號，還包含母體心電信號以及基線漂移、工頻干擾、脈沖偽跡等其他噪聲[2]；另外，胎兒心電信號相對微弱，母親心電幅值一般是胎兒的5~10倍，且與胎兒心電在時域有10%~30%的重疊[3]。因此，如何抑制母親心電提取出干凈的胎兒心電信號成為研究的重點和難點。
近年來，深度學習在心電信號處理方面得到實際應用。由于神經網絡不需要人工提取特征，通過訓練能夠自適應地提取特征，使用神經網絡去噪可能比人工提取特征更為有效，其中卷積神經網絡（convolutional neural networks，CNN）表現出強大的特征提取能力。Zhong等[4]提出的殘差卷積編碼器-解碼器網絡（residual convolutional encoder–decoder network，RCED-Net）能夠較好地提取胎兒心電信號，但網絡模型復雜度較低，對于復雜的腹部心電信號提取能力不足；Zhong等[5]利用腹部心電信號時頻域特征，提出基于短時傅立葉變換（short time Fourier transform，STFT）和生成對抗性網絡（generative adversarial networks，GAN）的心電信號提取方法，STFT-GAN將腹部心電轉換成時頻圖不僅能夠較好地提取胎兒心電信號，而且能夠處理母胎心電信號重合波，但時頻圖轉換增加了計算量和時間，使得網絡效率降低。
U-Net是一種編碼-解碼結構的端對端全卷積網絡，通過編碼器提取胎兒心電特征，然后由解碼器進行特征重建生成胎兒心電信號。相比于CNN，U-Net的編碼器可以捕捉波形特性之間的上下文信息，解碼器可以精確定位特征位置，更適合胎兒心電信號的提取。Arash Rasti-Meymandi等[6]提出一種由兩個殘差對稱跳躍連接卷積自動編碼器Res-Unet的胎兒心電提取方法，能夠較好地提取胎兒心電信號；但需要訓練兩個U-Net模型，增加了訓練難度，且每個U-Net每層編碼器使用單一尺度卷積核，缺少對心電波形特征的進一步提取。
深度殘差收縮網絡[7]（deep residual shrinkage networks，DRSN）為一種基于殘差收縮結構改進的深度神經網絡，常用于信號去噪領域。通過殘差收縮模塊前兩個卷積層突出有用信號特征，抑制無用信號或噪聲的特征，而后通過軟閾值化，能夠較好地解決微弱信號的去噪問題[8-9]。其中，基于通道閾值的殘差收縮模塊（residual shrinkage building unit with channel-wise thresholds，RSBU-CW）在閾值學習過程中只關注通道域的特征信息，忽略了心電信號時間域信息對閾值學習的影響。
針對U-Net收縮路徑中同級卷積編碼器尺度的單一性，忽略了母親和胎兒心電特征波的大小和形態差異，作為編碼器的殘差收縮模塊閾值學習過程中缺少對心電信號時間信息利用的問題，本文提出一種基于多尺度殘差收縮U-Net的胎兒心電信號提取方法。首先在RSBU-CW中引入多尺度特征融合模塊Inception[10]和時間域注意力（time attention，TA），構建基于混合注意力閾值的多尺度殘差收縮模塊（inception residual shrinkage module based on mixed attention threshold，IRSBU-MA），通過Inception增強模塊的多尺度特征提取能力，同時將時間域注意力與通道域注意力（channel attention，CA）串行結合，增強模塊對胎兒心電信號的多尺度成分和時間域信息的利用。為了保持更多的胎兒心電局部細節特征，引入Softpool池化[11]。然后以U-Net模型為基本網絡，由IRSBU-MA和Softpool組成的編碼器來逐步提取胎兒心電特征并去除母親心電特征，最后由殘差模塊和上采樣構成的解碼器逐步生成胎兒心電信號。
1 模型結構
1.1 總體網絡結構
本文多尺度殘差收縮U-Net模型結構如圖1所示。其中，編碼器由基于混合注意力閾值的多尺度殘差收縮模塊IRSBU-MA和Softpool池化構成，共包括6層IRSBU-MA模塊和5層Softpool池化，用于提取胎兒心電信號特征。解碼器由5層殘差塊和上采樣組成，可以根據胎兒心電信號特征生成胎兒心電信號，殘差塊中添加了殘差連接加速模型訓練，并避免了梯度消失或爆炸問題；解碼器每個殘差塊包括三個卷積層和殘差連接。在解碼器和編碼器之間存在跳躍連接，使得不同層次的特征可以相互融合，保留并利用不同層次特征中的有效信息，提高胎兒心電信號生成的質量。
圖1
基于多尺度殘差收縮U-Net的胎兒心電提取方法總體框圖
Figure1.
Overall block diagram of fetal ECG extraction method based on multi-scale residual shrinkage U-Net
腹部心電信號輸入數據X定義為 
，其中N = T × fs表示腹部心電信號采樣點個數，T為采樣持續時間，fs為采樣頻率；C表示腹部心電信號導聯的數量。輸入數據大小為(1 024, 1)，其中，1表示為單導聯腹部心電信號，1 024指采樣點個數；編碼器每層的通道大小為(16, 32, 64, 128, 256, 256)，而特征圖大小為[(1 024, 1), (512, 1), (256, 1), (128, 1), (64, 1), (32, 1)]，解碼器與編碼器在對應層中的通道大小和特征圖大小一致。
1.2 多尺度殘差收縮模塊
為解決U-Net編碼器中每層卷積尺度的單一性，并增加殘差收縮模塊閾值學習模塊對時間域信息的利用，構建多尺度殘差收縮模塊結構如圖2a所示，包括多尺度特征融合單元、殘差單元、閾值學習單元和軟閾值處理單元。多尺度特征融合單元通過多個卷積核大小不同的并行卷積對輸入的腹部心電信號進行波形特征提取和融合，而后通過閾值學習單元提取心電信號時間域與通道域信息確定閾值，并通過軟閾值處理單元對腹部心電信號特征進行軟閾值函數去噪，最后引入殘差單元來防止網絡退化。
圖2
基于混合域注意力閾值的殘差收縮塊結構圖
a. 多尺度殘差收縮模型整體結構；b. 時間域注意力；c. 通道域注意力
Figure2. Structure diagram of RSBU-MAa. structure diagram of residual shrinkage building unit; b. time attention; c. channel attention
多尺度特征融合單元由三條卷積支路和一條池化支路組成，三條卷積支路的卷積核大小分別為1 × 1、1 × 3、1 × 5，小的卷積尺度用來獲取腹部心電信號的細節特征，大的卷積尺度用來提取腹部心電信號的全局性特征信息，池化分支采用最大池化，池化核為1 × 3，能夠突出池化內核中的顯著特征；且在1 × 3和1 × 5的卷積前面以及最大池化后面添加1 × 1卷積，可以降低通道數來減少參數量，并在每次卷積之后加入批歸一化（batch normalization，BN）和ReLU激活函數，以提高模型的非線性擬合性能。
在閾值學習單元中，加入時間域注意力提取胎兒心電波形時間域信息，并對原有通道域注意力進行改進，形成全局最大池化（global max pooling，GMP）支路與全局平均池化（global average pooling，GAP）結合的增強通道域信息提取能力的改進通道域注意力；將時間域注意力與通道域注意力相結合，構成了一個混合的注意力（mix attention，MA）來提取混合域的特征信息，從而確定混合域的閾值。具體時間域注意力結構和通道域注意力結構分別如圖2b和圖2c所示。
時間域注意力：時間域注意力權重計算過程如式(1)所示：
 |
其中：
和
分別代表GAP和GMP的結果，
和
分別表示兩個全連接層，
代表ReLU激活函數，
代表Sigmoid激活函數，
表示求解出的時間域注意力權重。
通道域注意力：對原僅含GAP的通道注意力進行改進，增加GMP支路，通道域注意力權重計算過程如式(2)所示：
 |
其中：
和
分別表示對特征圖進行GAP和GMP的結果，
和
表示GAP支路的兩個全連接層（fully connected layers，FC），
和
表示GMP支路的兩個FC，
表示ReLU函數，
表示Sigmoid函數，
為通道域注意力權重。
閾值學習單元將時間域注意力與通道域注意力通過串聯的方式組合在一起，將特征矩陣Z作為輸入送入該閾值學習單元，得到最終的基于混合域注意力的閾值，具體過程如式(3)所示：
 |
其中，
表示時間域閾值，
表示混合域閾值。
軟閾值處理單元采用軟閾值函數進行降噪處理步驟，軟閾值函數如式(4)所示，將絕對值小于某個閾值 
的特征去除掉，將絕對值大于該閾值的特征朝向零進行收縮處理。
 |
1.3 利用Softpool改進下采樣
為了保持更多的胎兒心電局部細節特征，將U-Net中的Maxpool[12]替換為Softpool。U-Net模型中的Maxpool可以保留池化內核中的局部最大值，凸出內核中的顯著特征，利用最大池化進行下采樣可能會丟失胎兒心電細節特征，從而降低模型對胎兒心電信號的提取精度。針對這一問題，本文利用Softpool替換U-Net中的最大池化層。Softpool是一種變種的池化層，基于softmax方法對感受野內所有特征點進行加權來保留輸入的基本屬性并放大更大強度的特征激活，相比于最大池化，Softpool能夠在進行特征圖下采樣的同時，保留更多的胎兒心電局部特征信息，適用于胎兒心電信號提取。
2 實驗
2.1 實驗數據集
本實驗采用的數據集為胎兒心電圖合成數據庫（Fetal Electrocardiogram Synthetic Database，FECGSYNDB）[13]、腹部和直接胎兒心電數據庫（Abdominal and Direct Fetal ECG Database，ADFECGDB）[14]、2013年競賽數據集（PhysioNet/Computing in Cardiology Challenge Database，PCDB）[15]的set-A、DAISY數據集[16]。由于真實的胎兒心電信號非常難以獲取，且獲取的信號含有較多的噪聲，但完全采用合成數據集又缺乏胎兒信號在現實場景中的真實性和復雜性，因此本文采用合成的FECGSYNDB數據集和一部分真實的ADFECGDB數據集作為訓練集，其余作為測試集。四個數據集的詳細情況如下：
（1）FECGSYNDB：通過FECGSYN無創胎兒心電圖發生器生成的合成數據庫，包括145.8 h的數據和110萬個胎兒峰值。每個模擬從母體采集的信號包括34個通道（32個腹部和2個MECG通道），采樣頻率250 Hz，采樣時數據庫提供了每個信號源的單獨波形。
（2）ADFECGDB：數據庫包括來自五個分娩對象的五個通道記錄（4個母體腹部通道和1個胎兒心電通道），每個記錄持續5 min，采樣頻率為1 kHz。
（3）PCDB Set-A數據集：數據集包括75組持續1 min的孕婦腹部心電圖記錄，每組包含四個通道。采樣率為1 kHz，并給出了FQRS的參考位置。
（4）DAISY數據集：數據庫記錄了從孕婦體表獲取到的8通道信號（前5個通道為孕婦腹部混合心電信號，后3個通道為孕婦胸部心電信號），采樣持續10 s，采樣頻率為250 Hz。
考慮到數據集中存在個別通道的胎兒信號微弱或缺失的問題，實驗中刪除了一些記錄。具體為，從ADFECGDB中排除了r04 Ab-1、r07 Ab-1和r10 Ab-3三條記錄；而PCDB Set-A數據集，本文參考文獻[5]選擇80條記錄。
2.2 數據預處理
首先，以250 Hz采樣率為基準，將采樣頻率為1 000 Hz的數據集中信號通過抽值下采樣到250 Hz；然后利用截止頻率為3~100 Hz的FIR濾波器，去除基線和高頻噪聲；其次，對過濾后的心電圖采用分割和歸一化操作，以每段信號1 024個采樣點對數據集進行分割并通過最大最小值歸一化將幅值變換到[–1, 1]，且為了保持信號的連續性，前后兩個信號重合24個采樣點；最后劃分訓練集和測試集，訓練集由FECGSYNDB數據集和一部分ADFECGDB數據集組成，共21 110個樣本，測試集由PCDB Set-A數據集、DAISY數據集和剩余的ADFECGDB數據集組成，共1 500個樣本。
2.3 實驗設備
本文實驗所用平臺與網絡超參數配置：操作系統為Windows，CPU為Intel 11代 i5-5800H，GPU為NVIDIV GTX3060，深度學習框架為Tensorflow，編程語言為Python，批次大小為64，優化器AdamOptimer，學習率為0.000 3。
2.4 性能評價指標
本研究將參考R峰注釋與提取的胎兒心電信號中檢測到的R峰位置進行對比，來考察胎兒心電信號提取算法的性能。從腹部心電信號中提取胎兒心電信號后，使用Pan-Tompkins[17]方法進行R峰位置檢測。為了評估所提出方法的性能，本文使用靈敏度（sensitivity，Se）、陽性預測值（positive predictive value，PPV）和
度量三個指標，定義分別如下：
 |
 |
 |
其中，真陽性（true positive，TP）是正確檢測到胎兒R峰位置的個數，假陽性（false positive，FP）是錯誤檢測到胎兒R峰位置的個數，假陰性（false negative，FN）是漏檢胎兒R峰位置的個數[18]。如果檢測到的胎兒QRS在參考注釋的50 ms內，則通常認為它是真陽性[19]。
、
和
的值越高，代表該胎兒心電信號提取方法的性能越好。
2.5 實驗結果
本文實驗使用ADFECGDB和PCDB Set-A兩個數據集進行實驗，并與基于STFT和GAN的心電信號提取方法（STFT-GAN）、RCED-Net、AECG-DecompNet進行比較，具體如表1所示。從表1可以看出，本文方法在兩個數據集上均取得了最優的結果，在ADFECGDB數據集上Se、PPV和F1指數分別為97.26%、97.62%和97.42%，在PCDB Set-A數據集上分別為93.33%、99.36%和96.09%，充分體現出了本文所提方法的優勢。
表1
本文所提方法與其他文獻方法結果對比
Table1.
Comparison of the results between the proposed method and other methods in literature
圖3、圖4和圖5是使用本文方法在三個數據集上提取胎兒心電信號的結果。圖3為對DAISY數據集五個母體腹部通道進行胎兒心電信號提取后的結果，前五幅圖對應五個腹部通道，后五幅圖對應上面五個腹部通道提取胎兒心電信號的結果。圖4為對ADFECGDB數據集r08記錄第一通道前4 s的胎兒心電信號提取結果。圖5為對2013年競賽數據集a03記錄第二通道8～12 s的胎兒心電信號提取結果，其中圖5a為原始腹部信號，圖5b為本文方法提取的胎兒心電信號。總體可以看出本文方法在胎兒心電信號提取方面有良好的效果，不僅明顯處的胎兒心電信號提取完整，而且在與母親心電信號重合的地方也能提取出胎兒心電信號，如圖3虛線框中所示。但對于某些特征不明顯且受噪聲影響較大的胎兒心電信號，存在漏檢情況。
圖3
本文方法在DAISY數據集的提取結果
Figure3.
The extraction result of the proposed method on the DAISY dataset
圖4
本文方法在ADFECGDB數據集的提取結果
a. 腹部心電信號；b. 參考胎兒心電信號；c. 提取胎兒心電信號
Figure4. The extraction result of the proposed method on the ADFECGDB dataseta. abdominal ECG signal; b. reference fetal ECG signal; c. extracting fetal ECG signal
圖5
本文方法在PCDB Set-A數據集的提取結果
a. 腹部心電信號；b. 提取胎兒心電信號
Figure5. The extraction result of the proposed method on the PCDB Set-A dataseta. abdominal ECG signal; b. extracting fetal ECG signal
3 討論
為了更好地保留胎兒心電特征波的大小和形態，在殘差U-Net的基礎上，結合多尺度特征提取、引入注意力閾值學習的殘差收縮網絡以及編碼器間Softpool改進下采樣，本文構建了多尺度殘差收縮U-Net。對比文獻[4]采用RECD-Net，由5層編碼器-解碼器子塊級聯而成，中間3層為殘差編碼器-解碼器子塊，而本文是基于殘差U-Net的改進網絡，其5層殘差U-Net的編碼器-解碼器由殘差塊構成，形成內部和外部跳聯，相較文獻[4]在保留胎兒心電細節和整體波形特征上具有優勢。對比文獻[5]采用STFT-GAN，對腹部心電信號進行STFT，在時頻域經GAN提取胎兒信號，再經逆STFT進行信號重構，會影響信號處理的實效性，而且GAN相比本文殘差U-Net受訓練樣本量的影響更大。對比文獻[6]采用AECG-DecompNet，該網絡以2個殘差U-Net構成，一個殘差U-Net用于提取母親信號，腹部心電信號減去提取的母親信號送入另一個殘差U-Net來提取胎兒心電信號；本文模型是將殘差U-Net改進為單一的多尺度殘差收縮U-Net，將殘差U-Net的編碼器改進為多尺度殘差收縮編碼器，增強了編碼器的多尺度特征提取和融合能力，也增強了腹部信號噪聲的去除能力，將殘差U-Net的層間下采樣改為Softpool，使層間保留了更多的信號細節，更有利于胎兒信號的提取，此外本文模型只需訓練一個網絡框架來提取胎兒心電，可減小網絡訓練帶來的風險，因此本文模型提取的胎兒心電特征更加精準、準確率更高。
3.1 U-Net層數對胎兒心電信號提取的影響
在PCDB Set-A數據集上，對不同U-Net層數下胎兒心電信號提取的結果進行比較，如表2所示。由于U-Net層數太少時，基本不能提取出有效的胎兒心電特征，故U-Net層數從三層開始。對比結果可知，當U-Net層數在5層時，胎兒心電信號提取結果最好，再增加數量會增加模型的訓練時間和過擬合的風險。
表2
不同U-Net層數下的胎兒心電信號提取結果
Table2.
Fetal ECG signal extraction results under different U-Net layers
3.2 消融實驗
為了探究RSBU-CW模塊中加入的多尺度特征融合模塊Inception和混合域注意力的有效性，在U-Net模型和RSBU-CW的基礎上添加Inception和時間注意力進行消融研究，消融結果如表3所示，其中在RSBU-CW中添加時間注意力所形成的混合注意力稱為RSBU-MA。從表3可以看出，加入Inception或形成的混合域注意力都比僅使用U-Net和RSBU-CW的提取效果要好，且二者都添加比添加任何一個的結果更好。因此，引入Inception相較于單尺度殘差收縮U-Net，可使收縮過程中的心電信號特征提取更能兼顧全局和細節特征；而在殘差收縮模型閾值學習單元中，加入時間域注意力形成混合注意力，可使閾值學習中ECG的時間信息得到利用。
表3
消融實驗
Table3.
Ablation study
3.3 不同混合域注意力組成的比較
由于混合域注意力是由時間域注意力和通道域注意力組成，但可以分為時間-通道串行、通道-時間串行和時間-通道并行三種組合方式，為了探究不同組合方式對胎兒心電信號提取結果的影響，在PCDB數據集上做了消融實驗，結果如圖6所示。可以看出，時間-通道串行組成的混合域注意力在胎兒心電信號提取中表現更優，證明了時間-通道串行注意力對于閾值選取更具優勢，可促使模型性能提升。
圖6
時間與通道注意力3種組合方式提取結果對比
Figure6.
Comparison of extraction results from three combinations of time and channel attention
3.4 不同池化對胎兒心電信號提取的對比
為了探討不同池化對胎兒心電信號提取的影響，在U-Net收縮路徑中使用Maxpool、Avgpool和Softpool三種不同的池化在PCDB數據集上進行對比，如表4所示。表4表明Softpool在胎兒心電信號提取精度上要優于Maxpool和Avgpool。因為Softpool可對視野域每個特征值賦予不同的權值，相較Maxpool和Avgpool更能保留收縮過程中的信號細節，更有助于胎兒心電信號的提取，故本文在編碼器收縮中確定采用Softpool方式。
表4
不同池化方式下胎兒心電信號提取結果比較
Table4.
Comparison of fetal ECG signal extraction results under different pooling modes
4 結論
本文提出了一種基于多尺度殘差收縮U-Net模型，將IRSBU-MA模塊與U-Net網絡編碼器相結合提取胎兒心電信號。以U-Net模型為基本網絡，由IRSBU-MA構成編碼器，通過IRSBU-MA中的多尺度特征融合單元提取多個尺度特征，更加全面地提取了胎兒心電信號特征，并使用混合域注意力增強閾值學習單元對時間域信息的利用，更好地確定軟閾值所需閾值。同時，將U-Net的層間引入加權下采樣Softpool，相較于Maxpool或Avgpool方式保留了更多胎兒心電信號細節特征，實驗結果對比顯示了其優勢。此外，通過U-Net不同層數實驗和分析，證實了大尺度卷積核大小為5時，采用5層U-Net在提取胎兒心電信號的合理性。通過與現有方法實驗結果進行對比可知，本文方法取得了最優性能。此外，三個不同數據集測試結果表明，所提出的方法在從腹部心電信號中提取胎兒心電信號方面具有很高的魯棒性，對圍產期胎兒健康監護具有一定的應用價值。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：王乾負責算法方案設計、實驗設計與分析、論文修審，張正旭負責算法程序設計、實驗數據分析、論文初稿的寫作，宋丹洋負責提取胎兒心電特征評估，王玉靜負責理論與實驗指導，宋立新負責理論指導、論文審閱。
0 引言
胎心監護是胎兒健康監測的一種重要手段，能有效降低圍產期胎兒的發病率及死亡率[1]。胎兒心電信號（fetal electrocardiogram，FECG）可以反映胎兒心臟活動的全貌，其形態學特征有利于對胎兒健康狀況進行監測，是一種具有廣闊應用場景的胎兒電子監護技術。
胎兒心電信號通常從孕婦腹部心電信號（abdominal electrocardiogram，AECG）中提取，而孕婦腹部心電信號中除了胎兒心電信號，還包含母體心電信號以及基線漂移、工頻干擾、脈沖偽跡等其他噪聲[2]；另外，胎兒心電信號相對微弱，母親心電幅值一般是胎兒的5~10倍，且與胎兒心電在時域有10%~30%的重疊[3]。因此，如何抑制母親心電提取出干凈的胎兒心電信號成為研究的重點和難點。
近年來，深度學習在心電信號處理方面得到實際應用。由于神經網絡不需要人工提取特征，通過訓練能夠自適應地提取特征，使用神經網絡去噪可能比人工提取特征更為有效，其中卷積神經網絡（convolutional neural networks，CNN）表現出強大的特征提取能力。Zhong等[4]提出的殘差卷積編碼器-解碼器網絡（residual convolutional encoder–decoder network，RCED-Net）能夠較好地提取胎兒心電信號，但網絡模型復雜度較低，對于復雜的腹部心電信號提取能力不足；Zhong等[5]利用腹部心電信號時頻域特征，提出基于短時傅立葉變換（short time Fourier transform，STFT）和生成對抗性網絡（generative adversarial networks，GAN）的心電信號提取方法，STFT-GAN將腹部心電轉換成時頻圖不僅能夠較好地提取胎兒心電信號，而且能夠處理母胎心電信號重合波，但時頻圖轉換增加了計算量和時間，使得網絡效率降低。
U-Net是一種編碼-解碼結構的端對端全卷積網絡，通過編碼器提取胎兒心電特征，然后由解碼器進行特征重建生成胎兒心電信號。相比于CNN，U-Net的編碼器可以捕捉波形特性之間的上下文信息，解碼器可以精確定位特征位置，更適合胎兒心電信號的提取。Arash Rasti-Meymandi等[6]提出一種由兩個殘差對稱跳躍連接卷積自動編碼器Res-Unet的胎兒心電提取方法，能夠較好地提取胎兒心電信號；但需要訓練兩個U-Net模型，增加了訓練難度，且每個U-Net每層編碼器使用單一尺度卷積核，缺少對心電波形特征的進一步提取。
深度殘差收縮網絡[7]（deep residual shrinkage networks，DRSN）為一種基于殘差收縮結構改進的深度神經網絡，常用于信號去噪領域。通過殘差收縮模塊前兩個卷積層突出有用信號特征，抑制無用信號或噪聲的特征，而后通過軟閾值化，能夠較好地解決微弱信號的去噪問題[8-9]。其中，基于通道閾值的殘差收縮模塊（residual shrinkage building unit with channel-wise thresholds，RSBU-CW）在閾值學習過程中只關注通道域的特征信息，忽略了心電信號時間域信息對閾值學習的影響。
針對U-Net收縮路徑中同級卷積編碼器尺度的單一性，忽略了母親和胎兒心電特征波的大小和形態差異，作為編碼器的殘差收縮模塊閾值學習過程中缺少對心電信號時間信息利用的問題，本文提出一種基于多尺度殘差收縮U-Net的胎兒心電信號提取方法。首先在RSBU-CW中引入多尺度特征融合模塊Inception[10]和時間域注意力（time attention，TA），構建基于混合注意力閾值的多尺度殘差收縮模塊（inception residual shrinkage module based on mixed attention threshold，IRSBU-MA），通過Inception增強模塊的多尺度特征提取能力，同時將時間域注意力與通道域注意力（channel attention，CA）串行結合，增強模塊對胎兒心電信號的多尺度成分和時間域信息的利用。為了保持更多的胎兒心電局部細節特征，引入Softpool池化[11]。然后以U-Net模型為基本網絡，由IRSBU-MA和Softpool組成的編碼器來逐步提取胎兒心電特征并去除母親心電特征，最后由殘差模塊和上采樣構成的解碼器逐步生成胎兒心電信號。
1 模型結構
1.1 總體網絡結構
本文多尺度殘差收縮U-Net模型結構如圖1所示。其中，編碼器由基于混合注意力閾值的多尺度殘差收縮模塊IRSBU-MA和Softpool池化構成，共包括6層IRSBU-MA模塊和5層Softpool池化，用于提取胎兒心電信號特征。解碼器由5層殘差塊和上采樣組成，可以根據胎兒心電信號特征生成胎兒心電信號，殘差塊中添加了殘差連接加速模型訓練，并避免了梯度消失或爆炸問題；解碼器每個殘差塊包括三個卷積層和殘差連接。在解碼器和編碼器之間存在跳躍連接，使得不同層次的特征可以相互融合，保留并利用不同層次特征中的有效信息，提高胎兒心電信號生成的質量。
圖1
基于多尺度殘差收縮U-Net的胎兒心電提取方法總體框圖
Figure1.
Overall block diagram of fetal ECG extraction method based on multi-scale residual shrinkage U-Net
腹部心電信號輸入數據X定義為 ，其中N = T × fs表示腹部心電信號采樣點個數，T為采樣持續時間，fs為采樣頻率；C表示腹部心電信號導聯的數量。輸入數據大小為(1 024, 1)，其中，1表示為單導聯腹部心電信號，1 024指采樣點個數；編碼器每層的通道大小為(16, 32, 64, 128, 256, 256)，而特征圖大小為[(1 024, 1), (512, 1), (256, 1), (128, 1), (64, 1), (32, 1)]，解碼器與編碼器在對應層中的通道大小和特征圖大小一致。
1.2 多尺度殘差收縮模塊
為解決U-Net編碼器中每層卷積尺度的單一性，并增加殘差收縮模塊閾值學習模塊對時間域信息的利用，構建多尺度殘差收縮模塊結構如圖2a所示，包括多尺度特征融合單元、殘差單元、閾值學習單元和軟閾值處理單元。多尺度特征融合單元通過多個卷積核大小不同的并行卷積對輸入的腹部心電信號進行波形特征提取和融合，而后通過閾值學習單元提取心電信號時間域與通道域信息確定閾值，并通過軟閾值處理單元對腹部心電信號特征進行軟閾值函數去噪，最后引入殘差單元來防止網絡退化。
圖2
基于混合域注意力閾值的殘差收縮塊結構圖
a. 多尺度殘差收縮模型整體結構；b. 時間域注意力；c. 通道域注意力
Figure2. Structure diagram of RSBU-MAa. structure diagram of residual shrinkage building unit; b. time attention; c. channel attention
多尺度特征融合單元由三條卷積支路和一條池化支路組成，三條卷積支路的卷積核大小分別為1 × 1、1 × 3、1 × 5，小的卷積尺度用來獲取腹部心電信號的細節特征，大的卷積尺度用來提取腹部心電信號的全局性特征信息，池化分支采用最大池化，池化核為1 × 3，能夠突出池化內核中的顯著特征；且在1 × 3和1 × 5的卷積前面以及最大池化后面添加1 × 1卷積，可以降低通道數來減少參數量，并在每次卷積之后加入批歸一化（batch normalization，BN）和ReLU激活函數，以提高模型的非線性擬合性能。
在閾值學習單元中，加入時間域注意力提取胎兒心電波形時間域信息，并對原有通道域注意力進行改進，形成全局最大池化（global max pooling，GMP）支路與全局平均池化（global average pooling，GAP）結合的增強通道域信息提取能力的改進通道域注意力；將時間域注意力與通道域注意力相結合，構成了一個混合的注意力（mix attention，MA）來提取混合域的特征信息，從而確定混合域的閾值。具體時間域注意力結構和通道域注意力結構分別如圖2b和圖2c所示。
時間域注意力：時間域注意力權重計算過程如式(1)所示：
|
其中：和分別代表GAP和GMP的結果，和分別表示兩個全連接層，代表ReLU激活函數，代表Sigmoid激活函數，表示求解出的時間域注意力權重。
通道域注意力：對原僅含GAP的通道注意力進行改進，增加GMP支路，通道域注意力權重計算過程如式(2)所示：
|
其中：和分別表示對特征圖進行GAP和GMP的結果，和表示GAP支路的兩個全連接層（fully connected layers，FC），和表示GMP支路的兩個FC，表示ReLU函數，表示Sigmoid函數，為通道域注意力權重。
閾值學習單元將時間域注意力與通道域注意力通過串聯的方式組合在一起，將特征矩陣Z作為輸入送入該閾值學習單元，得到最終的基于混合域注意力的閾值，具體過程如式(3)所示：
|
其中，表示時間域閾值，表示混合域閾值。
軟閾值處理單元采用軟閾值函數進行降噪處理步驟，軟閾值函數如式(4)所示，將絕對值小于某個閾值 的特征去除掉，將絕對值大于該閾值的特征朝向零進行收縮處理。
|
1.3 利用Softpool改進下采樣
為了保持更多的胎兒心電局部細節特征，將U-Net中的Maxpool[12]替換為Softpool。U-Net模型中的Maxpool可以保留池化內核中的局部最大值，凸出內核中的顯著特征，利用最大池化進行下采樣可能會丟失胎兒心電細節特征，從而降低模型對胎兒心電信號的提取精度。針對這一問題，本文利用Softpool替換U-Net中的最大池化層。Softpool是一種變種的池化層，基于softmax方法對感受野內所有特征點進行加權來保留輸入的基本屬性并放大更大強度的特征激活，相比于最大池化，Softpool能夠在進行特征圖下采樣的同時，保留更多的胎兒心電局部特征信息，適用于胎兒心電信號提取。
2 實驗
2.1 實驗數據集
本實驗采用的數據集為胎兒心電圖合成數據庫（Fetal Electrocardiogram Synthetic Database，FECGSYNDB）[13]、腹部和直接胎兒心電數據庫（Abdominal and Direct Fetal ECG Database，ADFECGDB）[14]、2013年競賽數據集（PhysioNet/Computing in Cardiology Challenge Database，PCDB）[15]的set-A、DAISY數據集[16]。由于真實的胎兒心電信號非常難以獲取，且獲取的信號含有較多的噪聲，但完全采用合成數據集又缺乏胎兒信號在現實場景中的真實性和復雜性，因此本文采用合成的FECGSYNDB數據集和一部分真實的ADFECGDB數據集作為訓練集，其余作為測試集。四個數據集的詳細情況如下：
（1）FECGSYNDB：通過FECGSYN無創胎兒心電圖發生器生成的合成數據庫，包括145.8 h的數據和110萬個胎兒峰值。每個模擬從母體采集的信號包括34個通道（32個腹部和2個MECG通道），采樣頻率250 Hz，采樣時數據庫提供了每個信號源的單獨波形。
（2）ADFECGDB：數據庫包括來自五個分娩對象的五個通道記錄（4個母體腹部通道和1個胎兒心電通道），每個記錄持續5 min，采樣頻率為1 kHz。
（3）PCDB Set-A數據集：數據集包括75組持續1 min的孕婦腹部心電圖記錄，每組包含四個通道。采樣率為1 kHz，并給出了FQRS的參考位置。
（4）DAISY數據集：數據庫記錄了從孕婦體表獲取到的8通道信號（前5個通道為孕婦腹部混合心電信號，后3個通道為孕婦胸部心電信號），采樣持續10 s，采樣頻率為250 Hz。
考慮到數據集中存在個別通道的胎兒信號微弱或缺失的問題，實驗中刪除了一些記錄。具體為，從ADFECGDB中排除了r04 Ab-1、r07 Ab-1和r10 Ab-3三條記錄；而PCDB Set-A數據集，本文參考文獻[5]選擇80條記錄。
2.2 數據預處理
首先，以250 Hz采樣率為基準，將采樣頻率為1 000 Hz的數據集中信號通過抽值下采樣到250 Hz；然后利用截止頻率為3~100 Hz的FIR濾波器，去除基線和高頻噪聲；其次，對過濾后的心電圖采用分割和歸一化操作，以每段信號1 024個采樣點對數據集進行分割并通過最大最小值歸一化將幅值變換到[–1, 1]，且為了保持信號的連續性，前后兩個信號重合24個采樣點；最后劃分訓練集和測試集，訓練集由FECGSYNDB數據集和一部分ADFECGDB數據集組成，共21 110個樣本，測試集由PCDB Set-A數據集、DAISY數據集和剩余的ADFECGDB數據集組成，共1 500個樣本。
2.3 實驗設備
本文實驗所用平臺與網絡超參數配置：操作系統為Windows，CPU為Intel 11代 i5-5800H，GPU為NVIDIV GTX3060，深度學習框架為Tensorflow，編程語言為Python，批次大小為64，優化器AdamOptimer，學習率為0.000 3。
2.4 性能評價指標
本研究將參考R峰注釋與提取的胎兒心電信號中檢測到的R峰位置進行對比，來考察胎兒心電信號提取算法的性能。從腹部心電信號中提取胎兒心電信號后，使用Pan-Tompkins[17]方法進行R峰位置檢測。為了評估所提出方法的性能，本文使用靈敏度（sensitivity，Se）、陽性預測值（positive predictive value，PPV）和度量三個指標，定義分別如下：
|
|
|
其中，真陽性（true positive，TP）是正確檢測到胎兒R峰位置的個數，假陽性（false positive，FP）是錯誤檢測到胎兒R峰位置的個數，假陰性（false negative，FN）是漏檢胎兒R峰位置的個數[18]。如果檢測到的胎兒QRS在參考注釋的50 ms內，則通常認為它是真陽性[19]。、和的值越高，代表該胎兒心電信號提取方法的性能越好。
2.5 實驗結果
本文實驗使用ADFECGDB和PCDB Set-A兩個數據集進行實驗，并與基于STFT和GAN的心電信號提取方法（STFT-GAN）、RCED-Net、AECG-DecompNet進行比較，具體如表1所示。從表1可以看出，本文方法在兩個數據集上均取得了最優的結果，在ADFECGDB數據集上Se、PPV和F1指數分別為97.26%、97.62%和97.42%，在PCDB Set-A數據集上分別為93.33%、99.36%和96.09%，充分體現出了本文所提方法的優勢。
表1
本文所提方法與其他文獻方法結果對比
Table1.
Comparison of the results between the proposed method and other methods in literature
圖3、圖4和圖5是使用本文方法在三個數據集上提取胎兒心電信號的結果。圖3為對DAISY數據集五個母體腹部通道進行胎兒心電信號提取后的結果，前五幅圖對應五個腹部通道，后五幅圖對應上面五個腹部通道提取胎兒心電信號的結果。圖4為對ADFECGDB數據集r08記錄第一通道前4 s的胎兒心電信號提取結果。圖5為對2013年競賽數據集a03記錄第二通道8～12 s的胎兒心電信號提取結果，其中圖5a為原始腹部信號，圖5b為本文方法提取的胎兒心電信號。總體可以看出本文方法在胎兒心電信號提取方面有良好的效果，不僅明顯處的胎兒心電信號提取完整，而且在與母親心電信號重合的地方也能提取出胎兒心電信號，如圖3虛線框中所示。但對于某些特征不明顯且受噪聲影響較大的胎兒心電信號，存在漏檢情況。
圖3
本文方法在DAISY數據集的提取結果
Figure3.
The extraction result of the proposed method on the DAISY dataset
圖4
本文方法在ADFECGDB數據集的提取結果
a. 腹部心電信號；b. 參考胎兒心電信號；c. 提取胎兒心電信號
Figure4. The extraction result of the proposed method on the ADFECGDB dataseta. abdominal ECG signal; b. reference fetal ECG signal; c. extracting fetal ECG signal
圖5
本文方法在PCDB Set-A數據集的提取結果
a. 腹部心電信號；b. 提取胎兒心電信號
Figure5. The extraction result of the proposed method on the PCDB Set-A dataseta. abdominal ECG signal; b. extracting fetal ECG signal
3 討論
為了更好地保留胎兒心電特征波的大小和形態，在殘差U-Net的基礎上，結合多尺度特征提取、引入注意力閾值學習的殘差收縮網絡以及編碼器間Softpool改進下采樣，本文構建了多尺度殘差收縮U-Net。對比文獻[4]采用RECD-Net，由5層編碼器-解碼器子塊級聯而成，中間3層為殘差編碼器-解碼器子塊，而本文是基于殘差U-Net的改進網絡，其5層殘差U-Net的編碼器-解碼器由殘差塊構成，形成內部和外部跳聯，相較文獻[4]在保留胎兒心電細節和整體波形特征上具有優勢。對比文獻[5]采用STFT-GAN，對腹部心電信號進行STFT，在時頻域經GAN提取胎兒信號，再經逆STFT進行信號重構，會影響信號處理的實效性，而且GAN相比本文殘差U-Net受訓練樣本量的影響更大。對比文獻[6]采用AECG-DecompNet，該網絡以2個殘差U-Net構成，一個殘差U-Net用于提取母親信號，腹部心電信號減去提取的母親信號送入另一個殘差U-Net來提取胎兒心電信號；本文模型是將殘差U-Net改進為單一的多尺度殘差收縮U-Net，將殘差U-Net的編碼器改進為多尺度殘差收縮編碼器，增強了編碼器的多尺度特征提取和融合能力，也增強了腹部信號噪聲的去除能力，將殘差U-Net的層間下采樣改為Softpool，使層間保留了更多的信號細節，更有利于胎兒信號的提取，此外本文模型只需訓練一個網絡框架來提取胎兒心電，可減小網絡訓練帶來的風險，因此本文模型提取的胎兒心電特征更加精準、準確率更高。
3.1 U-Net層數對胎兒心電信號提取的影響
在PCDB Set-A數據集上，對不同U-Net層數下胎兒心電信號提取的結果進行比較，如表2所示。由于U-Net層數太少時，基本不能提取出有效的胎兒心電特征，故U-Net層數從三層開始。對比結果可知，當U-Net層數在5層時，胎兒心電信號提取結果最好，再增加數量會增加模型的訓練時間和過擬合的風險。
表2
不同U-Net層數下的胎兒心電信號提取結果
Table2.
Fetal ECG signal extraction results under different U-Net layers
3.2 消融實驗
為了探究RSBU-CW模塊中加入的多尺度特征融合模塊Inception和混合域注意力的有效性，在U-Net模型和RSBU-CW的基礎上添加Inception和時間注意力進行消融研究，消融結果如表3所示，其中在RSBU-CW中添加時間注意力所形成的混合注意力稱為RSBU-MA。從表3可以看出，加入Inception或形成的混合域注意力都比僅使用U-Net和RSBU-CW的提取效果要好，且二者都添加比添加任何一個的結果更好。因此，引入Inception相較于單尺度殘差收縮U-Net，可使收縮過程中的心電信號特征提取更能兼顧全局和細節特征；而在殘差收縮模型閾值學習單元中，加入時間域注意力形成混合注意力，可使閾值學習中ECG的時間信息得到利用。
表3
消融實驗
Table3.
Ablation study
3.3 不同混合域注意力組成的比較
由于混合域注意力是由時間域注意力和通道域注意力組成，但可以分為時間-通道串行、通道-時間串行和時間-通道并行三種組合方式，為了探究不同組合方式對胎兒心電信號提取結果的影響，在PCDB數據集上做了消融實驗，結果如圖6所示。可以看出，時間-通道串行組成的混合域注意力在胎兒心電信號提取中表現更優，證明了時間-通道串行注意力對于閾值選取更具優勢，可促使模型性能提升。
圖6
時間與通道注意力3種組合方式提取結果對比
Figure6.
Comparison of extraction results from three combinations of time and channel attention
3.4 不同池化對胎兒心電信號提取的對比
為了探討不同池化對胎兒心電信號提取的影響，在U-Net收縮路徑中使用Maxpool、Avgpool和Softpool三種不同的池化在PCDB數據集上進行對比，如表4所示。表4表明Softpool在胎兒心電信號提取精度上要優于Maxpool和Avgpool。因為Softpool可對視野域每個特征值賦予不同的權值，相較Maxpool和Avgpool更能保留收縮過程中的信號細節，更有助于胎兒心電信號的提取，故本文在編碼器收縮中確定采用Softpool方式。
表4
不同池化方式下胎兒心電信號提取結果比較
Table4.
Comparison of fetal ECG signal extraction results under different pooling modes
4 結論
本文提出了一種基于多尺度殘差收縮U-Net模型，將IRSBU-MA模塊與U-Net網絡編碼器相結合提取胎兒心電信號。以U-Net模型為基本網絡，由IRSBU-MA構成編碼器，通過IRSBU-MA中的多尺度特征融合單元提取多個尺度特征，更加全面地提取了胎兒心電信號特征，并使用混合域注意力增強閾值學習單元對時間域信息的利用，更好地確定軟閾值所需閾值。同時，將U-Net的層間引入加權下采樣Softpool，相較于Maxpool或Avgpool方式保留了更多胎兒心電信號細節特征，實驗結果對比顯示了其優勢。此外，通過U-Net不同層數實驗和分析，證實了大尺度卷積核大小為5時，采用5層U-Net在提取胎兒心電信號的合理性。通過與現有方法實驗結果進行對比可知，本文方法取得了最優性能。此外，三個不同數據集測試結果表明，所提出的方法在從腹部心電信號中提取胎兒心電信號方面具有很高的魯棒性，對圍產期胎兒健康監護具有一定的應用價值。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：王乾負責算法方案設計、實驗設計與分析、論文修審，張正旭負責算法程序設計、實驗數據分析、論文初稿的寫作，宋丹洋負責提取胎兒心電特征評估，王玉靜負責理論與實驗指導，宋立新負責理論指導、論文審閱。
