疲勞估計在下肢康復訓練過程中對提高意圖識別精度、避免二次傷害有重要意義。現有方法多是僅利用表面肌電信號(sEMG)特征進行疲勞估計,未考慮加入蘊含疲勞狀態信息的心電信號(ECG)特征,識別率較低且不穩定。針對此問題,提出了一種將 ECG 與 sEMG 特征融合用于下肢康復疲勞估計的方法,設計改進的粒子群優化-支持向量機分類器,對融合特征向量進行識別,實現對輕松、過渡和疲累三種不同疲勞狀態的準確識別,最終三種狀態識別率分別為 98.5%、93.5%、95.5%。經實驗證明,該方法的平均識別率與只依靠 sEMG 特征相比提高了 4.50%,比未經特征融合的 ECG、sEMG 組合特征提高了 13.66%,證明將 ECG 與 sEMG 進行特征融合可以實現下肢康復疲勞的準確檢測。
引用本文: 苑堯堯, 曹佃國, 李聰, 劉澄玉. 融合心電與表面肌電特征的下肢康復疲勞估計方法. 生物醫學工程學雜志, 2020, 37(6): 1056-1064. doi: 10.7507/1001-5515.201907053 復制
版權信息: ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有,未經授權不得轉載、改編
引言
傳統的程控式人機交互方式如醫療康復機器人及外骨骼機器人很少將患者的疲勞信息作為調整康復策略的重要信息[1],不僅對患者運動意圖識別率產生很大影響且極易造成二次損傷,降低康復效果[2]。目前,利用表面肌電信號(surface electromyography,sEMG)特征進行在線處理和監測疲勞方面取得了一定的效果[3]。例如,Shahmoradi 等[4]通過采集康復訓練中的 sEMG 信號,利用隱馬爾可夫模型對 8 種疲勞特征進行識別,準確率達到 95.3%。謝平等[5]提取了上肢康復訓練過程中的腦電(electroencephalogram,EEG)及 sEMG 疲勞特征,利用螢火蟲-模糊神經網絡算法對疲勞狀態進行檢測,進而搭建了一種基于腦肌電反饋的虛擬康復系統。然而,疲勞是一個復雜的現象,在喪失部分或全部運動能力的患肢康復過程中,由于患者運動功能不健全易出現疲勞、力量不足等現象,因此隨著訓練時間的增加,信噪比降低,單純 sEMG 信號的分類結果不穩定[6]。心電信號(electrocardiogram,ECG)中蘊含著人體運動神經功能狀態的大量信息,在肌體狀態、情緒估計等領域應用廣泛[7-9],但是由于它具有微弱性、隨機性和低頻性等特性,單一 ECG 信號難以對康復疲勞進行準確辨識,因此借助于多信號特征分析可以實現更加準確、全面的肌體狀態識別[10-11]。例如,Aly 等[12]利用一種混合腦機接口(brain computer interface,BCI)模型將 EEG、sEMG 信號處理與機器學習模型相集成,相比于單一信號,更有效地解碼了五種上肢運動。Baumgartner 等[13]研究發現,通過結合 sEMG、ECG、EEG、加速度計、呼吸監測、脈搏、血氧飽和度、溫度等多種測量參數,可以更加準確地檢測不同類型的癲癇發作。因此,綜合考慮 sEMG 信號和 ECG 信號的疲勞特征反應,有必要研究將同步 ECG 與下肢 sEMG 進行特征融合應用于下肢訓練過程中的疲勞狀態估計。
針對以上問題,依據瑞典心理學家 Gunnar Borg 發明的基于主觀感受疲勞估計方法的主觀疲勞自覺量表(scale for Rating of Perceived Exertion,RPE scale),將參與者的疲勞程度分為 6~20 評分區間[14],分別選取對應于量表中 6~10、13~14、17~18 分數段的輕松、過渡和疲累 3 種疲勞狀態進行相關問題的分析。采集下肢訓練過程中三種狀態的 ECG 信號與下肢脛骨前肌、半腱肌處的 sEMG 信號,對信號進行預處理并提取 11 維疲勞相關特征。設計改進的粒子群優化-支持向量機(particle swarm optimization-support vector machine,PSO-SVM)分類器,實現對高維特征融合系數的迭代尋優和三種狀態的準確識別,并通過對比試驗驗證本文方法的優勢。
1 方法
采用美國 Delsys 公司的 TrignoTM全無線生理傳感器在 Fourier X1 下肢外骨骼平臺上實驗并采集受試者的 ECG 與 sEMG 信號,出于安全考慮,八名肢體健康的志愿者(22~26 歲;男性 6 例,女性 2 例)參與實驗過程,所有志愿者自愿參加本實驗,實驗開始前均已熟悉本實驗方案和流程。根據人體的生理學結構,同步采集受試者 EEG 信號和左腿脛骨前肌、半腱肌處的 sEMG 信號,采樣頻率為 2 kHz,傳感器位置如圖 1 所示,ch-1 為 ECG 傳感器,ch-2、ch-3 分別為半腱肌和脛骨前肌處的 sEMG 傳感器。
 圖1
				下肢訓練過程及傳感器放置
			
												
				Figure1.
				Lower limb training process and sensor placement
						
				圖1
				下肢訓練過程及傳感器放置
			
												
				Figure1.
				Lower limb training process and sensor placement
			
								志愿者按計劃進行步態訓練,規定 15 min 為一個訓練周期,以 8 名志愿者依次完成一個周期訓練為一組實驗,每組實驗時長為 120 min,共進行 50 組實驗。在每個訓練周期內,志愿者根據 RPE 量表每隔 30 s 恢復至平靜站立狀態并匯報自己的疲勞狀態感受,標記此時的疲勞狀態值(輕松:?1,過渡:0,疲累:1),同時對 3 種狀態下的 sEMG、ECG 數據進行標記、保存,并記錄對應的訓練時間,即每組實驗得到 24 組數據,最終每種狀態各得到 400 組數據,其中一組實驗過程及所得特征數據如圖 2 所示。所有志愿者信號的采集、分析過程相同,這里以其中一名為例進行介紹。
 圖2
				一組實驗過程及所得的特征數據
			
												
				Figure2.
				A set of experimental process and the feature data obtained
						
				圖2
				一組實驗過程及所得的特征數據
			
												
				Figure2.
				A set of experimental process and the feature data obtained
			
								1.1 信號預處理與疲勞特征提取
疲勞特征提取之前需要對包含噪聲干擾的原始信號進行預處理[15],首先分別通過 0~100 Hz 和 0~500 Hz 低通濾波器對原始 ECG、sEMG 信號濾波,去除高頻干擾;其次采用 49.5~50 Hz 自適應陷波器濾除信號中的工頻和諧波干擾;最后利用經驗模態分解(empirical mode decomposition,EMD)濾除汗液和電極移動等引起的低頻噪聲以糾正信號漂移[16],對信號整流得到預處理后的信號。一組原始 ECG、sEMG 信號預處理過程的時、頻域圖如圖 3、4 所示。
 圖3
				ECG 信號、脛骨前肌 sEMG 信號預處理過程示例
			
												
				Figure3.
				Example of signal preprocessing process about EEG and sEMG of tibialis anterior muscle
						
				圖3
				ECG 信號、脛骨前肌 sEMG 信號預處理過程示例
			
												
				Figure3.
				Example of signal preprocessing process about EEG and sEMG of tibialis anterior muscle
			
								 圖4
				ECG、sEMG 信號預處理過程的頻域圖形示例
			
												
				Figure4.
				Example of frequency domain graphics for ECG and sEMG preprocessing
						
				圖4
				ECG、sEMG 信號預處理過程的頻域圖形示例
			
												
				Figure4.
				Example of frequency domain graphics for ECG and sEMG preprocessing
			
								為獲取心電間期特征,對 ECG 信號采用小波變換模極大值法檢測并標記 R 波。為使信號特征能代表區間段的疲勞狀態且滿足檢測快速性的要求,設置 4 s 滑動時間窗、窗移 1 s 提取信號的階段特征,并對同一狀態的多個特征窗口求均值。由圖 4 可以看出,信號中的噪聲在預處理后得到了很好的抑制。
分析受試者不同疲勞狀態下 ECG、sEMG 信號生理響應間的差異[17-18],可知表 1 中的特征均可以在一定程度上反映下肢訓練的疲勞狀態,且不同狀態下的特征響應呈現總體趨勢相似,局部響應不均,因此考慮將表 1 中的特征進行融合,作為本文疲勞分類器的輸入。
 表1
                ECG與sEMG疲勞相關生理響應特征
		 	
		 			 				Table1.
    			Fatigue-related physiological features of ECG and sEMG
			
						表1
                ECG與sEMG疲勞相關生理響應特征
		 	
		 			 				Table1.
    			Fatigue-related physiological features of ECG and sEMG
       		
       				其中心電間期序列高頻范圍為 0.15~0.40 Hz,表1 中標記*的特征參數計算方法如下:
|  | 
式中: 表示心電間期時長(單位為 s),
 表示心電間期時長(單位為 s), 表示
 表示  間期總個數。
 間期總個數。
|  | 
|  | 
|  | 
|  | 
式中: 、
、 分別是 sEMG 信號連續和離散化后的幅值,
 分別是 sEMG 信號連續和離散化后的幅值, 為采樣頻率,
 為采樣頻率, 、
、 、
、 表示信號的長度,
 表示信號的長度, 、
、 和
 和  分別表示信號的頻率、中值頻率及功率譜密度函數。
 分別表示信號的頻率、中值頻率及功率譜密度函數。
1.2 改進的粒子群優化-支持向量機分類器
傳統的固定權重的特征融合是將多組特征向量拼接組合成一個向量[19-20],這種方法在肌體疲勞時識別率不穩定。本文結合粒子群優化特征融合系數與 OVO 方法構造多分類支持向量機,改進狀態分類器。基于粒子群優化的“融合系數”能夠很好地表示特征的權重系數和信任程度,通過多分類支持向量機對融合特征進行學習以實現狀態分類,進而基于狀態識別率構造適應度函數對融合系數進行自適應迭代優化,最終實現疲勞特征的有效融合與狀態準確分類。基于改進的粒子群優化-支持向量機分類器實現疲勞估計的具體過程如下。
1.2.1 構建融合特征向量
分別用  
  、
、 表示 ECG、sEMG 的特征樣本向量,其中
 表示 ECG、sEMG 的特征樣本向量,其中  、
、 為向量維數,
 為向量維數, 為樣本個數。定義融合系數向量
 為樣本個數。定義融合系數向量  
  ,則 ECG 與 sEMG 融合特征向量為:
,則 ECG 與 sEMG 融合特征向量為:
|  | 
基于融合系數向量  組成的融合特征矩陣為:
 組成的融合特征矩陣為: ,將 X 分為訓練集
,將 X 分為訓練集  和測試集
 和測試集  ,其中
,其中  用于訓練分類器,
 用于訓練分類器, 用于檢測分類器的分類效果。
 用于檢測分類器的分類效果。
1.2.2 構造多分類支持向量機疲勞狀態分類器
支持向量機是一種基于統計學和結構風險最小化原則的機器學習方法[21],在解決小樣本、非線性識別問題中表現突出[22-23]。基于 ECG 和 sEMG 的疲勞估計為線性不可分的多分類問題,因此采用 OVO 方法構造 3 個二分類支持向量機可以實現三種狀態的有效分類。
假設訓練集  有
 有  組樣本,對應的類別為
 組樣本,對應的類別為  ,
, ,
, ,
, 
  ,其中
,其中  、0、1 分別表示為輕松、過渡和疲累狀態。支持向量機網絡是尋找一個最優的分類函數,使該函數所在超平面與支持向量的距離最大。核函數
、0、1 分別表示為輕松、過渡和疲累狀態。支持向量機網絡是尋找一個最優的分類函數,使該函數所在超平面與支持向量的距離最大。核函數  的作用是將樣本集映射到高維空間且滿足 Mercer 條件,其對分類性能起到關鍵作用,由于徑向基函數有較好的性能和應用范圍,所以本文選取徑向基函數作為支持向量機的核函數:
 的作用是將樣本集映射到高維空間且滿足 Mercer 條件,其對分類性能起到關鍵作用,由于徑向基函數有較好的性能和應用范圍,所以本文選取徑向基函數作為支持向量機的核函數:
|  | 
當  正定的情況下,尋找最優超平面的問題可以轉化為如下凸二次規劃問題:
 正定的情況下,尋找最優超平面的問題可以轉化為如下凸二次規劃問題:
|  | 
式中 C 為懲罰因子, 是松弛變量。引入 Language 系數
 是松弛變量。引入 Language 系數  將式(7)的凸二次規劃問題變為其對偶問題,進一步求解對偶問題得到最優解
 將式(7)的凸二次規劃問題變為其對偶問題,進一步求解對偶問題得到最優解  、
、 和
 和  。
。
|  | 
最終單個基于徑向基核的支持向量機的分類函數可表示為:
|  | 
1.2.3 基于改進的粒子群優化-支持向量機的心電肌電特征融合
包括如下步驟:
a. 粒子群初始化:定義隨機融合系數矩陣  為初始粒子群,其中
 為初始粒子群,其中  
  為融合系數向量,
 為融合系數向量, ,
, 
  。初始化最大迭代次數,粒子群規模 q,學習因子
。初始化最大迭代次數,粒子群規模 q,學習因子  、
、 以及慣性權重
 以及慣性權重  等。
 等。
b. 訓練支持向量機網絡并計算粒子適應度:利用粒子對應的融合系數對特征樣本進行融合,得到特征融合矩陣  ,其中
,其中  用以對網絡訓練得到分類函數
 用以對網絡訓練得到分類函數  ,并用
,并用  對
 對  檢測得到粒子適應度。
 檢測得到粒子適應度。
c. 粒子群更新(融合系數矩陣 D 優化):由步驟 b 得到每組粒子的適應度  ,根據式(10)更新個體和種群最佳適應度
,根據式(10)更新個體和種群最佳適應度  、
、 ,并由式(11)更新粒子速度
,并由式(11)更新粒子速度  和位置
 和位置  ,產生新的種群,其中
,產生新的種群,其中  為[0, 1]上的隨機數。
 為[0, 1]上的隨機數。
|  | 
|  | 
d. 重復步驟 b 和 c,直至種群最佳適應度  (期望適應度),此時 D 即為最優融合系數矩陣。
(期望適應度),此時 D 即為最優融合系數矩陣。
1.2.4 基于最優融合系數特征融合的疲勞估計
運用最優融合系數構造未知狀態的特征向量,并輸入到訓練好的支持向量機網絡對其識別,進而實現疲勞狀態準確分類。基于改進的粒子群優化-支持向量機的特征融合與疲勞分類過程如圖 5 所示。
 圖5
				基于改進的粒子群優化-支持向量機的特征融合與疲勞估計過程
			
												
				Figure5.
				Feature fusion and fatigue estimation process based on improved PSO-SVM method
						
				圖5
				基于改進的粒子群優化-支持向量機的特征融合與疲勞估計過程
			
												
				Figure5.
				Feature fusion and fatigue estimation process based on improved PSO-SVM method
			
								2 結果分析
2.1 不同疲勞狀態下心、肌電生理特征分析
圖 6 為受試者不同疲勞狀態下的 ECG 信號特征,圖中顯示 ECG 信號的輕松和疲累兩種狀態的特征具有很好的分離性,過渡狀態特征與其他兩種狀態存在重疊現象,頻域特征比時域特征反應更加劇烈。圖 7、8 所示為受試者不同疲勞狀態下脛骨前肌和半腱肌 sEMG 特征,不難看出肌肉的時域特征積分肌電值和均方根值的幅值區別明顯,頻域特征平均功率頻率和中位頻率總體趨勢明顯,但是在過渡狀態與其他兩種狀態存在一定的重疊誤差。ECG 和 sEMG 疲累時的時頻特征相比其他狀態有明顯的波動。由上述結果可見,ECG 與 sEMG 信號特征之間存在一定的互補,可以增強分類器的識別效果,但是也存在干擾,需要對特征信任度即融合系數進行判斷和優化。
 圖6
				不同疲勞狀態 ECG 信號特征
			
												
				Figure6.
				ECG signal features in different fatigue states
						
				圖6
				不同疲勞狀態 ECG 信號特征
			
												
				Figure6.
				ECG signal features in different fatigue states
			
								 圖7
				不同疲勞狀態左腿脛骨前肌的 sEMG 信號特征
			
												
				Figure7.
				sEMG signal features of the left tibialis anterior muscle in different fatigue states
						
				圖7
				不同疲勞狀態左腿脛骨前肌的 sEMG 信號特征
			
												
				Figure7.
				sEMG signal features of the left tibialis anterior muscle in different fatigue states
			
								 圖8
				不同疲勞狀態左腿半腱肌的 sEMG 信號特征
			
												
				Figure8.
				sEMG signal features of the left semitendinosus muscle in different fatigue states
						
				圖8
				不同疲勞狀態左腿半腱肌的 sEMG 信號特征
			
												
				Figure8.
				sEMG signal features of the left semitendinosus muscle in different fatigue states
			
								2.2 融合系數優化過程分析
融合系數是構造最優特征向量、提高疲勞識別率的關鍵,為避免粒子適應度陷入局部最優,選擇種群規模為  ,學習因子
,學習因子  、
、 ,慣性權重
,慣性權重  ,粒子群期望適應度為 95%。從采集數據中選取 1 200 組數據樣本(每種狀態 400 組)進行預處理并提取特征,采用 10 折交叉驗證的方法對改進的粒子群優化-支持向量機分類器進行訓練和測試。粒子群適應度收斂過程如圖 9 所示,種群規模為 2 000 時的尋優迭代次數在 100 次左右,收斂速度較快。
,粒子群期望適應度為 95%。從采集數據中選取 1 200 組數據樣本(每種狀態 400 組)進行預處理并提取特征,采用 10 折交叉驗證的方法對改進的粒子群優化-支持向量機分類器進行訓練和測試。粒子群適應度收斂過程如圖 9 所示,種群規模為 2 000 時的尋優迭代次數在 100 次左右,收斂速度較快。
 圖9
				粒子群最佳適應度收斂過程
			
												
				Figure9.
				Convergence process of particle swarm optimal fitness
						
				圖9
				粒子群最佳適應度收斂過程
			
												
				Figure9.
				Convergence process of particle swarm optimal fitness
			
								2.3 不同方法對疲勞狀態的識別結果分析
本文改進的粒子群優化-支持向量機分類器對 ECG、sEMG 融合特征分類結果如表 2 所示,該方法設計的分類器對于輕松、過渡、疲累三種疲勞狀態的識別率分別為 98.5%、93.5%、95.5%,平均識別率為 95.83%,說明本文所提方案在下肢疲勞狀態分類估計中具有可靠性。
 表2
                基于 ECG、sEMG 特征融合的識別率結果(%)
		 	
		 			 				Table2.
    			Identification accuracy results based on ECG and sEMG   feature fusion (%)
			
						表2
                基于 ECG、sEMG 特征融合的識別率結果(%)
		 	
		 			 				Table2.
    			Identification accuracy results based on ECG and sEMG   feature fusion (%)
       		
       				為驗證 ECG 與 sEMG 特征融合比單純依靠下肢 sEMG 特征融合有更好的識別效果,利用下肢脛骨前肌和半腱肌 sEMG 特征樣本重新訓練并測試本文改進的粒子群優化-支持向量機分類器,分類效果如表 3 所示。從表中可以看出,單純 sEMG 特征融合的輕松和疲累狀態識別率較高,而對過渡狀態識別率不理想。對比表 2、表 3 可以看出,融合 ECG 特征后三種狀態的識別率分別提高了 2.0%、8.5% 和 3.0%,說明 ECG 特征對識別干擾量起到了糾正作用(尤其是過渡狀態)。為驗證優化融合系數的特征融合比固定權值的組合特征識別效果更好,運用本文 ECG、sEMG 組合特征樣本訓練 OVO 方法重新構建支持向量機網絡,得到分類結果如表 4 所示。比較表 2、表 4 可知,經過特征融合后三種狀態識別率分別提高了 9.5%、28.0%、3.5%,特別是對于輕松和過渡兩種狀態優化效果明顯,這主要歸因于粒子群算法通過迭代計算對高維特征的信任程度進行了分配。
 表3
                基于 sEMG 特征融合的識別率結果(%)
		 	
		 			 				Table3.
    			Identification accuracy results based on sEMG feature   fusion (%)
			
						表3
                基于 sEMG 特征融合的識別率結果(%)
		 	
		 			 				Table3.
    			Identification accuracy results based on sEMG feature   fusion (%)
       		
       				 表4
                基于 ECG、sEMG 組合特征的識別率結果(%)
		 	
		 			 				Table4.
    			Identification accuracy results based on ECG and sEMG   combination features (%)
			
						表4
                基于 ECG、sEMG 組合特征的識別率結果(%)
		 	
		 			 				Table4.
    			Identification accuracy results based on ECG and sEMG   combination features (%)
       		
       				為驗證本文分類器的性能,運用本文數據樣本對 BP 神經網絡、K 最近鄰(k-nearest neighbor,KNN)、線性判別分析(linear discriminant analysis,LDA)等生理信號分類方法進行訓練和測試,結果如圖 10 所示,其中離散柱表示方差。從圖中可以看出本文方法在不同狀態的分類識別上有明顯優勢,比分類效果次之的線性判別分析的平均識別率提高 5.47%,且在輕松和疲累狀態下的表現較為突出。
 圖10
				不同分類方法的識別結果比較
			
												
				Figure10.
				Comparison of recognition results of different classi  fication methods
						
				圖10
				不同分類方法的識別結果比較
			
												
				Figure10.
				Comparison of recognition results of different classi  fication methods
			
								最后,給出本文方法對 ECG、sEMG 融合特征分類結果統計如表 5 所示,其中狀態值分別表示為:?1-輕松,0-過渡,1-疲累。由表 2 進一步計算得到三種狀態識別的敏感度分別為:98.5%、93.5%、95.5%,特異度分別為:97.5%、97.4%、98.9%,可以看出本文方法對于不同疲勞狀態的敏感度和特異度較高,在保證較高的準確率的同時可以有效避免狀態的誤判。
 表5
                基于 ECG、sEMG 特征融合的分類結果統計
		 	
		 			 				Table5.
    			Statistics of classification results based on ECG and   sEMG feature fusion
			
						表5
                基于 ECG、sEMG 特征融合的分類結果統計
		 	
		 			 				Table5.
    			Statistics of classification results based on ECG and   sEMG feature fusion
       		
       				3 討論與結論
康復中的疲勞是一個復雜的現象,通過多源生理信號的特征融合提高疲勞估計的準確率是一個有效途徑,然而由于缺乏統一的研究范式和標準,很多研究仍然停留在實驗階段或特定的應用場景[24-25]。本文從下肢康復訓練中的運動疲勞角度出發,將下肢康復過程中的輕松、過渡、疲累三種狀態作為估計的目標,提出了一種基于 sEMG 與 ECG 特征融合的下肢疲勞估計方法。運用改進的粒子群優化-支持向量機分類器建立了 ECG、sEMG 疲勞特征融合到疲勞狀態的一般化模型,實驗結果表明該分類器對三種狀態的識別率分別為 98.5%、93.5%、95.5%,平均識別率為 95.83%,相比于利用單純 sEMG 特征融合,未經特征融合的 ECG、sEMG 組合特征以及圖 10 中的常用分類方法,均具有更好的識別精度和性能,證明將 ECG 與 sEMG 進行特征融合可以實現下肢康復疲勞的準確檢測,并促進和諧人機關系的建立。
本研究的不足之處是:設計的算法更側重于提高對不同疲勞狀態識別準確率,其復雜度和實時操作性方面仍需做進一步的優化。同時,本文主要是對康復過程中三種離散的狀態進行識別,下一步將考慮針對連續的疲勞狀態軌跡與生理信號特征指標的映射關系進行研究,構造更加完善的識別模型。
基于 ECG 與 sEMG 的疲勞估計的核心問題在于疲勞狀態的實時準確識別,而由于運動過程中動作的復雜性以及信號的非平穩性,將估計模型應用于人機交互系統有一定困難。隨著社會的發展、失能人口的增加,生物電信號融合對康復疲勞的檢測在今后很長時間仍將是一個熱點方向,隨著技術的不斷成熟將取得新的突破。
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
引言
傳統的程控式人機交互方式如醫療康復機器人及外骨骼機器人很少將患者的疲勞信息作為調整康復策略的重要信息[1],不僅對患者運動意圖識別率產生很大影響且極易造成二次損傷,降低康復效果[2]。目前,利用表面肌電信號(surface electromyography,sEMG)特征進行在線處理和監測疲勞方面取得了一定的效果[3]。例如,Shahmoradi 等[4]通過采集康復訓練中的 sEMG 信號,利用隱馬爾可夫模型對 8 種疲勞特征進行識別,準確率達到 95.3%。謝平等[5]提取了上肢康復訓練過程中的腦電(electroencephalogram,EEG)及 sEMG 疲勞特征,利用螢火蟲-模糊神經網絡算法對疲勞狀態進行檢測,進而搭建了一種基于腦肌電反饋的虛擬康復系統。然而,疲勞是一個復雜的現象,在喪失部分或全部運動能力的患肢康復過程中,由于患者運動功能不健全易出現疲勞、力量不足等現象,因此隨著訓練時間的增加,信噪比降低,單純 sEMG 信號的分類結果不穩定[6]。心電信號(electrocardiogram,ECG)中蘊含著人體運動神經功能狀態的大量信息,在肌體狀態、情緒估計等領域應用廣泛[7-9],但是由于它具有微弱性、隨機性和低頻性等特性,單一 ECG 信號難以對康復疲勞進行準確辨識,因此借助于多信號特征分析可以實現更加準確、全面的肌體狀態識別[10-11]。例如,Aly 等[12]利用一種混合腦機接口(brain computer interface,BCI)模型將 EEG、sEMG 信號處理與機器學習模型相集成,相比于單一信號,更有效地解碼了五種上肢運動。Baumgartner 等[13]研究發現,通過結合 sEMG、ECG、EEG、加速度計、呼吸監測、脈搏、血氧飽和度、溫度等多種測量參數,可以更加準確地檢測不同類型的癲癇發作。因此,綜合考慮 sEMG 信號和 ECG 信號的疲勞特征反應,有必要研究將同步 ECG 與下肢 sEMG 進行特征融合應用于下肢訓練過程中的疲勞狀態估計。
針對以上問題,依據瑞典心理學家 Gunnar Borg 發明的基于主觀感受疲勞估計方法的主觀疲勞自覺量表(scale for Rating of Perceived Exertion,RPE scale),將參與者的疲勞程度分為 6~20 評分區間[14],分別選取對應于量表中 6~10、13~14、17~18 分數段的輕松、過渡和疲累 3 種疲勞狀態進行相關問題的分析。采集下肢訓練過程中三種狀態的 ECG 信號與下肢脛骨前肌、半腱肌處的 sEMG 信號,對信號進行預處理并提取 11 維疲勞相關特征。設計改進的粒子群優化-支持向量機(particle swarm optimization-support vector machine,PSO-SVM)分類器,實現對高維特征融合系數的迭代尋優和三種狀態的準確識別,并通過對比試驗驗證本文方法的優勢。
1 方法
采用美國 Delsys 公司的 TrignoTM全無線生理傳感器在 Fourier X1 下肢外骨骼平臺上實驗并采集受試者的 ECG 與 sEMG 信號,出于安全考慮,八名肢體健康的志愿者(22~26 歲;男性 6 例,女性 2 例)參與實驗過程,所有志愿者自愿參加本實驗,實驗開始前均已熟悉本實驗方案和流程。根據人體的生理學結構,同步采集受試者 EEG 信號和左腿脛骨前肌、半腱肌處的 sEMG 信號,采樣頻率為 2 kHz,傳感器位置如圖 1 所示,ch-1 為 ECG 傳感器,ch-2、ch-3 分別為半腱肌和脛骨前肌處的 sEMG 傳感器。
 圖1
				下肢訓練過程及傳感器放置
			
												
				Figure1.
				Lower limb training process and sensor placement
						
				圖1
				下肢訓練過程及傳感器放置
			
												
				Figure1.
				Lower limb training process and sensor placement
			
								志愿者按計劃進行步態訓練,規定 15 min 為一個訓練周期,以 8 名志愿者依次完成一個周期訓練為一組實驗,每組實驗時長為 120 min,共進行 50 組實驗。在每個訓練周期內,志愿者根據 RPE 量表每隔 30 s 恢復至平靜站立狀態并匯報自己的疲勞狀態感受,標記此時的疲勞狀態值(輕松:?1,過渡:0,疲累:1),同時對 3 種狀態下的 sEMG、ECG 數據進行標記、保存,并記錄對應的訓練時間,即每組實驗得到 24 組數據,最終每種狀態各得到 400 組數據,其中一組實驗過程及所得特征數據如圖 2 所示。所有志愿者信號的采集、分析過程相同,這里以其中一名為例進行介紹。
 圖2
				一組實驗過程及所得的特征數據
			
												
				Figure2.
				A set of experimental process and the feature data obtained
						
				圖2
				一組實驗過程及所得的特征數據
			
												
				Figure2.
				A set of experimental process and the feature data obtained
			
								1.1 信號預處理與疲勞特征提取
疲勞特征提取之前需要對包含噪聲干擾的原始信號進行預處理[15],首先分別通過 0~100 Hz 和 0~500 Hz 低通濾波器對原始 ECG、sEMG 信號濾波,去除高頻干擾;其次采用 49.5~50 Hz 自適應陷波器濾除信號中的工頻和諧波干擾;最后利用經驗模態分解(empirical mode decomposition,EMD)濾除汗液和電極移動等引起的低頻噪聲以糾正信號漂移[16],對信號整流得到預處理后的信號。一組原始 ECG、sEMG 信號預處理過程的時、頻域圖如圖 3、4 所示。
 圖3
				ECG 信號、脛骨前肌 sEMG 信號預處理過程示例
			
												
				Figure3.
				Example of signal preprocessing process about EEG and sEMG of tibialis anterior muscle
						
				圖3
				ECG 信號、脛骨前肌 sEMG 信號預處理過程示例
			
												
				Figure3.
				Example of signal preprocessing process about EEG and sEMG of tibialis anterior muscle
			
								 圖4
				ECG、sEMG 信號預處理過程的頻域圖形示例
			
												
				Figure4.
				Example of frequency domain graphics for ECG and sEMG preprocessing
						
				圖4
				ECG、sEMG 信號預處理過程的頻域圖形示例
			
												
				Figure4.
				Example of frequency domain graphics for ECG and sEMG preprocessing
			
								為獲取心電間期特征,對 ECG 信號采用小波變換模極大值法檢測并標記 R 波。為使信號特征能代表區間段的疲勞狀態且滿足檢測快速性的要求,設置 4 s 滑動時間窗、窗移 1 s 提取信號的階段特征,并對同一狀態的多個特征窗口求均值。由圖 4 可以看出,信號中的噪聲在預處理后得到了很好的抑制。
分析受試者不同疲勞狀態下 ECG、sEMG 信號生理響應間的差異[17-18],可知表 1 中的特征均可以在一定程度上反映下肢訓練的疲勞狀態,且不同狀態下的特征響應呈現總體趨勢相似,局部響應不均,因此考慮將表 1 中的特征進行融合,作為本文疲勞分類器的輸入。
 表1
                ECG與sEMG疲勞相關生理響應特征
		 	
		 			 				Table1.
    			Fatigue-related physiological features of ECG and sEMG
			
						表1
                ECG與sEMG疲勞相關生理響應特征
		 	
		 			 				Table1.
    			Fatigue-related physiological features of ECG and sEMG
       		
       				其中心電間期序列高頻范圍為 0.15~0.40 Hz,表1 中標記*的特征參數計算方法如下:
|  | 
式中: 表示心電間期時長(單位為 s),
 表示心電間期時長(單位為 s), 表示
 表示  間期總個數。
 間期總個數。
|  | 
|  | 
|  | 
|  | 
式中: 、
、 分別是 sEMG 信號連續和離散化后的幅值,
 分別是 sEMG 信號連續和離散化后的幅值, 為采樣頻率,
 為采樣頻率, 、
、 、
、 表示信號的長度,
 表示信號的長度, 、
、 和
 和  分別表示信號的頻率、中值頻率及功率譜密度函數。
 分別表示信號的頻率、中值頻率及功率譜密度函數。
1.2 改進的粒子群優化-支持向量機分類器
傳統的固定權重的特征融合是將多組特征向量拼接組合成一個向量[19-20],這種方法在肌體疲勞時識別率不穩定。本文結合粒子群優化特征融合系數與 OVO 方法構造多分類支持向量機,改進狀態分類器。基于粒子群優化的“融合系數”能夠很好地表示特征的權重系數和信任程度,通過多分類支持向量機對融合特征進行學習以實現狀態分類,進而基于狀態識別率構造適應度函數對融合系數進行自適應迭代優化,最終實現疲勞特征的有效融合與狀態準確分類。基于改進的粒子群優化-支持向量機分類器實現疲勞估計的具體過程如下。
1.2.1 構建融合特征向量
分別用  
  、
、 表示 ECG、sEMG 的特征樣本向量,其中
 表示 ECG、sEMG 的特征樣本向量,其中  、
、 為向量維數,
 為向量維數, 為樣本個數。定義融合系數向量
 為樣本個數。定義融合系數向量  
  ,則 ECG 與 sEMG 融合特征向量為:
,則 ECG 與 sEMG 融合特征向量為:
|  | 
基于融合系數向量  組成的融合特征矩陣為:
 組成的融合特征矩陣為: ,將 X 分為訓練集
,將 X 分為訓練集  和測試集
 和測試集  ,其中
,其中  用于訓練分類器,
 用于訓練分類器, 用于檢測分類器的分類效果。
 用于檢測分類器的分類效果。
1.2.2 構造多分類支持向量機疲勞狀態分類器
支持向量機是一種基于統計學和結構風險最小化原則的機器學習方法[21],在解決小樣本、非線性識別問題中表現突出[22-23]。基于 ECG 和 sEMG 的疲勞估計為線性不可分的多分類問題,因此采用 OVO 方法構造 3 個二分類支持向量機可以實現三種狀態的有效分類。
假設訓練集  有
 有  組樣本,對應的類別為
 組樣本,對應的類別為  ,
, ,
, ,
, 
  ,其中
,其中  、0、1 分別表示為輕松、過渡和疲累狀態。支持向量機網絡是尋找一個最優的分類函數,使該函數所在超平面與支持向量的距離最大。核函數
、0、1 分別表示為輕松、過渡和疲累狀態。支持向量機網絡是尋找一個最優的分類函數,使該函數所在超平面與支持向量的距離最大。核函數  的作用是將樣本集映射到高維空間且滿足 Mercer 條件,其對分類性能起到關鍵作用,由于徑向基函數有較好的性能和應用范圍,所以本文選取徑向基函數作為支持向量機的核函數:
 的作用是將樣本集映射到高維空間且滿足 Mercer 條件,其對分類性能起到關鍵作用,由于徑向基函數有較好的性能和應用范圍,所以本文選取徑向基函數作為支持向量機的核函數:
|  | 
當  正定的情況下,尋找最優超平面的問題可以轉化為如下凸二次規劃問題:
 正定的情況下,尋找最優超平面的問題可以轉化為如下凸二次規劃問題:
|  | 
式中 C 為懲罰因子, 是松弛變量。引入 Language 系數
 是松弛變量。引入 Language 系數  將式(7)的凸二次規劃問題變為其對偶問題,進一步求解對偶問題得到最優解
 將式(7)的凸二次規劃問題變為其對偶問題,進一步求解對偶問題得到最優解  、
、 和
 和  。
。
|  | 
最終單個基于徑向基核的支持向量機的分類函數可表示為:
|  | 
1.2.3 基于改進的粒子群優化-支持向量機的心電肌電特征融合
包括如下步驟:
a. 粒子群初始化:定義隨機融合系數矩陣  為初始粒子群,其中
 為初始粒子群,其中  
  為融合系數向量,
 為融合系數向量, ,
, 
  。初始化最大迭代次數,粒子群規模 q,學習因子
。初始化最大迭代次數,粒子群規模 q,學習因子  、
、 以及慣性權重
 以及慣性權重  等。
 等。
b. 訓練支持向量機網絡并計算粒子適應度:利用粒子對應的融合系數對特征樣本進行融合,得到特征融合矩陣  ,其中
,其中  用以對網絡訓練得到分類函數
 用以對網絡訓練得到分類函數  ,并用
,并用  對
 對  檢測得到粒子適應度。
 檢測得到粒子適應度。
c. 粒子群更新(融合系數矩陣 D 優化):由步驟 b 得到每組粒子的適應度  ,根據式(10)更新個體和種群最佳適應度
,根據式(10)更新個體和種群最佳適應度  、
、 ,并由式(11)更新粒子速度
,并由式(11)更新粒子速度  和位置
 和位置  ,產生新的種群,其中
,產生新的種群,其中  為[0, 1]上的隨機數。
 為[0, 1]上的隨機數。
|  | 
|  | 
d. 重復步驟 b 和 c,直至種群最佳適應度  (期望適應度),此時 D 即為最優融合系數矩陣。
(期望適應度),此時 D 即為最優融合系數矩陣。
1.2.4 基于最優融合系數特征融合的疲勞估計
運用最優融合系數構造未知狀態的特征向量,并輸入到訓練好的支持向量機網絡對其識別,進而實現疲勞狀態準確分類。基于改進的粒子群優化-支持向量機的特征融合與疲勞分類過程如圖 5 所示。
 圖5
				基于改進的粒子群優化-支持向量機的特征融合與疲勞估計過程
			
												
				Figure5.
				Feature fusion and fatigue estimation process based on improved PSO-SVM method
						
				圖5
				基于改進的粒子群優化-支持向量機的特征融合與疲勞估計過程
			
												
				Figure5.
				Feature fusion and fatigue estimation process based on improved PSO-SVM method
			
								2 結果分析
2.1 不同疲勞狀態下心、肌電生理特征分析
圖 6 為受試者不同疲勞狀態下的 ECG 信號特征,圖中顯示 ECG 信號的輕松和疲累兩種狀態的特征具有很好的分離性,過渡狀態特征與其他兩種狀態存在重疊現象,頻域特征比時域特征反應更加劇烈。圖 7、8 所示為受試者不同疲勞狀態下脛骨前肌和半腱肌 sEMG 特征,不難看出肌肉的時域特征積分肌電值和均方根值的幅值區別明顯,頻域特征平均功率頻率和中位頻率總體趨勢明顯,但是在過渡狀態與其他兩種狀態存在一定的重疊誤差。ECG 和 sEMG 疲累時的時頻特征相比其他狀態有明顯的波動。由上述結果可見,ECG 與 sEMG 信號特征之間存在一定的互補,可以增強分類器的識別效果,但是也存在干擾,需要對特征信任度即融合系數進行判斷和優化。
 圖6
				不同疲勞狀態 ECG 信號特征
			
												
				Figure6.
				ECG signal features in different fatigue states
						
				圖6
				不同疲勞狀態 ECG 信號特征
			
												
				Figure6.
				ECG signal features in different fatigue states
			
								 圖7
				不同疲勞狀態左腿脛骨前肌的 sEMG 信號特征
			
												
				Figure7.
				sEMG signal features of the left tibialis anterior muscle in different fatigue states
						
				圖7
				不同疲勞狀態左腿脛骨前肌的 sEMG 信號特征
			
												
				Figure7.
				sEMG signal features of the left tibialis anterior muscle in different fatigue states
			
								 圖8
				不同疲勞狀態左腿半腱肌的 sEMG 信號特征
			
												
				Figure8.
				sEMG signal features of the left semitendinosus muscle in different fatigue states
						
				圖8
				不同疲勞狀態左腿半腱肌的 sEMG 信號特征
			
												
				Figure8.
				sEMG signal features of the left semitendinosus muscle in different fatigue states
			
								2.2 融合系數優化過程分析
融合系數是構造最優特征向量、提高疲勞識別率的關鍵,為避免粒子適應度陷入局部最優,選擇種群規模為  ,學習因子
,學習因子  、
、 ,慣性權重
,慣性權重  ,粒子群期望適應度為 95%。從采集數據中選取 1 200 組數據樣本(每種狀態 400 組)進行預處理并提取特征,采用 10 折交叉驗證的方法對改進的粒子群優化-支持向量機分類器進行訓練和測試。粒子群適應度收斂過程如圖 9 所示,種群規模為 2 000 時的尋優迭代次數在 100 次左右,收斂速度較快。
,粒子群期望適應度為 95%。從采集數據中選取 1 200 組數據樣本(每種狀態 400 組)進行預處理并提取特征,采用 10 折交叉驗證的方法對改進的粒子群優化-支持向量機分類器進行訓練和測試。粒子群適應度收斂過程如圖 9 所示,種群規模為 2 000 時的尋優迭代次數在 100 次左右,收斂速度較快。
 圖9
				粒子群最佳適應度收斂過程
			
												
				Figure9.
				Convergence process of particle swarm optimal fitness
						
				圖9
				粒子群最佳適應度收斂過程
			
												
				Figure9.
				Convergence process of particle swarm optimal fitness
			
								2.3 不同方法對疲勞狀態的識別結果分析
本文改進的粒子群優化-支持向量機分類器對 ECG、sEMG 融合特征分類結果如表 2 所示,該方法設計的分類器對于輕松、過渡、疲累三種疲勞狀態的識別率分別為 98.5%、93.5%、95.5%,平均識別率為 95.83%,說明本文所提方案在下肢疲勞狀態分類估計中具有可靠性。
 表2
                基于 ECG、sEMG 特征融合的識別率結果(%)
		 	
		 			 				Table2.
    			Identification accuracy results based on ECG and sEMG   feature fusion (%)
			
						表2
                基于 ECG、sEMG 特征融合的識別率結果(%)
		 	
		 			 				Table2.
    			Identification accuracy results based on ECG and sEMG   feature fusion (%)
       		
       				為驗證 ECG 與 sEMG 特征融合比單純依靠下肢 sEMG 特征融合有更好的識別效果,利用下肢脛骨前肌和半腱肌 sEMG 特征樣本重新訓練并測試本文改進的粒子群優化-支持向量機分類器,分類效果如表 3 所示。從表中可以看出,單純 sEMG 特征融合的輕松和疲累狀態識別率較高,而對過渡狀態識別率不理想。對比表 2、表 3 可以看出,融合 ECG 特征后三種狀態的識別率分別提高了 2.0%、8.5% 和 3.0%,說明 ECG 特征對識別干擾量起到了糾正作用(尤其是過渡狀態)。為驗證優化融合系數的特征融合比固定權值的組合特征識別效果更好,運用本文 ECG、sEMG 組合特征樣本訓練 OVO 方法重新構建支持向量機網絡,得到分類結果如表 4 所示。比較表 2、表 4 可知,經過特征融合后三種狀態識別率分別提高了 9.5%、28.0%、3.5%,特別是對于輕松和過渡兩種狀態優化效果明顯,這主要歸因于粒子群算法通過迭代計算對高維特征的信任程度進行了分配。
 表3
                基于 sEMG 特征融合的識別率結果(%)
		 	
		 			 				Table3.
    			Identification accuracy results based on sEMG feature   fusion (%)
			
						表3
                基于 sEMG 特征融合的識別率結果(%)
		 	
		 			 				Table3.
    			Identification accuracy results based on sEMG feature   fusion (%)
       		
       				 表4
                基于 ECG、sEMG 組合特征的識別率結果(%)
		 	
		 			 				Table4.
    			Identification accuracy results based on ECG and sEMG   combination features (%)
			
						表4
                基于 ECG、sEMG 組合特征的識別率結果(%)
		 	
		 			 				Table4.
    			Identification accuracy results based on ECG and sEMG   combination features (%)
       		
       				為驗證本文分類器的性能,運用本文數據樣本對 BP 神經網絡、K 最近鄰(k-nearest neighbor,KNN)、線性判別分析(linear discriminant analysis,LDA)等生理信號分類方法進行訓練和測試,結果如圖 10 所示,其中離散柱表示方差。從圖中可以看出本文方法在不同狀態的分類識別上有明顯優勢,比分類效果次之的線性判別分析的平均識別率提高 5.47%,且在輕松和疲累狀態下的表現較為突出。
 圖10
				不同分類方法的識別結果比較
			
												
				Figure10.
				Comparison of recognition results of different classi  fication methods
						
				圖10
				不同分類方法的識別結果比較
			
												
				Figure10.
				Comparison of recognition results of different classi  fication methods
			
								最后,給出本文方法對 ECG、sEMG 融合特征分類結果統計如表 5 所示,其中狀態值分別表示為:?1-輕松,0-過渡,1-疲累。由表 2 進一步計算得到三種狀態識別的敏感度分別為:98.5%、93.5%、95.5%,特異度分別為:97.5%、97.4%、98.9%,可以看出本文方法對于不同疲勞狀態的敏感度和特異度較高,在保證較高的準確率的同時可以有效避免狀態的誤判。
 表5
                基于 ECG、sEMG 特征融合的分類結果統計
		 	
		 			 				Table5.
    			Statistics of classification results based on ECG and   sEMG feature fusion
			
						表5
                基于 ECG、sEMG 特征融合的分類結果統計
		 	
		 			 				Table5.
    			Statistics of classification results based on ECG and   sEMG feature fusion
       		
       				3 討論與結論
康復中的疲勞是一個復雜的現象,通過多源生理信號的特征融合提高疲勞估計的準確率是一個有效途徑,然而由于缺乏統一的研究范式和標準,很多研究仍然停留在實驗階段或特定的應用場景[24-25]。本文從下肢康復訓練中的運動疲勞角度出發,將下肢康復過程中的輕松、過渡、疲累三種狀態作為估計的目標,提出了一種基于 sEMG 與 ECG 特征融合的下肢疲勞估計方法。運用改進的粒子群優化-支持向量機分類器建立了 ECG、sEMG 疲勞特征融合到疲勞狀態的一般化模型,實驗結果表明該分類器對三種狀態的識別率分別為 98.5%、93.5%、95.5%,平均識別率為 95.83%,相比于利用單純 sEMG 特征融合,未經特征融合的 ECG、sEMG 組合特征以及圖 10 中的常用分類方法,均具有更好的識別精度和性能,證明將 ECG 與 sEMG 進行特征融合可以實現下肢康復疲勞的準確檢測,并促進和諧人機關系的建立。
本研究的不足之處是:設計的算法更側重于提高對不同疲勞狀態識別準確率,其復雜度和實時操作性方面仍需做進一步的優化。同時,本文主要是對康復過程中三種離散的狀態進行識別,下一步將考慮針對連續的疲勞狀態軌跡與生理信號特征指標的映射關系進行研究,構造更加完善的識別模型。
基于 ECG 與 sEMG 的疲勞估計的核心問題在于疲勞狀態的實時準確識別,而由于運動過程中動作的復雜性以及信號的非平穩性,將估計模型應用于人機交互系統有一定困難。隨著社會的發展、失能人口的增加,生物電信號融合對康復疲勞的檢測在今后很長時間仍將是一個熱點方向,隨著技術的不斷成熟將取得新的突破。
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
 
        

 
                 
				 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
                                                                    
                                                                        
                                                                        
                                                                        





















 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	