本研究旨在優化基于表面肌電圖的手勢識別技術，重點考慮肌肉疲勞對識別性能的影響。文中提出了一種創新的實時分析算法，可實時提取肌肉疲勞特征，并將其融入手勢識別過程中。基于自行采集的數據，本文應用卷積神經網絡和長短期記憶網絡等算法對肌肉疲勞特征的提取方法進行了深入分析，并對比了肌肉疲勞特征對基于表面肌電圖的手勢識別任務的性能影響。研究結果顯示，通過實時融合肌肉疲勞特征，本文所提出的算法對不同疲勞等級的手勢識別準確率均有提升，對于不同個體的平均識別準確率也有提升。綜上，本文算法不僅提升了手勢識別系統的適應性和魯棒性，而且其研究過程也可為生物醫學工程領域中手勢識別技術的發展提供新的見解。
引用本文： 嚴仕嘉, 楊曄, 易鵬. 基于實時肌肉疲勞特征融合的表面肌電手勢識別增強算法. 生物醫學工程學雜志, 2024, 41(5): 958-968. doi: 10.7507/1001-5515.202312023 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
0 引言
肌電信號，也稱為肌電圖（electromyograph，EMG），是一種生物電信號，反映了肌肉的活動狀態。這種信號是由α—運動神經元產生的動作電位疊加而成[1]。動作電位從α—運動神經元胞體沿軸突傳遞至末端分支，并在神經肌肉接頭處引發肌肉纖維的去極化，導致肌肉收縮，驅動肌肉運動[2]。EMG數據由放置在皮膚表面或植入肌肉組織中的電極采集，其中前者被稱作表面EMG（surface EMG，sEMG），相比后者有著非侵入、使用便捷的特點。sEMG信號中包含了豐富的運動意圖信息，且易于收集、成本低廉，因此在手勢及運動意圖的識別中得到了廣泛應用[3]，這些應用可以幫助人們開發可靠的假肢控制系統、康復用醫療外骨骼機器人、人機協同系統等。在這些領域，尤其是在假肢控制系統中，sEMG信號有著不依賴物理運動的特性以及預測運動意圖的能力，因此在實時預測肌肉活動的任務中有著獨特的優勢。
目前，國內外基于sEMG信號的手勢識別研究主要聚焦于數據預處理、特征提取、分類或回歸等三個核心步驟。在數據預處理階段，研究者通常采用濾波技術處理原始數據，并通過滑動窗口法對數據進行分段處理，為后續的特征提取奠定基礎。例如，Asif等[4]應用帶通濾波器濾除了高頻與低頻噪聲，并對數據進行了放大。而Lee等[5]則通過兩個巴特沃斯濾波器實現噪聲消除。在特征提取階段，研究者的目標是從每個窗口中提取有用的特征，以便用于后續的分類或回歸。傳統的特征提取方法包括時域分析和頻域分析，在EMG信號數據分析中應用十分廣泛[6]。例如，Yu等[7]從采集到的EMG信號數據中提取了多種時域特征，包括平均絕對值（mean absolute value，MAV）、過零率、均方根（root mean square，RMS）、波形長度及斜率符號變化，并將這些特征作為后續算法的輸入。此外，研究者還利用快速傅里葉變換、小波變換等方法對頻譜進行預處理，以反映信號在不同頻率下的幅度。Too等[8]通過離散小波變換同時提取時頻域特征，并采用特征選擇的方式來優化分類器的性能。在分類或回歸階段，機器學習算法曾廣泛應用，如隨機森林和支持向量機等，而近年來隨著深度學習算法的快速發展，越來越多的研究者開始使用性能更優的深度學習算法進行手勢分類或關節角度回歸。Zanghieri等[9-10]提出了一種基于時域卷積網絡的結構，在無創適應性假肢（Ninapro）基準數據集上取得了優異的性能，并在后續研究中對該算法進行了改進，實現了對手指角度的回歸。此外，Bhushan等[11]在手語基準數據集上比較了多種常規的機器學習分類算法，結果發現雖然隨機森林優于其他傳統算法，但仍不及卷積神經網絡（convolutional neural networks，CNN）的性能。綜上所述，盡管基于sEMG信號的手勢識別技術已取得了顯著的進展，但實際應用中仍存在一些影響其可靠性的因素，肌肉疲勞便是其中之一。
肌肉疲勞是一種生理狀態，表現為肌肉力量、耐力和協調性的下降，通常發生在持續運動期間，主要由乳酸積累和三磷酸腺苷供應不足引起[12]。在長時間使用手勢識別系統的過程中，肌肉疲勞是難以避免的。這種狀態不僅會影響sEMG信號的頻譜和幅度，還會對手勢識別的準確性產生重要影響[13]，進而影響相關系統的可用性。一旦肌肉疲勞發生，用戶可能不得不停止使用基于sEMG信號的系統，包括人機接口、假肢等，這嚴重影響用戶的工作和生活。通過深入分析肌肉疲勞對sEMG信號的影響，研究者們已能夠利用sEMG信號評估肌肉疲勞，并將其分為非疲勞、疲勞過渡期和疲勞三類。Al-Mulla等[14]總結了基于sEMG的非侵入式肌肉疲勞檢測方法，并詳細介紹了相關的特征提取和肌肉疲勞分類技術。目前，最常用的分析方法主要依賴于時域和頻域特征。例如，Yousif等[15]綜述了多種基于sEMG信號的肌肉疲勞檢測方法，特別是利用RMS和中位頻率（median frequency，MDF）的方法，這些特征的線性回歸斜率值是目前分析肌肉疲勞的主流方法。Ebied等[16]的研究也證實了通過RMS和MDF斜率來評估肌肉疲勞的有效性。Rampichini等[17]則提出了一種基于復雜度的肌肉疲勞分析方法，并發現通過遞歸圖、熵和分形分析得出的指標也能有效地檢測肌肉疲勞。此外，深度學習方法近年來也被用于實現肌肉疲勞的端到端評估。如Su等[18]將原始EMG數據輸入深度信念網絡進行上肢肌肉疲勞預測，發現其性能與基于特征提取的方法相當。Moniri等[19]利用淺層模型和CNN學習并實時預測5種sEMG信號特征，提出了一個通用模型來預測軀干的肌肉疲勞。
盡管在利用sEMG信號分析肌肉疲勞方面已取得一定進展，但如何在基于sEMG信號的手勢識別系統中實時處理肌肉疲勞帶來的影響仍然是一個重大挑戰[20]。目前，肌肉疲勞分析多依賴于特征在多窗口的線性回歸斜率，這導致了一定的滯后性，難以實現實時分析。因此，本文研究旨在探究如何僅通過單一窗口實時提取可靠的肌肉疲勞特征。為此，本文提出了一種融合疲勞特征的手勢識別模型（fatigue feature fused hand gesture recognition，FFF-HGR），旨在通過融合肌肉疲勞特征，提高肌肉疲勞狀態下手勢識別的魯棒性和準確率，解決由肌肉疲勞引起的識別準確率下降問題。
1 模型算法
1.1 概述
本研究提出了一種新型手勢識別模型，該模型融合了肌肉疲勞特征，以提高在實際應用中的魯棒性和準確性。為此，本文提出一種創新的“兩步法”來構建手勢識別模型。此方法分為兩個主要階段：首先，開發并訓練一個專用的肌肉疲勞特征提取器（muscle fatigue feature extractor，MFFE），專注于從原始sEMG信號中提取與肌肉疲勞相關的特征，這些特征將被分類器劃分為相應的疲勞等級。MFFE的設計旨在捕捉能夠指示肌肉疲勞狀態的關鍵信號特征。在MFFE訓練完成后，使用相似的方式訓練手勢特征提取器（hand gesture feature extractor，HGFE），并凍結MFFE和HGFE的參數，再將輸出進行組合。最后，將這些特征一同輸入到分類器中，并輸出手勢索引，以實現最終的手勢分類。FFF-HGR模型的獨特之處在于其能夠考慮到肌肉疲勞帶來的動態變化，從而在實時手勢識別應用中提供更高的準確率和適應性。“兩步法”構建手勢識別模型的整體流程如圖1所示，其中展示了如何將訓練后的MFFE與手勢識別分類器相結合，形成最終的FFF-HGR模型。
圖1
“兩步法”構建手勢識別模型流程圖
Figure1.
Flow chart to build hand gesture recognition model with “two-step method”
1.2 MFFE
在開發MFFE的過程中，本研究對比了基于時域、頻域等手工特征以及深度學習算法提取特征的性能。參考相關研究，在時域特征方面，采用了MAV（以符號α表示）、RMS（以符號β表示）和積分EMG（integrated EMG，iEMG）（以符號γ表示）[21]，具體計算公式如式(1)～式(3)所示：
 |
 |
 |
其中，xi表示第i個樣本，N表示滑動窗口的寬度。
在頻域特征方面，本文考慮了MDF（以符號δ表示）和平均功率頻率（mean power frequency，MPF）（以符號ε表示），它們用于反映肌肉疲勞狀態下信號頻譜的變化。這些頻域特征的計算公式如式(4)～式(5)所示：
 |
 |
其中，P(f)表示頻率f的功率譜，fs為采樣頻率。
此外，鑒于深度學習方法在基于sEMG信號的手勢識別任務中展現出的卓越性能，本研究選用了CNN和長短時記憶網絡（long short-term memory，LSTM）[20]來進行對比實驗。實驗中將利用時頻域特征分析、CNN和LSTM這3種不同的算法來提取特征，并將這些特征輸入到分類器中進行訓練，以確定哪種方法最適合作為MFFE的核心算法。
2 實驗
2.1 受試者試驗
目前已有多個公開的高質量sEMG數據集，如Ninapro[22-23]、浙江大學肌電數據集（CapgMyo） [24]以及認知系統實驗室高密度肌電數據集（cognitive system lab-high density EMG，csl-hdemg）[25]等，然而，這些數據集在采集過程中都會通過適當休息有意避免肌肉疲勞。鑒于此，本試驗招募了6名健康受試者（編號：01～06），以自行采集試驗數據。這些受試者涵蓋了不同身材、年齡和性別，其基礎信息如表1所示。特別地，受試者04提供了左右兩臂的數據，分別以04L和04R標注。本研究獲得了上海師范大學學術倫理與道德委員會的審核批準（審批編號：[2024]133號），所有受試者簽署了知情同意書，并授權可使用相關數據。如圖2左側所示，本研究采用了一套由6枚干電極肌電傳感器（思知瑞科技有限公司，中國）和1個微控制器開發板Arduino UNO（SparkFun Electronics Inc.，意大利）組成的數據采集設備。這些傳感器被均勻地固定于受試者前臂，以獲取高質量的信號。Arduino UNO開發板負責控制數據采集流程。每個電極對應一個通道，6個通道可以收集多塊肌肉的混合信號。如表2所示，展示了各個通道的電極基于解剖學姿勢的位置描述及其對應肌肉的參考列表。由于個體差異，不同受試者對應的肌肉可能有細微差別。為了保證數據傳輸的實時性和準確性，本研究采用了200 Hz的采樣頻率，盡管這可能丟失部分高頻信號，但足以確保有效信息的采集[26]。
表1
受試者的基礎信息
Table1.
Basic information of the subjects
圖2
試驗數據采集
Figure2.
Experimental data collection
表2
不同通道對應肌肉參考表
Table2.
Reference table of muscles corresponding to different channels
試驗數據的采集流程如圖2右上所示。受相關研究的啟發，本試驗設計了8輪數據采集，并在兩輪采集之間設置了“疲勞增強”環節。具體內容為使用握力器進行50次捏合動作，這種重復動作可以主動且有效地誘發相關肌肉的疲勞[27-28]。每輪采集包含8種不同手勢，如圖2右下所示，包括屈臂、握拳、張開、六、剪刀、內收、屈腕、三等手肘、手腕和掌部動作。每輪中每種手勢都被重復執行5次。每次手勢的執行包括3 s的靜息期和3 s的手勢執行期。為了有效控制并減少因重復手勢可能引起的肌肉疲勞，試驗過程中額外設置了3 s的休息區間。這些休息區間與靜息期不同，受試者可以進行任意的手部活動而不必保持放松。這些休息區間內采集的數據可能會包含不確定的肌肉活動，因此不會被標記為“靜息”。
鑒于肌肉疲勞難以進行精確的定量分析，本文在試驗中定義了“單位疲勞度”作為衡量肌肉疲勞的量化指標。單位疲勞度基于受試者完成的疲勞增強活動組數來計算，初始的單位疲勞度設為0，每完成一組疲勞增強活動后，單位疲勞度增加1。這種方法使得試驗過程中肌肉疲勞的累積和影響能夠被量化地追蹤，從而在分析中更精確地考慮肌肉疲勞對手勢識別性能的影響。
在數據預處理階段，本研究采用了多種方法以確保數據的質量和適用性。首先，對原始EMG數據應用了50 Hz的陷波濾波器，以消除可能存在的電源線干擾。接下來，為了增強信號中動作電位與背景噪聲之間的差異，對信號進行了包絡處理并進行了平方化。為實現對sEMG信號的實時分析，還采用了滑動窗口對數據進行分割，這是相關研究中常見的做法。在選擇窗口寬度時，考慮到實時性和數據充分性之間的平衡，將窗口寬度設定為1 000 ms，即200個樣本點[29-30]。窗口的步長設置為10個樣本點，即每次移動窗口50 ms。這樣的設置有助于從連續信號中創建更多的重疊數據片段，從而獲得更多的訓練數據。
本研究的主要目標是評估肌肉疲勞特征在手勢分類任務中的影響。因此，作為研究的第一步，本文對不同的肌肉疲勞分析方法進行了綜合評估，旨在確定最有效的分析策略。
2.2 MFFE模塊構建策略的對比分析
本實驗的核心目的是比較不同策略構建MFFE模塊時的性能，包括模型種類和訓練策略。
模型種類將著重對比回歸與分類兩種模型的性能。鑒于回歸與分類模型具有不同的評估標準，為將標準對齊，本文采用了均方誤差（mean square error，MSE）和準確率來同時評估這兩種模型，其中回歸模型的準確率將進行四舍五入后計算。
對于訓練策略，本文設計了4種訓練與測試方案進行實驗對比，分別是全—全、靜—全、全—靜、靜—靜。這些策略的命名中，第一個字對應訓練集，第二個字則對應測試集，“全”和“靜”表示使用的數據集是包含手勢的全部數據還是僅包含靜息狀態的數據。每種策略均采用了標準的CNN模型作為MFFE的基礎架構，因此差異主要在于輸出層的設置及訓練策略。如圖3所示展示了各個受試者在4種訓練策略下分類模型相比回歸模型的平均準確率和MSE變化。此外，為了更直觀地比較這些訓練策略，如圖4所示以箱線圖形式展示了使用受試者01的數據時的實驗結果，其他受試者的箱線圖與此圖的趨勢相近，不再重復展示。
圖3
分類模型相比回歸模型在4種訓練策略下的性能變化
Figure3.
Performance variation of classification model compared to regression model under 4 training strategies
圖4
受試者01在4種訓練測試方案下回歸與分類模型的實驗結果對比圖
Figure4.
Comparison of experimental results of regression and classification models for subject 01 under four training test scheme
實驗結果表明，分類模型在各種訓練策略下的性能普遍高于回歸模型。特別是當訓練集采用靜息狀態的數據時，分類模型的整體性能明顯優于回歸模型。在所有訓練策略中，當訓練集和測試集均僅包含靜息狀態的數據時，分類模型的準確率達到了最高水平。
此實驗結果為實際應用提供了新的見解：在實際應用場景中，數據通常是按時間序列排列的。因此，模型可以設計為在靜息狀態下更新肌肉疲勞特征，而在檢測到手勢動作時則不進行更新。這種設計利用了在靜息狀態下進行肌肉疲勞預測更為準確的特性，從而提高了肌肉疲勞特征的質量。然而，這種方法也存在一定的局限性，即如果手勢狀態持續時間過長，可能會導致肌肉疲勞特征的更新延遲。
2.3 MFFE模塊中不同算法的比較
為了比較不同算法在單個窗口上分析肌肉疲勞時的性能，本文選用了3種主要算法：時頻域特征分析、CNN和LSTM。這些算法提取的特征被送入具有相同超參數的分類器中，以便進行統一的性能評估。由于時頻域特征通常利用多窗口內特征的變化趨勢（例如斜率）來評估肌肉疲勞，因此本文也探索了在更小的子窗口中計算這些特征的效果。本文共使用了5種子窗口切分策略，后續以數字代表不重合的窗口數量，例如，M1代表不切分原窗口；M5代表將原窗口切分為5個不重合的窗口；M（1+5）則代表將前兩種方案提取出的特征進行組合，依此類推。
實驗結果表明，在處理靜息狀態數據時，所有算法均能實現較高的性能。如圖5左圖所示，展示了受試者01使用不同子窗口劃分策略的時頻域特征模型和CNN及LSTM的性能。如圖5右圖展示了受試者02和受試者03在不同子窗口劃分策略下，基于時頻域特征的分類性能對比。
圖5
算法對比實驗結果
Figure5.
Experimental result of algorithm comparison
如圖5左圖所示，從單個窗口中提取的時頻域特征在肌肉疲勞分析中的效果并不理想。當僅使用整個窗口提取時頻域特征時，模型的平均準確率僅為71.9%，且表現出明顯的不穩定性，最低準確率甚至降至50.1%。這種不穩定的性能揭示了單窗口分析的困難。然而，當嘗試將原窗口劃分為更小的子窗口并在此基礎上進行特征提取時，模型的表現顯著提升。分為5個子窗口時，模型的平均準確率提高至80.1%，同時穩定性也得到了顯著增強。這表明，切分子窗口的策略能在一定程度上提升模型的性能和可靠性。但這種改進效果是有上限的。首先，實驗中發現，當子窗口的數量增加至10個時，模型的準確率反而下降。這一發現表明在窗口切分時需要尋找一個平衡點。此外，如圖5右圖所示，這種性能變化在不同個體上的表現也呈現出不穩定性。與時頻域特征提取方法相比，CNN和LSTM的表現則更加出色。在最優模型配置中，這兩種算法均達到了超過99%的準確率。它們之間的差異主要體現在參數量、訓練效率以及穩定性方面。CNN模型在訓練速度上更快，但在不同個體上的表現不如LSTM穩定。而LSTM模型的參數量更少，僅為CNN的18%，且性能表現更穩定。這一對比突出了在選擇模型架構時，必須權衡訓練效率與模型復雜度之間的影響。
總體來看，基于單個窗口提取時頻域特征的方法相較于深度學習算法，其性能表現不盡理想。盡管通過適當的窗口切分可以在一定程度上改善時域及頻域特征的表現，最優能提高至超過80%的平均準確率，但其在不同個體上的表現存在一定差距。相比之下，盡管深度學習算法需要更長的訓練時間和更多的計算資源，但性能表現更佳。在實際應用中，應根據特定的需求和資源情況來權衡，選擇最適合的算法進行肌肉疲勞分析。
2.4 融合MFFE對手勢識別影響的實驗研究
本實驗深入探究了肌肉疲勞特征與手勢分類準確性之間的關系，實驗設計旨在比較加入了肌肉疲勞特征的FFF-HGR模型與未加入肌肉疲勞特征的模型之間的差異。FFF-HGR中的MFFE采用了第2.3節中表現最佳的CNN模型架構。為確保輸出的穩定性，所有層在訓練完成后都被凍結。為了控制實驗變量，兩種模型中均采用了相同的基準CNN架構作為HGFE。隨后，將MFFE的輸出與HGFE的輸出合并，一并輸入到分類器中，進行最終的手勢分類。相比之下，對照組的模型則完全沒有包含MFFE特征。在HGFE的訓練數據中僅包含較低單位疲勞度的樣本，以模擬實際應用中在無疲勞或輕微疲勞狀態下進行校正的使用場景。
如圖6所示，以受試者01為例，展示了兩種模型在多次實驗中，針對不同疲勞等級上的平均準確率與平均損失值。結果表明，隨著單位疲勞度的增加，模型的分類準確率呈下降趨勢。然而，這一下降趨勢在融入MFFE特征的模型中得到了顯著緩解，表明MFFE的融合對于提升模型在不同疲勞狀態下的魯棒性發揮了關鍵作用。更為重要的是，融合了MFFE的模型在損失值方面也顯示出較低的數值，這說明該模型在預測手勢時不僅更為準確，而且更加穩定。
圖6
FFF-HGR與普通手勢識別模型的對比實驗結果
Figure6.
Comparative experimental results of FFF-HGR and ordinary gesture recognition models
如圖7所示，展示了多次實驗中，加入疲勞特征后對各個受試者的準確率及損失值的影響。結果顯示在加入MFFE后，分析各個受試者手勢的準確率均有所提升，尤其是在高疲勞等級時，性能的提升十分明顯且穩定，部分受試者的準確率甚至提升了約20%。在損失值方面，也觀察到了相對明顯的下降趨勢。
圖7
各受試者在加入MFFE后準確率及損失值變化
Figure7.
Accuracy and loss changes of subjects after MFFE fusion
為了進行統計學分析，本研究針對加入肌肉疲勞特征前后的準確率進行了配對樣本t檢驗。首先，使用夏皮羅-威爾克（Shapiro-Wilk）檢驗，以確認差異數據符合正態分布。隨后，使用配對樣本t檢驗來評估兩組數據的差異是否具有統計學意義。統計檢驗結果表明，各受試者手勢識別的總體準確率的t值為3.797，P<0.01。這表明在加入肌肉疲勞特征后，手勢識別的準確率顯著提高。此外，還針對各個單位疲勞度進行了t檢驗，具體結果如表3所示。
表3
各單位疲勞度下，配對樣本t檢驗結果
Table3.
Paired samples t-test results at each unit fatigue level
如圖8所示，展示了無疲勞特征的算法和FFF-HGR算法進行手勢分類的混淆矩陣，其中整合了所有受試者的數據，包括多個疲勞等級。顏色代表真實類別被分類到各個類別的百分比，顏色與百分比的對應關系如右側標尺所示。此外，還展示了兩個矩陣的差值，代表加入肌肉疲勞特征后的相對變化。變化量使用絕對最大值進行了歸一化，因此顏色可以直觀展示變化趨勢及相對變化大小。從圖8中可以看出，加入肌肉疲勞特征后，各個手勢的分類準確率均有較大的提高，分類錯誤的情況也多有減少。其中，靜息狀態的分類結果在加入前后幾乎沒有變化，其他手勢被誤判為靜息的情況也明顯減少。在數值上，屈臂和握拳被正確分類的情況顯著增加，被誤判為剪刀和內收的情況均有下降，尤其是內收被誤判為其他動作的情況也明顯減少。
圖8
整合各受試者在加入肌肉疲勞特征前后的混淆矩陣及加入肌肉疲勞特征前后的變化矩陣
Figure8.
Integration of the confusion matrix before and after the fusion of the muscle fatigue features and the change matrix before and after the fusion of the muscle fatigue features for all subjects
這些實驗結果強調了在實際應用中同步進行肌肉疲勞分析的重要性，它可以顯著提升手勢識別系統的性能，增強系統的準確率和魯棒性。通過此類研究，能夠更深入地理解手勢識別系統在長期使用或用戶處于疲勞狀態下的表現，并為系統的進一步優化提供寶貴的指導。
3 討論與分析
在本節中將討論實驗結果的深層含義，并分析它們對未來肌肉疲勞分析及手勢識別技術的影響。
3.1 MFFE模塊的構建方法與算法性能對比
本研究的結果挑戰了傳統的預期，即在肌肉疲勞分析中，由于肌肉疲勞的漸進特性，通常預期回歸模型應優于分類模型。然而，實驗結果顯示，分類模型相比回歸模型，性能相當或明顯更優，且在多次實驗中展現出更高的穩定性。這一現象可能由以下原因導致：① 評估方式的影響：為了對比回歸和分類模型的性能，實驗中采用了MSE來評估分類模型，而使用四舍五入準確率評估回歸模型。這種評估方式可能導致由于邊界效應而引入額外的誤差；② 肌肉疲勞度量的非線性特性：實驗中使用的單位疲勞度與實際肌肉疲勞狀態之間的關系可能不是嚴格線性的，而是更符合離散數據特征的衡量標準。這表明肌肉疲勞的動態變化可能更適合通過分類方法來分析。
此外，實驗發現，即使是未經特別調整的基礎CNN模型，僅使用靜息狀態的sEMG數據進行訓練，也能在靜息狀態測試中達到高達88%的準確率，這一結果遠優于其他訓練策略。這表明手勢動作對肌肉疲勞特征的提取產生了顯著影響。這一發現對于實際應用中的手勢識別系統設計具有重要意義。在考慮如何集成肌肉疲勞分析以改善手勢識別性能時，需要參考這一特性來確定合理的肌肉疲勞分析策略，以提取出更可靠的特征。
MFFE模塊中不同算法比較實驗的結果表明，在評估肌肉疲勞時，時域及頻域特征更適合在多個窗口上計算，而非單個窗口。在傳統方法中，斜率的使用是為了考慮到個體差異和算法的魯棒性，因為直接使用單個窗口的特征往往難以提供充分的信息，難以準確反映肌肉疲勞的變化。實驗發現，通過將原始窗口細分為更小的子窗口，可以得到更細節的信息，從而在一定程度上提高了使用傳統特征的準確率。然而，這種方法也存在局限性。首先，類似于滑動窗口技術，如果對窗口進一步切分，反而可能導致算法性能的下降。這是因為子窗口過小，樣本數量不足，導致從中提取的特征質量下降，表明在子窗口切分時需要尋找一個平衡點，既要保證特征的數量，又要避免因過度切分窗口而降低特征質量；其次，這一方法在不同個體間表現出不穩定性，使得無法保證其對系統性能的提升，這一現象可能源于個體差異。因此，在實際應用中，僅在單個窗口使用這些傳統特征來分析肌肉疲勞存在一定的局限性。
3.2 深度神經網絡與傳統方法的性能對比
與傳統方法相比，深度神經網絡（如CNN和LSTM）展現了更優的性能。這些算法能夠自動提取出更高級別的抽象特征，與傳統特征提取方法相比，這種能力使得CNN和LSTM能夠捕捉到可能被傳統方法忽略的有價值信息。
在性能方面，CNN和LSTM的差異不大，但在考慮訓練效率時，CNN是更好的選擇。這主要是因為LSTM的計算過程包含層內的遞歸結構，使其在計算效率上不如CNN高效。此外，考慮到硬件資源的限制，LSTM可能更適合部署在一些硬件配置較低的環境中。盡管LSTM只需要CNN的20%參數，但它能夠達到與CNN相似的性能水平，這使其在資源有限的環境中尤為有價值。
3.3 肌肉疲勞特征對手勢識別影響的研究
肌肉疲勞對手勢識別的影響實驗進一步證明了融合肌肉疲勞特征的重要性。通過融合這些特征，所有受試者在不同單位疲勞度上的準確率均得到了不同程度的提升，其中的差異可能源于個體差異或信號處理等因素。肌肉疲勞對sEMG信號的影響會降低傳統手勢識別算法的準確性。通過納入有效的肌肉疲勞特征，模型能夠在不同肌肉疲勞狀態下有效地提高準確率和魯棒性。 在實際應用中，為了減少個體差異的影響，即使在無疲勞或低疲勞狀態下進行模型校正，通過融合肌肉疲勞特征，模型也能在肌肉疲勞發生時保持穩定性與可靠性。
圖8的混淆矩陣更具體地展示了肌肉疲勞特征的加入對于各個手勢分類的影響。無論在特征加入前后，靜息狀態都保持著最高的分類準確率，這是由于靜息狀態并沒有顯著的sEMG信號特征，且信號的預處理進一步擴大了其與手勢狀態的差距。其他手勢在加入肌肉疲勞特征后，正確分類的情況顯著提高，其中以屈臂和握拳的動作最為明顯。這表明各個手勢均對肌肉疲勞敏感，其中以屈臂和握拳最甚，這可能與試驗的流程相關：試驗過程中，受試者通常保持手肘支撐桌面，前臂傾斜45°的姿勢，這一動作與屈臂動作的重合程度較高，持續約30 min的試驗容易誘發相關肌肉的疲勞。而握拳動作則與使用握力器誘導的肌肉疲勞相關，這兩組肌肉相較于其他肌肉更容易受到疲勞的影響，因此在加入肌肉疲勞特征后，準確率的提升也最為顯著。這表明肌肉疲勞程度越高，從肌肉疲勞特征的融合中獲得的收益也越大。此外，值得注意的是，幾乎所有手勢都較為容易被誤判為靜息狀態。這一現象可能是多種原因造成的，如離群值、數據采集過程中的意外情況、靜息手勢在數據集中的占比高等。盡管在實際應用中，這種誤判情況仍然高于被誤判為其他手勢的情況，但對這一現象的改善仍具有重要的意義。一方面，它有助于提升交互體驗；另一方面，也有助于未來開發針對時序數據的改進策略；因此也是未來研究的重要方向。
4 結語
本文提出了一種融合肌肉疲勞特征的手勢分類模型，并在自建的數據集上進行了系統的測試和分析。研究結果證實了肌肉疲勞特征對于手勢識別模型性能提升的顯著貢獻，尤其在疲勞程度較高時，模型展現了良好的穩定性和準確率提升。值得注意的是，即使在模型僅使用低疲勞度數據進行訓練和微調的情況下，融合肌肉疲勞特征也能有效提升模型在后續不同疲勞狀態下的表現。此外，本研究在實驗中發現，在靜息狀態下進行肌肉疲勞分析的準確性更高，這一發現為實際應用提供了新的視角：在未來的實際應用中，可以僅在靜息狀態提取肌肉疲勞特征，并將這些特征應用于后續的手勢識別任務，從而提高所提取的肌肉疲勞特征的質量。在模型算法的選擇上，建議在訓練階段采用CNN，以利用其在訓練速度方面的優勢和高效的特征提取能力；而在部署階段，尤其是在資源受限的設備上，推薦使用LSTM，以減少對計算資源的需求，并獲得更穩定的性能提升。這種策略兼顧了模型訓練的效率和在各種設備上的廣泛可用性。綜上，本研究不僅推動了肌肉疲勞狀態下的手勢識別技術的發展，還為基于sEMG信號的手勢識別提供了一種實用的方法，期待未來該模型能在更廣泛的實踐場景中得到應用和完善，如臨床康復、人機交互以及遙控操作等領域，以更好地服務于人類。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：嚴仕嘉主要負責實驗流程、數據記錄與分析、算法設計、上位機及算法程序設計以及計劃安排；楊曄，通信作者，主要負責提供實驗指導，數據分析指導，論文審閱修訂；易鵬主要負責實驗器材、數據記錄與分析、算法設計。
倫理聲明：本研究通過了上海師范大學學術倫理與道德委員會的審批（審批編號：[2024]133號）。
0 引言
肌電信號，也稱為肌電圖（electromyograph，EMG），是一種生物電信號，反映了肌肉的活動狀態。這種信號是由α—運動神經元產生的動作電位疊加而成[1]。動作電位從α—運動神經元胞體沿軸突傳遞至末端分支，并在神經肌肉接頭處引發肌肉纖維的去極化，導致肌肉收縮，驅動肌肉運動[2]。EMG數據由放置在皮膚表面或植入肌肉組織中的電極采集，其中前者被稱作表面EMG（surface EMG，sEMG），相比后者有著非侵入、使用便捷的特點。sEMG信號中包含了豐富的運動意圖信息，且易于收集、成本低廉，因此在手勢及運動意圖的識別中得到了廣泛應用[3]，這些應用可以幫助人們開發可靠的假肢控制系統、康復用醫療外骨骼機器人、人機協同系統等。在這些領域，尤其是在假肢控制系統中，sEMG信號有著不依賴物理運動的特性以及預測運動意圖的能力，因此在實時預測肌肉活動的任務中有著獨特的優勢。
目前，國內外基于sEMG信號的手勢識別研究主要聚焦于數據預處理、特征提取、分類或回歸等三個核心步驟。在數據預處理階段，研究者通常采用濾波技術處理原始數據，并通過滑動窗口法對數據進行分段處理，為后續的特征提取奠定基礎。例如，Asif等[4]應用帶通濾波器濾除了高頻與低頻噪聲，并對數據進行了放大。而Lee等[5]則通過兩個巴特沃斯濾波器實現噪聲消除。在特征提取階段，研究者的目標是從每個窗口中提取有用的特征，以便用于后續的分類或回歸。傳統的特征提取方法包括時域分析和頻域分析，在EMG信號數據分析中應用十分廣泛[6]。例如，Yu等[7]從采集到的EMG信號數據中提取了多種時域特征，包括平均絕對值（mean absolute value，MAV）、過零率、均方根（root mean square，RMS）、波形長度及斜率符號變化，并將這些特征作為后續算法的輸入。此外，研究者還利用快速傅里葉變換、小波變換等方法對頻譜進行預處理，以反映信號在不同頻率下的幅度。Too等[8]通過離散小波變換同時提取時頻域特征，并采用特征選擇的方式來優化分類器的性能。在分類或回歸階段，機器學習算法曾廣泛應用，如隨機森林和支持向量機等，而近年來隨著深度學習算法的快速發展，越來越多的研究者開始使用性能更優的深度學習算法進行手勢分類或關節角度回歸。Zanghieri等[9-10]提出了一種基于時域卷積網絡的結構，在無創適應性假肢（Ninapro）基準數據集上取得了優異的性能，并在后續研究中對該算法進行了改進，實現了對手指角度的回歸。此外，Bhushan等[11]在手語基準數據集上比較了多種常規的機器學習分類算法，結果發現雖然隨機森林優于其他傳統算法，但仍不及卷積神經網絡（convolutional neural networks，CNN）的性能。綜上所述，盡管基于sEMG信號的手勢識別技術已取得了顯著的進展，但實際應用中仍存在一些影響其可靠性的因素，肌肉疲勞便是其中之一。
肌肉疲勞是一種生理狀態，表現為肌肉力量、耐力和協調性的下降，通常發生在持續運動期間，主要由乳酸積累和三磷酸腺苷供應不足引起[12]。在長時間使用手勢識別系統的過程中，肌肉疲勞是難以避免的。這種狀態不僅會影響sEMG信號的頻譜和幅度，還會對手勢識別的準確性產生重要影響[13]，進而影響相關系統的可用性。一旦肌肉疲勞發生，用戶可能不得不停止使用基于sEMG信號的系統，包括人機接口、假肢等，這嚴重影響用戶的工作和生活。通過深入分析肌肉疲勞對sEMG信號的影響，研究者們已能夠利用sEMG信號評估肌肉疲勞，并將其分為非疲勞、疲勞過渡期和疲勞三類。Al-Mulla等[14]總結了基于sEMG的非侵入式肌肉疲勞檢測方法，并詳細介紹了相關的特征提取和肌肉疲勞分類技術。目前，最常用的分析方法主要依賴于時域和頻域特征。例如，Yousif等[15]綜述了多種基于sEMG信號的肌肉疲勞檢測方法，特別是利用RMS和中位頻率（median frequency，MDF）的方法，這些特征的線性回歸斜率值是目前分析肌肉疲勞的主流方法。Ebied等[16]的研究也證實了通過RMS和MDF斜率來評估肌肉疲勞的有效性。Rampichini等[17]則提出了一種基于復雜度的肌肉疲勞分析方法，并發現通過遞歸圖、熵和分形分析得出的指標也能有效地檢測肌肉疲勞。此外，深度學習方法近年來也被用于實現肌肉疲勞的端到端評估。如Su等[18]將原始EMG數據輸入深度信念網絡進行上肢肌肉疲勞預測，發現其性能與基于特征提取的方法相當。Moniri等[19]利用淺層模型和CNN學習并實時預測5種sEMG信號特征，提出了一個通用模型來預測軀干的肌肉疲勞。
盡管在利用sEMG信號分析肌肉疲勞方面已取得一定進展，但如何在基于sEMG信號的手勢識別系統中實時處理肌肉疲勞帶來的影響仍然是一個重大挑戰[20]。目前，肌肉疲勞分析多依賴于特征在多窗口的線性回歸斜率，這導致了一定的滯后性，難以實現實時分析。因此，本文研究旨在探究如何僅通過單一窗口實時提取可靠的肌肉疲勞特征。為此，本文提出了一種融合疲勞特征的手勢識別模型（fatigue feature fused hand gesture recognition，FFF-HGR），旨在通過融合肌肉疲勞特征，提高肌肉疲勞狀態下手勢識別的魯棒性和準確率，解決由肌肉疲勞引起的識別準確率下降問題。
1 模型算法
1.1 概述
本研究提出了一種新型手勢識別模型，該模型融合了肌肉疲勞特征，以提高在實際應用中的魯棒性和準確性。為此，本文提出一種創新的“兩步法”來構建手勢識別模型。此方法分為兩個主要階段：首先，開發并訓練一個專用的肌肉疲勞特征提取器（muscle fatigue feature extractor，MFFE），專注于從原始sEMG信號中提取與肌肉疲勞相關的特征，這些特征將被分類器劃分為相應的疲勞等級。MFFE的設計旨在捕捉能夠指示肌肉疲勞狀態的關鍵信號特征。在MFFE訓練完成后，使用相似的方式訓練手勢特征提取器（hand gesture feature extractor，HGFE），并凍結MFFE和HGFE的參數，再將輸出進行組合。最后，將這些特征一同輸入到分類器中，并輸出手勢索引，以實現最終的手勢分類。FFF-HGR模型的獨特之處在于其能夠考慮到肌肉疲勞帶來的動態變化，從而在實時手勢識別應用中提供更高的準確率和適應性。“兩步法”構建手勢識別模型的整體流程如圖1所示，其中展示了如何將訓練后的MFFE與手勢識別分類器相結合，形成最終的FFF-HGR模型。
圖1
“兩步法”構建手勢識別模型流程圖
Figure1.
Flow chart to build hand gesture recognition model with “two-step method”
1.2 MFFE
在開發MFFE的過程中，本研究對比了基于時域、頻域等手工特征以及深度學習算法提取特征的性能。參考相關研究，在時域特征方面，采用了MAV（以符號α表示）、RMS（以符號β表示）和積分EMG（integrated EMG，iEMG）（以符號γ表示）[21]，具體計算公式如式(1)～式(3)所示：
|
|
|
其中，xi表示第i個樣本，N表示滑動窗口的寬度。
在頻域特征方面，本文考慮了MDF（以符號δ表示）和平均功率頻率（mean power frequency，MPF）（以符號ε表示），它們用于反映肌肉疲勞狀態下信號頻譜的變化。這些頻域特征的計算公式如式(4)～式(5)所示：
|
|
其中，P(f)表示頻率f的功率譜，fs為采樣頻率。
此外，鑒于深度學習方法在基于sEMG信號的手勢識別任務中展現出的卓越性能，本研究選用了CNN和長短時記憶網絡（long short-term memory，LSTM）[20]來進行對比實驗。實驗中將利用時頻域特征分析、CNN和LSTM這3種不同的算法來提取特征，并將這些特征輸入到分類器中進行訓練，以確定哪種方法最適合作為MFFE的核心算法。
2 實驗
2.1 受試者試驗
目前已有多個公開的高質量sEMG數據集，如Ninapro[22-23]、浙江大學肌電數據集（CapgMyo） [24]以及認知系統實驗室高密度肌電數據集（cognitive system lab-high density EMG，csl-hdemg）[25]等，然而，這些數據集在采集過程中都會通過適當休息有意避免肌肉疲勞。鑒于此，本試驗招募了6名健康受試者（編號：01～06），以自行采集試驗數據。這些受試者涵蓋了不同身材、年齡和性別，其基礎信息如表1所示。特別地，受試者04提供了左右兩臂的數據，分別以04L和04R標注。本研究獲得了上海師范大學學術倫理與道德委員會的審核批準（審批編號：[2024]133號），所有受試者簽署了知情同意書，并授權可使用相關數據。如圖2左側所示，本研究采用了一套由6枚干電極肌電傳感器（思知瑞科技有限公司，中國）和1個微控制器開發板Arduino UNO（SparkFun Electronics Inc.，意大利）組成的數據采集設備。這些傳感器被均勻地固定于受試者前臂，以獲取高質量的信號。Arduino UNO開發板負責控制數據采集流程。每個電極對應一個通道，6個通道可以收集多塊肌肉的混合信號。如表2所示，展示了各個通道的電極基于解剖學姿勢的位置描述及其對應肌肉的參考列表。由于個體差異，不同受試者對應的肌肉可能有細微差別。為了保證數據傳輸的實時性和準確性，本研究采用了200 Hz的采樣頻率，盡管這可能丟失部分高頻信號，但足以確保有效信息的采集[26]。
表1
受試者的基礎信息
Table1.
Basic information of the subjects
圖2
試驗數據采集
Figure2.
Experimental data collection
表2
不同通道對應肌肉參考表
Table2.
Reference table of muscles corresponding to different channels
試驗數據的采集流程如圖2右上所示。受相關研究的啟發，本試驗設計了8輪數據采集，并在兩輪采集之間設置了“疲勞增強”環節。具體內容為使用握力器進行50次捏合動作，這種重復動作可以主動且有效地誘發相關肌肉的疲勞[27-28]。每輪采集包含8種不同手勢，如圖2右下所示，包括屈臂、握拳、張開、六、剪刀、內收、屈腕、三等手肘、手腕和掌部動作。每輪中每種手勢都被重復執行5次。每次手勢的執行包括3 s的靜息期和3 s的手勢執行期。為了有效控制并減少因重復手勢可能引起的肌肉疲勞，試驗過程中額外設置了3 s的休息區間。這些休息區間與靜息期不同，受試者可以進行任意的手部活動而不必保持放松。這些休息區間內采集的數據可能會包含不確定的肌肉活動，因此不會被標記為“靜息”。
鑒于肌肉疲勞難以進行精確的定量分析，本文在試驗中定義了“單位疲勞度”作為衡量肌肉疲勞的量化指標。單位疲勞度基于受試者完成的疲勞增強活動組數來計算，初始的單位疲勞度設為0，每完成一組疲勞增強活動后，單位疲勞度增加1。這種方法使得試驗過程中肌肉疲勞的累積和影響能夠被量化地追蹤，從而在分析中更精確地考慮肌肉疲勞對手勢識別性能的影響。
在數據預處理階段，本研究采用了多種方法以確保數據的質量和適用性。首先，對原始EMG數據應用了50 Hz的陷波濾波器，以消除可能存在的電源線干擾。接下來，為了增強信號中動作電位與背景噪聲之間的差異，對信號進行了包絡處理并進行了平方化。為實現對sEMG信號的實時分析，還采用了滑動窗口對數據進行分割，這是相關研究中常見的做法。在選擇窗口寬度時，考慮到實時性和數據充分性之間的平衡，將窗口寬度設定為1 000 ms，即200個樣本點[29-30]。窗口的步長設置為10個樣本點，即每次移動窗口50 ms。這樣的設置有助于從連續信號中創建更多的重疊數據片段，從而獲得更多的訓練數據。
本研究的主要目標是評估肌肉疲勞特征在手勢分類任務中的影響。因此，作為研究的第一步，本文對不同的肌肉疲勞分析方法進行了綜合評估，旨在確定最有效的分析策略。
2.2 MFFE模塊構建策略的對比分析
本實驗的核心目的是比較不同策略構建MFFE模塊時的性能，包括模型種類和訓練策略。
模型種類將著重對比回歸與分類兩種模型的性能。鑒于回歸與分類模型具有不同的評估標準，為將標準對齊，本文采用了均方誤差（mean square error，MSE）和準確率來同時評估這兩種模型，其中回歸模型的準確率將進行四舍五入后計算。
對于訓練策略，本文設計了4種訓練與測試方案進行實驗對比，分別是全—全、靜—全、全—靜、靜—靜。這些策略的命名中，第一個字對應訓練集，第二個字則對應測試集，“全”和“靜”表示使用的數據集是包含手勢的全部數據還是僅包含靜息狀態的數據。每種策略均采用了標準的CNN模型作為MFFE的基礎架構，因此差異主要在于輸出層的設置及訓練策略。如圖3所示展示了各個受試者在4種訓練策略下分類模型相比回歸模型的平均準確率和MSE變化。此外，為了更直觀地比較這些訓練策略，如圖4所示以箱線圖形式展示了使用受試者01的數據時的實驗結果，其他受試者的箱線圖與此圖的趨勢相近，不再重復展示。
圖3
分類模型相比回歸模型在4種訓練策略下的性能變化
Figure3.
Performance variation of classification model compared to regression model under 4 training strategies
圖4
受試者01在4種訓練測試方案下回歸與分類模型的實驗結果對比圖
Figure4.
Comparison of experimental results of regression and classification models for subject 01 under four training test scheme
實驗結果表明，分類模型在各種訓練策略下的性能普遍高于回歸模型。特別是當訓練集采用靜息狀態的數據時，分類模型的整體性能明顯優于回歸模型。在所有訓練策略中，當訓練集和測試集均僅包含靜息狀態的數據時，分類模型的準確率達到了最高水平。
此實驗結果為實際應用提供了新的見解：在實際應用場景中，數據通常是按時間序列排列的。因此，模型可以設計為在靜息狀態下更新肌肉疲勞特征，而在檢測到手勢動作時則不進行更新。這種設計利用了在靜息狀態下進行肌肉疲勞預測更為準確的特性，從而提高了肌肉疲勞特征的質量。然而，這種方法也存在一定的局限性，即如果手勢狀態持續時間過長，可能會導致肌肉疲勞特征的更新延遲。
2.3 MFFE模塊中不同算法的比較
為了比較不同算法在單個窗口上分析肌肉疲勞時的性能，本文選用了3種主要算法：時頻域特征分析、CNN和LSTM。這些算法提取的特征被送入具有相同超參數的分類器中，以便進行統一的性能評估。由于時頻域特征通常利用多窗口內特征的變化趨勢（例如斜率）來評估肌肉疲勞，因此本文也探索了在更小的子窗口中計算這些特征的效果。本文共使用了5種子窗口切分策略，后續以數字代表不重合的窗口數量，例如，M1代表不切分原窗口；M5代表將原窗口切分為5個不重合的窗口；M（1+5）則代表將前兩種方案提取出的特征進行組合，依此類推。
實驗結果表明，在處理靜息狀態數據時，所有算法均能實現較高的性能。如圖5左圖所示，展示了受試者01使用不同子窗口劃分策略的時頻域特征模型和CNN及LSTM的性能。如圖5右圖展示了受試者02和受試者03在不同子窗口劃分策略下，基于時頻域特征的分類性能對比。
圖5
算法對比實驗結果
Figure5.
Experimental result of algorithm comparison
如圖5左圖所示，從單個窗口中提取的時頻域特征在肌肉疲勞分析中的效果并不理想。當僅使用整個窗口提取時頻域特征時，模型的平均準確率僅為71.9%，且表現出明顯的不穩定性，最低準確率甚至降至50.1%。這種不穩定的性能揭示了單窗口分析的困難。然而，當嘗試將原窗口劃分為更小的子窗口并在此基礎上進行特征提取時，模型的表現顯著提升。分為5個子窗口時，模型的平均準確率提高至80.1%，同時穩定性也得到了顯著增強。這表明，切分子窗口的策略能在一定程度上提升模型的性能和可靠性。但這種改進效果是有上限的。首先，實驗中發現，當子窗口的數量增加至10個時，模型的準確率反而下降。這一發現表明在窗口切分時需要尋找一個平衡點。此外，如圖5右圖所示，這種性能變化在不同個體上的表現也呈現出不穩定性。與時頻域特征提取方法相比，CNN和LSTM的表現則更加出色。在最優模型配置中，這兩種算法均達到了超過99%的準確率。它們之間的差異主要體現在參數量、訓練效率以及穩定性方面。CNN模型在訓練速度上更快，但在不同個體上的表現不如LSTM穩定。而LSTM模型的參數量更少，僅為CNN的18%，且性能表現更穩定。這一對比突出了在選擇模型架構時，必須權衡訓練效率與模型復雜度之間的影響。
總體來看，基于單個窗口提取時頻域特征的方法相較于深度學習算法，其性能表現不盡理想。盡管通過適當的窗口切分可以在一定程度上改善時域及頻域特征的表現，最優能提高至超過80%的平均準確率，但其在不同個體上的表現存在一定差距。相比之下，盡管深度學習算法需要更長的訓練時間和更多的計算資源，但性能表現更佳。在實際應用中，應根據特定的需求和資源情況來權衡，選擇最適合的算法進行肌肉疲勞分析。
2.4 融合MFFE對手勢識別影響的實驗研究
本實驗深入探究了肌肉疲勞特征與手勢分類準確性之間的關系，實驗設計旨在比較加入了肌肉疲勞特征的FFF-HGR模型與未加入肌肉疲勞特征的模型之間的差異。FFF-HGR中的MFFE采用了第2.3節中表現最佳的CNN模型架構。為確保輸出的穩定性，所有層在訓練完成后都被凍結。為了控制實驗變量，兩種模型中均采用了相同的基準CNN架構作為HGFE。隨后，將MFFE的輸出與HGFE的輸出合并，一并輸入到分類器中，進行最終的手勢分類。相比之下，對照組的模型則完全沒有包含MFFE特征。在HGFE的訓練數據中僅包含較低單位疲勞度的樣本，以模擬實際應用中在無疲勞或輕微疲勞狀態下進行校正的使用場景。
如圖6所示，以受試者01為例，展示了兩種模型在多次實驗中，針對不同疲勞等級上的平均準確率與平均損失值。結果表明，隨著單位疲勞度的增加，模型的分類準確率呈下降趨勢。然而，這一下降趨勢在融入MFFE特征的模型中得到了顯著緩解，表明MFFE的融合對于提升模型在不同疲勞狀態下的魯棒性發揮了關鍵作用。更為重要的是，融合了MFFE的模型在損失值方面也顯示出較低的數值，這說明該模型在預測手勢時不僅更為準確，而且更加穩定。
圖6
FFF-HGR與普通手勢識別模型的對比實驗結果
Figure6.
Comparative experimental results of FFF-HGR and ordinary gesture recognition models
如圖7所示，展示了多次實驗中，加入疲勞特征后對各個受試者的準確率及損失值的影響。結果顯示在加入MFFE后，分析各個受試者手勢的準確率均有所提升，尤其是在高疲勞等級時，性能的提升十分明顯且穩定，部分受試者的準確率甚至提升了約20%。在損失值方面，也觀察到了相對明顯的下降趨勢。
圖7
各受試者在加入MFFE后準確率及損失值變化
Figure7.
Accuracy and loss changes of subjects after MFFE fusion
為了進行統計學分析，本研究針對加入肌肉疲勞特征前后的準確率進行了配對樣本t檢驗。首先，使用夏皮羅-威爾克（Shapiro-Wilk）檢驗，以確認差異數據符合正態分布。隨后，使用配對樣本t檢驗來評估兩組數據的差異是否具有統計學意義。統計檢驗結果表明，各受試者手勢識別的總體準確率的t值為3.797，P<0.01。這表明在加入肌肉疲勞特征后，手勢識別的準確率顯著提高。此外，還針對各個單位疲勞度進行了t檢驗，具體結果如表3所示。
表3
各單位疲勞度下，配對樣本t檢驗結果
Table3.
Paired samples t-test results at each unit fatigue level
如圖8所示，展示了無疲勞特征的算法和FFF-HGR算法進行手勢分類的混淆矩陣，其中整合了所有受試者的數據，包括多個疲勞等級。顏色代表真實類別被分類到各個類別的百分比，顏色與百分比的對應關系如右側標尺所示。此外，還展示了兩個矩陣的差值，代表加入肌肉疲勞特征后的相對變化。變化量使用絕對最大值進行了歸一化，因此顏色可以直觀展示變化趨勢及相對變化大小。從圖8中可以看出，加入肌肉疲勞特征后，各個手勢的分類準確率均有較大的提高，分類錯誤的情況也多有減少。其中，靜息狀態的分類結果在加入前后幾乎沒有變化，其他手勢被誤判為靜息的情況也明顯減少。在數值上，屈臂和握拳被正確分類的情況顯著增加，被誤判為剪刀和內收的情況均有下降，尤其是內收被誤判為其他動作的情況也明顯減少。
圖8
整合各受試者在加入肌肉疲勞特征前后的混淆矩陣及加入肌肉疲勞特征前后的變化矩陣
Figure8.
Integration of the confusion matrix before and after the fusion of the muscle fatigue features and the change matrix before and after the fusion of the muscle fatigue features for all subjects
這些實驗結果強調了在實際應用中同步進行肌肉疲勞分析的重要性，它可以顯著提升手勢識別系統的性能，增強系統的準確率和魯棒性。通過此類研究，能夠更深入地理解手勢識別系統在長期使用或用戶處于疲勞狀態下的表現，并為系統的進一步優化提供寶貴的指導。
3 討論與分析
在本節中將討論實驗結果的深層含義，并分析它們對未來肌肉疲勞分析及手勢識別技術的影響。
3.1 MFFE模塊的構建方法與算法性能對比
本研究的結果挑戰了傳統的預期，即在肌肉疲勞分析中，由于肌肉疲勞的漸進特性，通常預期回歸模型應優于分類模型。然而，實驗結果顯示，分類模型相比回歸模型，性能相當或明顯更優，且在多次實驗中展現出更高的穩定性。這一現象可能由以下原因導致：① 評估方式的影響：為了對比回歸和分類模型的性能，實驗中采用了MSE來評估分類模型，而使用四舍五入準確率評估回歸模型。這種評估方式可能導致由于邊界效應而引入額外的誤差；② 肌肉疲勞度量的非線性特性：實驗中使用的單位疲勞度與實際肌肉疲勞狀態之間的關系可能不是嚴格線性的，而是更符合離散數據特征的衡量標準。這表明肌肉疲勞的動態變化可能更適合通過分類方法來分析。
此外，實驗發現，即使是未經特別調整的基礎CNN模型，僅使用靜息狀態的sEMG數據進行訓練，也能在靜息狀態測試中達到高達88%的準確率，這一結果遠優于其他訓練策略。這表明手勢動作對肌肉疲勞特征的提取產生了顯著影響。這一發現對于實際應用中的手勢識別系統設計具有重要意義。在考慮如何集成肌肉疲勞分析以改善手勢識別性能時，需要參考這一特性來確定合理的肌肉疲勞分析策略，以提取出更可靠的特征。
MFFE模塊中不同算法比較實驗的結果表明，在評估肌肉疲勞時，時域及頻域特征更適合在多個窗口上計算，而非單個窗口。在傳統方法中，斜率的使用是為了考慮到個體差異和算法的魯棒性，因為直接使用單個窗口的特征往往難以提供充分的信息，難以準確反映肌肉疲勞的變化。實驗發現，通過將原始窗口細分為更小的子窗口，可以得到更細節的信息，從而在一定程度上提高了使用傳統特征的準確率。然而，這種方法也存在局限性。首先，類似于滑動窗口技術，如果對窗口進一步切分，反而可能導致算法性能的下降。這是因為子窗口過小，樣本數量不足，導致從中提取的特征質量下降，表明在子窗口切分時需要尋找一個平衡點，既要保證特征的數量，又要避免因過度切分窗口而降低特征質量；其次，這一方法在不同個體間表現出不穩定性，使得無法保證其對系統性能的提升，這一現象可能源于個體差異。因此，在實際應用中，僅在單個窗口使用這些傳統特征來分析肌肉疲勞存在一定的局限性。
3.2 深度神經網絡與傳統方法的性能對比
與傳統方法相比，深度神經網絡（如CNN和LSTM）展現了更優的性能。這些算法能夠自動提取出更高級別的抽象特征，與傳統特征提取方法相比，這種能力使得CNN和LSTM能夠捕捉到可能被傳統方法忽略的有價值信息。
在性能方面，CNN和LSTM的差異不大，但在考慮訓練效率時，CNN是更好的選擇。這主要是因為LSTM的計算過程包含層內的遞歸結構，使其在計算效率上不如CNN高效。此外，考慮到硬件資源的限制，LSTM可能更適合部署在一些硬件配置較低的環境中。盡管LSTM只需要CNN的20%參數，但它能夠達到與CNN相似的性能水平，這使其在資源有限的環境中尤為有價值。
3.3 肌肉疲勞特征對手勢識別影響的研究
肌肉疲勞對手勢識別的影響實驗進一步證明了融合肌肉疲勞特征的重要性。通過融合這些特征，所有受試者在不同單位疲勞度上的準確率均得到了不同程度的提升，其中的差異可能源于個體差異或信號處理等因素。肌肉疲勞對sEMG信號的影響會降低傳統手勢識別算法的準確性。通過納入有效的肌肉疲勞特征，模型能夠在不同肌肉疲勞狀態下有效地提高準確率和魯棒性。 在實際應用中，為了減少個體差異的影響，即使在無疲勞或低疲勞狀態下進行模型校正，通過融合肌肉疲勞特征，模型也能在肌肉疲勞發生時保持穩定性與可靠性。
圖8的混淆矩陣更具體地展示了肌肉疲勞特征的加入對于各個手勢分類的影響。無論在特征加入前后，靜息狀態都保持著最高的分類準確率，這是由于靜息狀態并沒有顯著的sEMG信號特征，且信號的預處理進一步擴大了其與手勢狀態的差距。其他手勢在加入肌肉疲勞特征后，正確分類的情況顯著提高，其中以屈臂和握拳的動作最為明顯。這表明各個手勢均對肌肉疲勞敏感，其中以屈臂和握拳最甚，這可能與試驗的流程相關：試驗過程中，受試者通常保持手肘支撐桌面，前臂傾斜45°的姿勢，這一動作與屈臂動作的重合程度較高，持續約30 min的試驗容易誘發相關肌肉的疲勞。而握拳動作則與使用握力器誘導的肌肉疲勞相關，這兩組肌肉相較于其他肌肉更容易受到疲勞的影響，因此在加入肌肉疲勞特征后，準確率的提升也最為顯著。這表明肌肉疲勞程度越高，從肌肉疲勞特征的融合中獲得的收益也越大。此外，值得注意的是，幾乎所有手勢都較為容易被誤判為靜息狀態。這一現象可能是多種原因造成的，如離群值、數據采集過程中的意外情況、靜息手勢在數據集中的占比高等。盡管在實際應用中，這種誤判情況仍然高于被誤判為其他手勢的情況，但對這一現象的改善仍具有重要的意義。一方面，它有助于提升交互體驗；另一方面，也有助于未來開發針對時序數據的改進策略；因此也是未來研究的重要方向。
4 結語
本文提出了一種融合肌肉疲勞特征的手勢分類模型，并在自建的數據集上進行了系統的測試和分析。研究結果證實了肌肉疲勞特征對于手勢識別模型性能提升的顯著貢獻，尤其在疲勞程度較高時，模型展現了良好的穩定性和準確率提升。值得注意的是，即使在模型僅使用低疲勞度數據進行訓練和微調的情況下，融合肌肉疲勞特征也能有效提升模型在后續不同疲勞狀態下的表現。此外，本研究在實驗中發現，在靜息狀態下進行肌肉疲勞分析的準確性更高，這一發現為實際應用提供了新的視角：在未來的實際應用中，可以僅在靜息狀態提取肌肉疲勞特征，并將這些特征應用于后續的手勢識別任務，從而提高所提取的肌肉疲勞特征的質量。在模型算法的選擇上，建議在訓練階段采用CNN，以利用其在訓練速度方面的優勢和高效的特征提取能力；而在部署階段，尤其是在資源受限的設備上，推薦使用LSTM，以減少對計算資源的需求，并獲得更穩定的性能提升。這種策略兼顧了模型訓練的效率和在各種設備上的廣泛可用性。綜上，本研究不僅推動了肌肉疲勞狀態下的手勢識別技術的發展，還為基于sEMG信號的手勢識別提供了一種實用的方法，期待未來該模型能在更廣泛的實踐場景中得到應用和完善，如臨床康復、人機交互以及遙控操作等領域，以更好地服務于人類。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：嚴仕嘉主要負責實驗流程、數據記錄與分析、算法設計、上位機及算法程序設計以及計劃安排；楊曄，通信作者，主要負責提供實驗指導，數據分析指導，論文審閱修訂；易鵬主要負責實驗器材、數據記錄與分析、算法設計。
倫理聲明：本研究通過了上海師范大學學術倫理與道德委員會的審批（審批編號：[2024]133號）。
