為精準捕獲并有效融合腦電信號中的時空特征以提高腦電情緒識別精度，本文提出一種基于獨立成分分析—遞歸圖和改進的第2代高效能網絡（EfficientNetV2）相結合的新方法。首先，采用獨立成分分析從腦電信號的關鍵通道中提取包含空間信息的獨立成分；然后，由遞歸圖轉換為二維圖像以更好地提取時間信息中的情感特征；最后，將二維圖像輸入到引入全局注意力機制和三重注意力機制的EfficientNetV2中，由全連接層輸出情感分類。為驗證所提方法的有效性，本研究基于上海交通大學情緒腦電數據集（SEED）進行對比實驗、通道選擇實驗和消融實驗。研究結果顯示，本文所提方法平均識別準確率為96.77%，顯著優于現有其他方法，為腦電情緒識別研究提供了新的思路。
引用本文： 馮國紅, 鄭瀟, 張彬, 王宏恩. 基于獨立成分分析—遞歸圖和改進的高效能網絡的腦電情緒識別研究. 生物醫學工程學雜志, 2024, 41(6): 1103-1109. doi: 10.7507/1001-5515.202406029 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
0 引言
情緒識別，是計算機感知人類情感從而進行人機交互反饋的重要環節，常采用的識別模態包括面部表情、身體姿勢、語音、心電信號、腦電信號和肌電信號等。其中，腦電信號因其在時間分辨率、可靠性和準確性方面優勢顯著，已成為情緒識別領域研究的焦點[1-3]。
由于大腦結構高度復雜，在情感識別研究領域，尤其是想要實現分析和提取能夠準確反映情緒狀態的空間特征頗具挑戰。傳統研究方法通常依賴于手動提取淺層特征，如微分不對稱性、功率譜密度、共空間模式和微分熵等，這些特征對于理解情感狀態具有重要意義[4-6]。然而，提取這些特征需要豐富的先驗知識，且傳統方法在大規模數據處理和空間結構挖掘方面存在局限，這在一定程度上影響了腦電情緒特征的精確識別[7]。為了克服這些限制，學者們嘗試采用深度學習方法自動提取腦電信號的空間特征，以提高情感識別的精度[8]。在這些方法中，卷積神經網絡是腦電情緒識別領域中應用最廣泛的模型。基于卷積神經網絡架構的改進網絡，在腦電情緒識別任務中展現出顯著的性能優勢。Rahman等[9]提出的改進卷積神經網絡模型在公開情緒分類數據集——上海交通大學情緒腦電數據集（Shanghai Jiao Tong University emotion electroencephalogram dataset，SEED）上實現了89.056%的準確率。Wang等[10]設計的新型混合時空特征融合神經網絡，在公開情感數據集——基于生理信號的情緒分析數據庫（database for emotion analysis using physiological signals，DEAP）上的四分類準確率為80.75%。
盡管上述研究能達到相對較高的精度，但部分研究并未充分認識到腦電信號中時間信息的重要性。時間信息的精準捕獲，對于揭示腦電信號的非線性和非平穩特性至關重要，并有助于提高情感狀態識別的準確率。為更好地分析腦電信號的時序特性，王偉等[11]設計了一種時空殘差注意力卷積網絡，該模型在DEAP數據集上表現出93.71%的四分類準確率；崔發昌[12]提出一種結合圖注意力網絡和雙向記憶網絡的腦電情緒分類模型，能夠充分利用腦電信號的空間和時間信息，在SEED數據集上的準確率為90.63%。因此，構建一種能夠精準捕獲并有效融合時空特征的情緒識別模型，是提高腦電情緒識別精度的有效途徑之一。
鑒于此，本文提出了一種新的方法，將獨立成分分析（independent component analysis，ICA）與遞歸圖（recurrence plot，RP）相結合（ICA-RP），以提取腦電信號中的強表征性時空特征；并將注意力機制引入到第2代高效能網絡（EfficientNet version 2，EfficientNetV2），對其進行改進，深入挖掘腦電信號在時間和空間維度上與情感相關的特性，以期有效提高腦電情緒識別精度。
1 本文算法
本文所提方法的整體框架與網絡結構如圖1所示。算法流程包括ICA-RP數據預處理和圖像分類：① 首先，采用ICA從腦電信號的關鍵通道中提取包含空間信息的獨立成分，再由RP將獨立成分轉換為二維圖像，以深入挖掘時間相關信息；② 其次，通過改進EfficientNetV2網絡中的移動反向瓶頸卷積（mobile inverted bottleneck convolution，MBConv）模塊和輸出層，實現模型對二維圖像的精準分類。
圖1
所提方法的整體框架與網絡結構
Figure1.
Overall framework and network structure of the proposed method
1.1 ICA-RP數據預處理
本研究采用ICA-RP進行數據預處理，有助于提取腦電信號中豐富的情感特征，在保留高信息量通道的同時，能降低輸入維數與計算復雜度。
ICA，是一種用于從混合信號中提取獨立成分的統計方法，廣泛應用于神經科學和腦成像等領域[13]，具體計算公式如式(1)所示：
 |
式中，A為混合矩陣；X為觀測信號向量；S為源信號向量。
目前，圖像轉換方法已在軸承故障檢測等領域得到了廣泛應用。這類方法能夠將時間序列數據轉換為二維圖像表示，以便于圖像分類網絡進行訓練和識別，同時有效保留了原始時間序列數據的時間依賴性，其基本機制原理與應用可參考文獻[14-15]。本文選取了其中應用最廣泛的RP作為轉換方法，其計算過程如式(2)所示：
 |
式中，
為遞歸值；N是狀態向量的總數；直角坐標中橫縱坐標分別用i和j表示；
為相空間中兩點之間的距離閾值；
為赫維賽德函數；
表示歐氏距離；而
和
則表示的是某時刻的狀態向量。
1.2 改進的EfficientNetV2網絡
EfficientNetV2的網絡結構主要包括輸入層、融合型MBConv模塊、改進的MBConv模塊和輸出層。本文對EfficientNetV2模型進行了改進，引入全局注意力機制（global attention mechanism，GAM）和三重注意力機制（triplet attention，TA），以更好地聚焦重要特征信息并增強通道間關系，從而提高模型的魯棒性與分類精度。
在EfficientNetV2網絡的MBConv模塊中，引入GAM，能提升模型對空間信息的關注度，并更好地整合全局信息[16-17]。改進后的MBConv模塊包括1×1的擴展卷積、深度可分離卷積、壓縮激勵注意力模塊、1×1的降維卷積、丟棄層和GAM，網絡結構如圖2所示。圖2中，R、C、H和W分別表示縮減比、通道數、高度和寬度，
、
和
依次為輸入特征圖、中間特征圖和輸出特征圖。GAM由兩個子模塊組成：通道注意力子模塊（
）和空間注意力子模塊（
）。
通過維度轉換、多層感知機（multilayer perceptron，MLP）、反向置換和S型生長曲線（Sigmoid）激活函數，自適應地調整特征圖的通道權重；
則采用兩個7 × 7的卷積對空間信息進行融合，輸出經過空間加權的特征圖。GAM的基本機制原理內容可參考文獻[18]。
圖2
改進的MBConv模塊網絡結構
Figure2.
The network structure of the improved MBConv module
EfficientNetv2包含8個階段，最后一個階段為輸出層。在輸出層中引入TA，有助于模型在更高級別的特征表示中，同時考慮通道（C）、寬度（W）和高度（H）維度上的依賴關系，從而進一步提升模型性能[19]。改進后的輸出層包括一個1 × 1的卷積、TA、池化層和全連接層，具體的網絡結構如圖3所示。當給定輸入為C × H × W時，TA的頂部分支和中間分支分別沿H軸和W軸對特征圖進行旋轉，然后通過平均池化、最大池化、卷積和Sigmoid激活生成相應的注意權重。第三個分支用于捕獲H和W的空間維度依賴關系。最后，將三個分支輸出的權重相加并取平均。TA的基本機制原理內容可參考文獻[20]。
圖3
改進的輸出層網絡結構
Figure3.
The network structure of the improved output layer
2 實驗與結果分析
2.1 數據來源與實驗環境
本文所用數據來源于SEED公開情緒分類數據集，該數據集招募了15名受試者參與采集，每位受試者在3個不同時段進行了測試，共采集45份數據，情緒類別為：積極、中性和消極[21-22]。本研究主要探討單一受試者的腦電情緒識別任務，同時為了減少信息泄露的風險，將數據集劃分為10份，進行單受試者數據的十折交叉驗證。由于腦電通道數量的增加，會導致冗余信息量的增加，而選取少量通道可以降低計算和時間成本，因此本研究初步選取F3、T7 和 FP1 作為實驗的通道組合。選取這些通道的依據如下：① 文獻[23]通過實驗驗證了這些通道與正性、中性和負性情緒的關聯，文獻[24]選取這些通道進行實驗并達到了較高的準確率；② 三通道組合相較于其他常見的少量通道組合，處理的信息量更少且更集中，從而縮短了數據預處理和模型訓練的時間。
本文實驗在Windows操作系統（Microsoft Inc.，美國）上進行，基于PyTorch深度學習框架（Meta Inc.，美國）來實現，圖形處理器為RTX
2.2 評價指標
為了評估所設計方法的分類效果，選擇總體準確率（accuracy，Acc）、精確率（precision，Pre）、召回率（recall，Rec）和F1值作為衡量模型性能和有效性的指標，其計算公式如式(3)～式(6)所示：
 |
 |
 |
 |
式中，真陽性（true positive，TP）表示正類別中正確分類樣本的數量；真陰性（true negative，TN）表示負類別中正確分類樣本的數量；假陽性（false positive，FP）表示正類別中錯誤分類樣本的數量；假陰性（false negative，FN）是負類別中錯誤分類樣本的數量。
2.3 圖像轉換方法的對比分析
常見的圖像轉換方法除了RP外，還包括格拉米差角場（Gramian difference angular field， GADF）、格拉米和角場（Gramian summation angular field，GASF）和馬爾可夫變遷場（Markov transition field，MTF）。為了驗證RP在腦電特征提取方面的優越性，本研究對這4種常見方法進行了對比實驗，平均結果如表1所示。由表1可以看出，RP在提取腦電情感特征方面的平均準確率為96.77%，并且在多個性能指標上均優于GADF、GASF和MTF方法。
表1
采用不同圖像轉換方法的測試效果對比
Table1.
Comparison of test effects using different image transformation methods
當采用RP作為圖像轉換方法時，各受試者的情緒識別結果如圖4所示。由圖4可知，僅有受試者13的準確率相對較低，為88.24%，其余受試者的準確率均在93%以上，15位受試者的識別準確率差異較小。此外，受試者平均訓練時間為1 360 s，平均預測時間為12 s，每個數據點的預測時間少于1 ms，能夠滿足模型部署預測時對實時性的要求。
圖4
基于ICA-RP的十折交叉驗證結果
Figure4.
Results of ten-fold cross-validation based on ICA-RP
2.4 消融實驗
為了驗證EfficientNetV2網絡中引入GAM和TA模塊的有效性，本文將EfficientNetV2設置為基礎參考網絡，分別加入GAM模塊和TA模塊進行消融實驗，結果如表2所示。由表2可以看出，引入GAM模塊或TA模塊后的分類效果均優于原始的EfficientNetV2網絡，且同時添加這兩個模塊的效果更佳。GAM和TA模塊的結合，能夠更深入地挖掘腦區情感信息，并有效提高基于腦電信號的情緒識別的精度。
表2
改進的EfficientNetV2網絡中不同模塊的消融實驗結果
Table2.
Ablation experiment results of different modules in the improved EfficientNetV2 network
2.5 基于ICA-RP的圖像分類模型性能對比
本研究采用相同的數據預處理方法ICA-RP，對比了改進的EfficientNetV2模型與卷積接續網絡（convolutional next，ConvNext）、移動神經網絡（mobile neural network，MobileNet）、50層殘差網絡（residual networks-50，ResNet50）及原始EfficientNetV2模型的分類性能，結果如表3所示。由表3可知，改進的EfficientNetV2模型在圖像分類任務中的性能顯著優于其他模型，證明該模型能夠有效捕獲二維圖像中與情感相關的強表征性時空特征，并達到更高的精度。
表3
基于ICA-RP的圖像分類模型性能對比
Table3.
Performance comparison of image classification models based on ICA-RP
改進的EfficientNetV2在三類情緒分類任務中的混淆矩陣如圖5所示。該混淆矩陣顯示，模型對每種情緒類別的預測準確率均超過95%，表明該模型有較高的穩定性和魯棒性。
圖5
模型對3類情緒預測結果的混淆矩陣
Figure5.
Confusion matrix of the model's prediction results for three emotions
2.6 通道選擇實驗
為了驗證F3、T7和FP1三通道的代表性，本文基于所提方法展開通道選擇實驗，將三通道分別與文獻[25-29]中提及的四通道（F3、F4、C3、C4）、五通道（AF3、T7、PZ、AF4、T8）、六通道（FT7、FT8、T7、T8、TP7、TP8）、八通道（FP1、FP2、F3、F4、T7、T8、O1、O2）、九通道（FP1、FPZ、FP2、FT7、FT8、T7、T8、TP7、TP8）、十通道（FP2、F7、T7、CP5、FC1、FC2、AF4、FP1、AF3、FC5），以及十五通道（FP1、FPZ、FP2、FT7、FT8、T7、T8、TP7、TP8、C5、C6、CP5、CP6、P7、P8）進行效果對比，實驗結果如圖6所示。
圖6
采用不同通道數量的實驗結果
Figure6.
Experiment results with different numbers of channels
由圖6可知，F3、T7和FP1三通道的平均準確率（96.77%）高于其他少量通道組合，僅略低于十五通道的平均準確率（96.93%）。這表明，選取少量關鍵通道進行訓練能夠有效去除冗余信息并提高分類精度。該結果驗證了在采用本文所提方法的情況下，F3、T7和FP1三通道在基于少量通道的腦電情緒識別任務中具有代表性和有效性。
2.7 與一維腦電情緒分類方法對比
為了更全面地評估本研究提出的二維圖像分類方法的性能優勢，將其與多種一維腦電情緒分類方法進行比較，即在基礎數據來源相同的情況下，對比了本文方法與文獻[30-33]提及的方法，對比結果如表4所示。由表4可知，所提方法在腦電情緒識別任務中的準確率顯著高于對比方法，且其標準差明顯較低，表現出良好的穩定性。這些結果證明了二維圖像分類方法在腦電情緒識別任務中的有效性和優越性。
表4
與一維腦電情緒分類方法的比較
Table4.
Comparison with one-dimensional EEG emotion classification methods
3 結論
本文提出了一種ICA與RP結合及改進EfficientNetV2的腦電情緒識別新方法，基于該方法進行了以下探索：
（1）采用ICA-RP方法提取時空特征，并將其轉換為二維圖像。對比實驗結果表明，使用RP進行圖像轉換所獲得的識別結果最優。基于ICA-RP的圖像分類方法在識別精度和穩定性方面均顯著優于傳統的一維腦電情緒分類方法，能夠更好地滿足模型在實時預測中的需求。
（2）為探討基于少量關鍵通道的腦電情緒識別效果，本研究選取了大腦額區和顳區的F3、T7和FP1三通道，進行了通道選擇實驗。實驗結果驗證了該三通道組合的代表性與有效性，其平均準確率達96.77%，與十五通道的識別結果（96.93%）相當。
（3）對傳統的EfficientNetV2模型進行了改進，并通過消融實驗和模型性能對比實驗驗證了改進模型的有效性。實驗結果表明，改進后的EfficientNetV2在圖像分類任務中表現出比其他模型更優越的性能。
然而，本研究在實驗中選取了少量通道的腦電信號，并未進行淺層特征提取。盡管這種方法簡化了數據處理過程并節省了計算資源，但也可能導致模型對噪聲的敏感性增加，從而在一定程度上影響了分類性能。在后續研究中，可以考慮提取部分淺層特征，并采用更加有效的降噪方法進行優化，進一步提升模型性能。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：馮國紅提出研究思路，制定整體的研究目標，監督和領導研究活動的執行，批判性評論和審閱論文。鄭瀟完善研究思路，負責設計方法，編寫計算機代碼和支持算法，驗證研究成果和實驗的可復用性，撰寫初稿，修改論文。張彬、王宏恩負責實驗素材收集，實驗數據分析。
0 引言
情緒識別，是計算機感知人類情感從而進行人機交互反饋的重要環節，常采用的識別模態包括面部表情、身體姿勢、語音、心電信號、腦電信號和肌電信號等。其中，腦電信號因其在時間分辨率、可靠性和準確性方面優勢顯著，已成為情緒識別領域研究的焦點[1-3]。
由于大腦結構高度復雜，在情感識別研究領域，尤其是想要實現分析和提取能夠準確反映情緒狀態的空間特征頗具挑戰。傳統研究方法通常依賴于手動提取淺層特征，如微分不對稱性、功率譜密度、共空間模式和微分熵等，這些特征對于理解情感狀態具有重要意義[4-6]。然而，提取這些特征需要豐富的先驗知識，且傳統方法在大規模數據處理和空間結構挖掘方面存在局限，這在一定程度上影響了腦電情緒特征的精確識別[7]。為了克服這些限制，學者們嘗試采用深度學習方法自動提取腦電信號的空間特征，以提高情感識別的精度[8]。在這些方法中，卷積神經網絡是腦電情緒識別領域中應用最廣泛的模型。基于卷積神經網絡架構的改進網絡，在腦電情緒識別任務中展現出顯著的性能優勢。Rahman等[9]提出的改進卷積神經網絡模型在公開情緒分類數據集——上海交通大學情緒腦電數據集（Shanghai Jiao Tong University emotion electroencephalogram dataset，SEED）上實現了89.056%的準確率。Wang等[10]設計的新型混合時空特征融合神經網絡，在公開情感數據集——基于生理信號的情緒分析數據庫（database for emotion analysis using physiological signals，DEAP）上的四分類準確率為80.75%。
盡管上述研究能達到相對較高的精度，但部分研究并未充分認識到腦電信號中時間信息的重要性。時間信息的精準捕獲，對于揭示腦電信號的非線性和非平穩特性至關重要，并有助于提高情感狀態識別的準確率。為更好地分析腦電信號的時序特性，王偉等[11]設計了一種時空殘差注意力卷積網絡，該模型在DEAP數據集上表現出93.71%的四分類準確率；崔發昌[12]提出一種結合圖注意力網絡和雙向記憶網絡的腦電情緒分類模型，能夠充分利用腦電信號的空間和時間信息，在SEED數據集上的準確率為90.63%。因此，構建一種能夠精準捕獲并有效融合時空特征的情緒識別模型，是提高腦電情緒識別精度的有效途徑之一。
鑒于此，本文提出了一種新的方法，將獨立成分分析（independent component analysis，ICA）與遞歸圖（recurrence plot，RP）相結合（ICA-RP），以提取腦電信號中的強表征性時空特征；并將注意力機制引入到第2代高效能網絡（EfficientNet version 2，EfficientNetV2），對其進行改進，深入挖掘腦電信號在時間和空間維度上與情感相關的特性，以期有效提高腦電情緒識別精度。
1 本文算法
本文所提方法的整體框架與網絡結構如圖1所示。算法流程包括ICA-RP數據預處理和圖像分類：① 首先，采用ICA從腦電信號的關鍵通道中提取包含空間信息的獨立成分，再由RP將獨立成分轉換為二維圖像，以深入挖掘時間相關信息；② 其次，通過改進EfficientNetV2網絡中的移動反向瓶頸卷積（mobile inverted bottleneck convolution，MBConv）模塊和輸出層，實現模型對二維圖像的精準分類。
圖1
所提方法的整體框架與網絡結構
Figure1.
Overall framework and network structure of the proposed method
1.1 ICA-RP數據預處理
本研究采用ICA-RP進行數據預處理，有助于提取腦電信號中豐富的情感特征，在保留高信息量通道的同時，能降低輸入維數與計算復雜度。
ICA，是一種用于從混合信號中提取獨立成分的統計方法，廣泛應用于神經科學和腦成像等領域[13]，具體計算公式如式(1)所示：
|
式中，A為混合矩陣；X為觀測信號向量；S為源信號向量。
目前，圖像轉換方法已在軸承故障檢測等領域得到了廣泛應用。這類方法能夠將時間序列數據轉換為二維圖像表示，以便于圖像分類網絡進行訓練和識別，同時有效保留了原始時間序列數據的時間依賴性，其基本機制原理與應用可參考文獻[14-15]。本文選取了其中應用最廣泛的RP作為轉換方法，其計算過程如式(2)所示：
|
式中，為遞歸值；N是狀態向量的總數；直角坐標中橫縱坐標分別用i和j表示；為相空間中兩點之間的距離閾值；為赫維賽德函數；表示歐氏距離；而和則表示的是某時刻的狀態向量。
1.2 改進的EfficientNetV2網絡
EfficientNetV2的網絡結構主要包括輸入層、融合型MBConv模塊、改進的MBConv模塊和輸出層。本文對EfficientNetV2模型進行了改進，引入全局注意力機制（global attention mechanism，GAM）和三重注意力機制（triplet attention，TA），以更好地聚焦重要特征信息并增強通道間關系，從而提高模型的魯棒性與分類精度。
在EfficientNetV2網絡的MBConv模塊中，引入GAM，能提升模型對空間信息的關注度，并更好地整合全局信息[16-17]。改進后的MBConv模塊包括1×1的擴展卷積、深度可分離卷積、壓縮激勵注意力模塊、1×1的降維卷積、丟棄層和GAM，網絡結構如圖2所示。圖2中，R、C、H和W分別表示縮減比、通道數、高度和寬度，、和依次為輸入特征圖、中間特征圖和輸出特征圖。GAM由兩個子模塊組成：通道注意力子模塊（）和空間注意力子模塊（）。通過維度轉換、多層感知機（multilayer perceptron，MLP）、反向置換和S型生長曲線（Sigmoid）激活函數，自適應地調整特征圖的通道權重；則采用兩個7 × 7的卷積對空間信息進行融合，輸出經過空間加權的特征圖。GAM的基本機制原理內容可參考文獻[18]。
圖2
改進的MBConv模塊網絡結構
Figure2.
The network structure of the improved MBConv module
EfficientNetv2包含8個階段，最后一個階段為輸出層。在輸出層中引入TA，有助于模型在更高級別的特征表示中，同時考慮通道（C）、寬度（W）和高度（H）維度上的依賴關系，從而進一步提升模型性能[19]。改進后的輸出層包括一個1 × 1的卷積、TA、池化層和全連接層，具體的網絡結構如圖3所示。當給定輸入為C × H × W時，TA的頂部分支和中間分支分別沿H軸和W軸對特征圖進行旋轉，然后通過平均池化、最大池化、卷積和Sigmoid激活生成相應的注意權重。第三個分支用于捕獲H和W的空間維度依賴關系。最后，將三個分支輸出的權重相加并取平均。TA的基本機制原理內容可參考文獻[20]。
圖3
改進的輸出層網絡結構
Figure3.
The network structure of the improved output layer
2 實驗與結果分析
2.1 數據來源與實驗環境
本文所用數據來源于SEED公開情緒分類數據集，該數據集招募了15名受試者參與采集，每位受試者在3個不同時段進行了測試，共采集45份數據，情緒類別為：積極、中性和消極[21-22]。本研究主要探討單一受試者的腦電情緒識別任務，同時為了減少信息泄露的風險，將數據集劃分為10份，進行單受試者數據的十折交叉驗證。由于腦電通道數量的增加，會導致冗余信息量的增加，而選取少量通道可以降低計算和時間成本，因此本研究初步選取F3、T7 和 FP1 作為實驗的通道組合。選取這些通道的依據如下：① 文獻[23]通過實驗驗證了這些通道與正性、中性和負性情緒的關聯，文獻[24]選取這些通道進行實驗并達到了較高的準確率；② 三通道組合相較于其他常見的少量通道組合，處理的信息量更少且更集中，從而縮短了數據預處理和模型訓練的時間。
本文實驗在Windows操作系統（Microsoft Inc.，美國）上進行，基于PyTorch深度學習框架（Meta Inc.，美國）來實現，圖形處理器為RTX
2.2 評價指標
為了評估所設計方法的分類效果，選擇總體準確率（accuracy，Acc）、精確率（precision，Pre）、召回率（recall，Rec）和F1值作為衡量模型性能和有效性的指標，其計算公式如式(3)～式(6)所示：
|
|
|
|
式中，真陽性（true positive，TP）表示正類別中正確分類樣本的數量；真陰性（true negative，TN）表示負類別中正確分類樣本的數量；假陽性（false positive，FP）表示正類別中錯誤分類樣本的數量；假陰性（false negative，FN）是負類別中錯誤分類樣本的數量。
2.3 圖像轉換方法的對比分析
常見的圖像轉換方法除了RP外，還包括格拉米差角場（Gramian difference angular field， GADF）、格拉米和角場（Gramian summation angular field，GASF）和馬爾可夫變遷場（Markov transition field，MTF）。為了驗證RP在腦電特征提取方面的優越性，本研究對這4種常見方法進行了對比實驗，平均結果如表1所示。由表1可以看出，RP在提取腦電情感特征方面的平均準確率為96.77%，并且在多個性能指標上均優于GADF、GASF和MTF方法。
表1
采用不同圖像轉換方法的測試效果對比
Table1.
Comparison of test effects using different image transformation methods
當采用RP作為圖像轉換方法時，各受試者的情緒識別結果如圖4所示。由圖4可知，僅有受試者13的準確率相對較低，為88.24%，其余受試者的準確率均在93%以上，15位受試者的識別準確率差異較小。此外，受試者平均訓練時間為1 360 s，平均預測時間為12 s，每個數據點的預測時間少于1 ms，能夠滿足模型部署預測時對實時性的要求。
圖4
基于ICA-RP的十折交叉驗證結果
Figure4.
Results of ten-fold cross-validation based on ICA-RP
2.4 消融實驗
為了驗證EfficientNetV2網絡中引入GAM和TA模塊的有效性，本文將EfficientNetV2設置為基礎參考網絡，分別加入GAM模塊和TA模塊進行消融實驗，結果如表2所示。由表2可以看出，引入GAM模塊或TA模塊后的分類效果均優于原始的EfficientNetV2網絡，且同時添加這兩個模塊的效果更佳。GAM和TA模塊的結合，能夠更深入地挖掘腦區情感信息，并有效提高基于腦電信號的情緒識別的精度。
表2
改進的EfficientNetV2網絡中不同模塊的消融實驗結果
Table2.
Ablation experiment results of different modules in the improved EfficientNetV2 network
2.5 基于ICA-RP的圖像分類模型性能對比
本研究采用相同的數據預處理方法ICA-RP，對比了改進的EfficientNetV2模型與卷積接續網絡（convolutional next，ConvNext）、移動神經網絡（mobile neural network，MobileNet）、50層殘差網絡（residual networks-50，ResNet50）及原始EfficientNetV2模型的分類性能，結果如表3所示。由表3可知，改進的EfficientNetV2模型在圖像分類任務中的性能顯著優于其他模型，證明該模型能夠有效捕獲二維圖像中與情感相關的強表征性時空特征，并達到更高的精度。
表3
基于ICA-RP的圖像分類模型性能對比
Table3.
Performance comparison of image classification models based on ICA-RP
改進的EfficientNetV2在三類情緒分類任務中的混淆矩陣如圖5所示。該混淆矩陣顯示，模型對每種情緒類別的預測準確率均超過95%，表明該模型有較高的穩定性和魯棒性。
圖5
模型對3類情緒預測結果的混淆矩陣
Figure5.
Confusion matrix of the model's prediction results for three emotions
2.6 通道選擇實驗
為了驗證F3、T7和FP1三通道的代表性，本文基于所提方法展開通道選擇實驗，將三通道分別與文獻[25-29]中提及的四通道（F3、F4、C3、C4）、五通道（AF3、T7、PZ、AF4、T8）、六通道（FT7、FT8、T7、T8、TP7、TP8）、八通道（FP1、FP2、F3、F4、T7、T8、O1、O2）、九通道（FP1、FPZ、FP2、FT7、FT8、T7、T8、TP7、TP8）、十通道（FP2、F7、T7、CP5、FC1、FC2、AF4、FP1、AF3、FC5），以及十五通道（FP1、FPZ、FP2、FT7、FT8、T7、T8、TP7、TP8、C5、C6、CP5、CP6、P7、P8）進行效果對比，實驗結果如圖6所示。
圖6
采用不同通道數量的實驗結果
Figure6.
Experiment results with different numbers of channels
由圖6可知，F3、T7和FP1三通道的平均準確率（96.77%）高于其他少量通道組合，僅略低于十五通道的平均準確率（96.93%）。這表明，選取少量關鍵通道進行訓練能夠有效去除冗余信息并提高分類精度。該結果驗證了在采用本文所提方法的情況下，F3、T7和FP1三通道在基于少量通道的腦電情緒識別任務中具有代表性和有效性。
2.7 與一維腦電情緒分類方法對比
為了更全面地評估本研究提出的二維圖像分類方法的性能優勢，將其與多種一維腦電情緒分類方法進行比較，即在基礎數據來源相同的情況下，對比了本文方法與文獻[30-33]提及的方法，對比結果如表4所示。由表4可知，所提方法在腦電情緒識別任務中的準確率顯著高于對比方法，且其標準差明顯較低，表現出良好的穩定性。這些結果證明了二維圖像分類方法在腦電情緒識別任務中的有效性和優越性。
表4
與一維腦電情緒分類方法的比較
Table4.
Comparison with one-dimensional EEG emotion classification methods
3 結論
本文提出了一種ICA與RP結合及改進EfficientNetV2的腦電情緒識別新方法，基于該方法進行了以下探索：
（1）采用ICA-RP方法提取時空特征，并將其轉換為二維圖像。對比實驗結果表明，使用RP進行圖像轉換所獲得的識別結果最優。基于ICA-RP的圖像分類方法在識別精度和穩定性方面均顯著優于傳統的一維腦電情緒分類方法，能夠更好地滿足模型在實時預測中的需求。
（2）為探討基于少量關鍵通道的腦電情緒識別效果，本研究選取了大腦額區和顳區的F3、T7和FP1三通道，進行了通道選擇實驗。實驗結果驗證了該三通道組合的代表性與有效性，其平均準確率達96.77%，與十五通道的識別結果（96.93%）相當。
（3）對傳統的EfficientNetV2模型進行了改進，并通過消融實驗和模型性能對比實驗驗證了改進模型的有效性。實驗結果表明，改進后的EfficientNetV2在圖像分類任務中表現出比其他模型更優越的性能。
然而，本研究在實驗中選取了少量通道的腦電信號，并未進行淺層特征提取。盡管這種方法簡化了數據處理過程并節省了計算資源，但也可能導致模型對噪聲的敏感性增加，從而在一定程度上影響了分類性能。在后續研究中，可以考慮提取部分淺層特征，并采用更加有效的降噪方法進行優化，進一步提升模型性能。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：馮國紅提出研究思路，制定整體的研究目標，監督和領導研究活動的執行，批判性評論和審閱論文。鄭瀟完善研究思路，負責設計方法，編寫計算機代碼和支持算法，驗證研究成果和實驗的可復用性，撰寫初稿，修改論文。張彬、王宏恩負責實驗素材收集，實驗數據分析。
