針對運動想象腦電信號復雜度高、受試者個體差異大、傳統識別模型精度欠佳的問題，本文提出了基于閃噪譜方法及加權濾波器組共空間模式（wFBCSP）的運動想象腦電信號識別模型。首先，采用閃噪譜方法對運動想象腦電信號進行解析，以二階差矩為結構函數，采用滑窗策略生成前兆時間序列，以發掘過渡階段的隱匿動態變化。其次，從信號頻帶特點出發，利用wFBCSP分別對過渡階段前兆時間序列及反應階段序列進行特征提取，生成表征過渡階段及反應階段的特征向量。進一步，利用最小冗余最大相關算法對特征向量進行局部篩選，使所選特征能自適應于受試者的個體差異，具有更好的泛化性。最后，以支持向量機為分類器進行分類判別。實驗結果表明，本文所提方法在運動想象腦電信號識別中取得了86.34%平均分類準確率，較對照方法性能更優，為運動想象腦電信號解碼研究提供了新思路。
引用本文： 費克玲, 蔡霄仙, 陳順芝, 潘禮正, 王煒. 基于閃噪譜方法及加權濾波器組共空間模式的運動想象腦電信號識別. 生物醫學工程學雜志, 2023, 40(6): 1126-1134. doi: 10.7507/1001-5515.202302020 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
0 引言
腦-機接口（brain-computer interface，BCI）作為橋接人腦與外圍設備間的連接通路，可幫助受試者對輪椅、假肢等輔助設備進行控制，并在機器人、計算機光標控制等方面有著重要的應用前景[1-2]。腦電（electroencephalogram，EEG）信號是BCI系統實現腦機交互的信號依據，目前BCI系統中使用的EEG信號范式主要有誘發式與自發式兩種。其中，慢皮質電位、穩態視覺誘發電位屬于誘發式[3-4]，而運動想象屬于自發式[5-6]。當受試者進行肢體不同部位的運動想象時，所產生的是不依賴于外部刺激的自發EEG信號。BCI通過對其進行解碼，可將受試者的運動意圖轉化為控制命令，實現對外部設備的控制。受試者經訓練后能夠在任何時刻自主發起控制，因此基于運動想象范式的BCI不僅以其實用性受到業界重視，且為肢體運動功能障礙患者提供了康復訓練交互的新方法，具有極高的研究價值和意義[7]。
運動想象EEG信號解碼是BCI想象任務識別的關鍵環節，因信號本身具有顯著的非平穩、非線性等特點，使EEG信號解碼任務極具挑戰性。科學研究表明，當受試者進行實際的肢體運動或想象運動時，大腦對側的運動感知區alpha和beta頻段的能量減少，呈現事件相關去同步（event related desynchronization，ERD）現象 [8-9]。傳統的功率譜密度、時頻分析、參數建模皆根據這一現象對EEG信號進行特征表征[10-13]。Khan等[14]提出一種模型參數期望最大化估計算法，通過帶有光滑方程的卡爾曼濾波器估計ERD，避免了繁瑣的頻帶選取，使結果具有較好的收斂性。孟明等[15]提出塊選擇共空間模式，在細分頻段對信號進行局部化分析、構造數據塊，同時對通道和頻段提取特征，充分考慮了通道間的差異性。Huang等[16]在濾波器組共空間模式（filter bank common spatial pattern，FBCSP）的基礎上，引入多視圖學習策略，對不同時間窗和頻帶的特征進行聯合優化和權重分配，篩選出表征能力強的特征。孫會文等[17]利用希爾伯特-黃變換提取時頻域特征，構造自回歸模型，提取平均能量特征，以提升想象任務識別精度。谷學靜等[18]用小波包方法對EEG信號進行時頻分解，選取ERD現象明顯的頻段進行信號重構，結合串并行卷積神經網絡實現了自動提取特征的功能。上述方法在刻畫運動想象EEG信號的時頻特性時，有助于提升想象任務的識別精度，但仍存在以下不足：① 需在分解子層做進一步的信號分析及特征選擇，且通常存在參數選擇問題；② 深度學習方法雖減少了人為設計或選擇特征所造成的不完備性，但其運算代價較高、需要大量的訓練樣本[19-21]。
考慮到強噪背景下運動想象EEG數據的弱信號特點，以及受試者由平靜狀態進入運動想象狀態時，EEG信號可能存有的隱匿動態，特征層面的深入探索對于改進運動想象任務識別的性能具有重要意義。Broniec[22]利用閃噪譜（flicker noise spectroscopy，FNS）方法對運動想象EEG信號進行分析，發現信號在過渡過程中呈現一種峰傾結構，但該研究未找到適宜的特征表征方法，使其應用于運動想象EEG信號識別。本文為使隱藏于過渡階段EEG信號中有助于區分想象任務的關鍵信息得以表征，提出了一種新穎的運動想象EEG信號解碼方法：① 使用FNS方法對運動想象EEG信號進行解析，將二階差矩作為結構函數，并通過滑窗策略生成前兆時間序列，以發掘過渡階段的隱匿動態變化；② 利用加權FBCSP（weighted FBCSP，wFBCSP）對反映過渡階段特性的前兆時間序列進行特征提取，同時利用wFBCSP提取反應階段EEG信號的有效特征，使所提特征具有更全面的表征能力；③ 進一步利用最小冗余最大相關（minimum redundancy maximum relevance，mRMR）算法對特征向量進行篩選，使所選特征能自適應于受試者的個體差異，捕獲出信息表征能力較強的過渡階段特征。為驗證所提方法的有效性，本文將其應用于運動想象EEG信號公開數據集，以期實現EEG信號動態特性更為全面的特征表征。
1 運動想象數據來源
本文所用數據來自格拉茨工業大學知識發現研究院（Institute for Knowledge Discovery，Graz University of Technology）BCI實驗室提供的第四屆BCI競賽2b（BCI competition Ⅳ-2b）公開數據集[23]。該數據集記錄了9名受試者(編號為S01～S09)的采自C3、C4、Cz通道的EEG數據，電極分布如圖1所示。信號采樣頻率為250 Hz，并進行了0.5～100.0 Hz的帶通濾波和50 Hz的工頻陷波濾波。每次試驗開始時，在電腦屏幕中央顯示一個十字標識，2 s后設備會發出短暫的提示音，第3 s時屏幕中的十字標識處出現帶有方向的箭頭，箭頭持續約1.25 s。受試者需要在接下來的4 s內根據提示執行相應的運動想象任務。想象任務完成后，受試者放松1.5～2.2 s。單次運動想象試驗的EEG信號采集范式如圖1所示。每位受試者在完成左、右手運動想象任務時均進行5節試驗，前兩節屬無反饋運動想象（120 次/節），后三節屬反饋運動想象（160次/節）。
圖1
第四屆BCI競賽2b數據集試驗范式
Figure1.
Experiment design of the BCI Competition IV dataset 2b
2 方法
為有效辨識運動想象EEG信號，本文提出了基于FNS方法及wFBCSP（FNS-wFBCSP）的運動想象EEG信號識別模型，如圖2所示。其中主要包括四個部分：① 信號預處理，運動想象EEG信號中混疊大量背景噪聲及工頻干擾，故將原始信號送入0.5～45.0 Hz的巴特沃茲濾波器進行帶通濾波，并進行均值化處理；② 利用FNS方法進行信號分析，生成前兆時間序列，以反映過渡階段的顯著瞬態；③ 特征提取與融合，為表征運動想象EEG信號的有效信息，對過渡階段的前兆序列C及反應階段序列A分別采用wFBCSP進行特征提取，生成過渡階段特征FC和反應階段特征FA。利用mRMR進行特征局部選擇，生成融合特征FU；④ 使用支持向量機（support vector machines，SVM）實現左手和右手運動想象任務的分類。
圖2
基于FNS-wFBCSP方法的運動想象EEG信號識別模型
Figure2.
Schematic illustration of the motor imagery EEG signal recognition model based on FNS-wFBCSP
2.1 FNS方法
FNS方法的核心思想是基于結構函數捕獲信號在狀態遷移時的瞬態變化，使隱藏于不規則時間序列動態關聯中的關鍵信息得以凸顯[22]，該方法包含三個步驟：
步驟一：結構函數構造。本文以二階差矩作為結構函數
，如式(1)所示：
 |
其中，x(t)是運動想象EEG信號，τ 為時間滯后，τ 
(0, T/2]，T為時窗長度。信號x(t)的自相關函數如式(2)所示：
 |
其中，
是時間滯后為
時信號x(t)的自相關函數。結構函數
可進一步簡化，如式(3)所示：
 |
其中，
是無時間滯后時信號x(t)的自相關函數。即，把結構函數的求取轉換為自相關函數的計算。由于自相關函數計算可借助快速傅里葉變換（fast Fourier transform，FFT）完成，因而減小了結構函數的計算代價[10]。
步驟二：計算結構函數累積平均量。考慮到運動想象EEG信號的非平穩性，Qk為第k個時窗對應的結構函數累積平均量，如式(4)所示：
 |
其中，α為滑窗因子，α∈(0, 0.5]；k∈[1, L]。
步驟三：生成前兆時間序列。為刻畫運動想象任務過程中信號由平靜狀態到想象狀態的瞬態變化量，以有限時窗內的結構函數為基準，對為了凸顯EEG信號混沌序列的瞬態變化進行了數據重構。設ΔT為時窗的滑動步距，定義前兆時間序列C={Ck}（k = 1, …, L-1）如式(5)所示：
 |
2.2 基于wFBCSP模式的特征提取
FBCSP作為高效的空域濾波算法在EEG信號特征提取中獲得廣泛應用[24]。若分頻段處理的信號為X∈RH x M，H為通道數，M代表單次實驗對應的信號點數，則FBCSP通過尋求最優濾波器使得投影后的兩類信號方差差異最大化，得到對應頻段的特征向量。FBCSP方法使用訓練好的空域濾波器W對信號X做濾波處理，得到濾波后的信號Z，并通過求取Z的方差對數得到對應的特征向量p，其計算公式如式(6)和式(7)所示：
 |
 |
wFBCSP模式在FBCSP的基礎上融入了權重的處理，即在多通道的運動想象EEG信號中，由于各通道所含有效信息量不同，為保證最大化利用各通道信息、避免由于舍棄部分通道而導致信息遺失，通過賦予通道不同權重以提取更具區分度的特征。依據前期分析對各通道所含有效信息量進行排序，對通道h的特征使用高斯函數
進行加權，得到相應權重rh。此外，補充極差特征，得到每個通道特征
。因此，加權處理后的特征fh如式(8)所示：
 |
基于FNS-wFBCSP方法的特征提取算法計算復雜度低，在辨識左右手運動想象任務時能夠從多域角發掘信號的有效特征，以便為模式分類做準備。
2.3 mRMR特征選擇算法
針對運動想象任務中受試者的個體差異，本文采用mRMR算法對本文2.2小節部分所提取的運動想象過渡階段特征向量FC進行特征選擇。mRMR是一種結合了搜索策略的特征選擇過濾方法，即在特征空間的構建中，將選擇的特征與所屬類別進行了最大相關的約束，同時利用最小冗余準則以降低特征之間的冗余[25]。這樣不僅能防止不相關的特征對模型訓練的干擾，同時可改進模式判別準確率低的不足[26]。
(1)在互信息框架下，特征選擇的目的是尋找由m個特征{ fi }構成的特征向量F，使其與目標類別y具有聯合最大的相關性。所采用最大相關性策略如式(9)所示：
 |
其中，D表示相關性，D(F, y)表示特征向量F與類別y的相關性，
表示特征 
的概率，
表示類別y的概率，p(fi, y)表示特征
與類標簽y的聯合概率。
(2)然而最大相關約束會導致所選擇的特征出現冗余度大的問題，因此在選擇新特征時可加入最小冗余條件，如式(10)所示：
 |
其中，R表示冗余度，R (F)表示特征向量F的冗余度，p(fj)表示特征fj的概率，p(fi, fj)表示特征fi與特征fj的聯合概率。
(3)綜合以上兩個約束條件，定義算子Φ(D, R)，可令D與R差值最大以實現D與R的同時優化。設已有m-1個所選擇特征構成特征集
，則尋找由Φ定義的最優特征集演化為求解優化問題，即集合{
}中選擇第m個特征使得Φ最大。采用增量式的搜索方法，最終可使計算代價大為降低。
2.4 分類器與評估標準
SVM具有優異的泛化性能和學習能力，適宜運動想象任務場景下的小樣本、非線性模式識別任務，SVM構造最大間隔超平面以實現最小化分類誤差。本文以其為分類器，給定訓練集
xj∈Rm 表征m維特征空間的輸入矢量，
∈{?1,+1} 表征輸出標量，N為樣本數。由于最優超平面的構造屬于二次型問題，期望獲取的最優分類函數[27]如式(11)所示：
 |
其中，w為決定超平面方向的法向量，b為分類閾值。
針對運動想象EEG信號特征非線性不可分問題，通過映射函數Φ將x映射為特征向量Φ(x)，以獲得合適的劃分超平面。為求解這一問題，引入拉格朗日函數，如式(12)所示:
 |
其中，
=(
1, 
2,…, 
j)T為拉格朗日乘子。為了尋找合適的參數，需要對拉格朗日函數求偏導，求得參數最優解，最終建立最優分類判別函數。
為評估所提運動想象任務辯識方法的性能，本文利用SVM進行左右手運動想象分類所采用的性能評價指標有：準確率（accuracy，Acc），體現正確分類樣本數占總樣本個數的比例；卡帕（Kappa）系數可以消除隨機分類的干擾，是衡量分類精度的常用指標。
3 實驗與結果分析
為驗證本文所提方法進行運動想象任務識別的可行性，本實驗首先對數據集中9位受試者（編號為S01～S09）的運動想象EEG數據進行了預處理，并通過FNS方法對運動想象EEG信號進行分析、參數尋優；采用wFBCSP模式進行過渡段、反應段EEG信號特征提取，并通過mRMR篩選生成融合特征向量，最后使用SVM進行想象任務判別。最小二乘SVM（least square SVM，LSSVM）以其較優的泛化性能適宜于小樣本分類判別[28]，故本實驗以其為分類器求取不同受試者的分類結果。
3.1 基于FNS法的前兆序列分析
根據本文2.1小節FNS方法步驟，采用滑窗策略對運動想象EEG信號進行分段，借助FFT計算自相關函數，進而計算出前兆時間序列C。隨機選取第四位受試者S04為例，將參數滑窗長度T設置為0.8 s，滑窗步距ΔT為0.048 s，滑窗因子α經預實驗定為0.13時，使用FNS方法對其想象左手運動時的C4通道數據進行分析，得到的前兆時間序列如圖3所示。可見，當受試者開始運動想象任務前，其前兆序列的動態變化中呈現一種明顯的峰傾結構，該結構出現在想象任務提示第3 s之前。
圖3
C4通道左手想象任務前兆時間序列C
Figure3.
Precursor time series C in task of left hand motor imagery at the C4 electrode
當改變滑窗參數時，由同一段信號所得到的前兆時間序列亦有差別。如圖4所示，當滑窗步距增大時，前后時窗間重疊部分減少，導致相應的峰傾結構幅值降低；當滑窗長度增大時，窗內的信號數據增多，對應的峰傾結構出現時間提前。通過預實驗，利用FNS法對運動想象EEG信號進行解析時，所采用的參數為：滑窗長度T設置為0.8 s，滑窗步距ΔT為0.048 s，滑窗因子α經預實驗定為0.13。針對左右手運動想象EEG信號，本實驗選取前兆時間序列中出現峰傾結構的0～4 s數據生成前兆時間序列C，以表征過渡段的有效信息。
圖4
不同參數組合時C4通道左手想象任務前兆時間序列C
Figure4.
Precursor time series C with different parameter combinations in task of left hand motor imagery at the C4 electrode
3.2 特征分析
對于濾波器組，以4 Hz為頻段寬度，使用9個子帶（4～8 Hz，8～12 Hz，12～16 Hz，…，36～40 Hz）對運動想象EEG信號進行頻段劃分。選取0～4 s對應的前兆時間序列C，同時選取3.5～6.5 s的EEG數據為反應階段序列A，將C和A輸入到wFBCSP生成對應特征向量。
為了驗證FNS-wFBCSP方法在特征融合時的效果，根據本文2.2小節所描述的方法，通過降維處理在三維空間中可視化不同方法提取的高維特征向量。根據本文第1小節運動想象數據來源所述，由于受試者后三節數據（第3、4、5節）均采用了具有反饋的試驗范式，以所有受試者第3節的運動想象EEG信號作為訓練集，第4節和第5節作為測試集進行本文實驗，分別使用FNS-wFBCSP方法、wFBCSP方法及FBCSP方法提取特征。以隨機選取的受試者S04為例，將來自訓練集樣本的過渡階段特征FC與反應階段特征FA進行特征融合，得到的散點圖在三維空間進行展示，如圖5所示。由于圖5中的每個點代表從每組訓練樣本中提取出的特征值，由此可看出三種方法生成特征的相應區別。由wFBCSP方法對反應階段矩陣A所提取的FA特征散點分布可見，融合過渡段與反應段生成特征的模式分布較僅采用反應階段特征的模式分布更為緊致。此外，對比由FBCSP方法生成的反應階段特征散點圖可見，采用wFBCSP方法生成特征較FBCSP生成特征在左右手任務識別中具有更好的區分性。
圖5
不同方法所提取的特征散點圖
Figure5.
Scatter plots of features extracted by different methods
為評估使用FNS-wFBCSP方法所提特征的分類效果，在LSSVM的參數設置相同的情形下，進行了基于FBCSP及wFBCSP方法的左右手運動想象任務識別對比實驗。其中FBCSP及wFBCSP方法均只針對反應階段提取特征，測試結果如表1所示。除受試者S03、S05、S07外，wFBCSP方法的識別性能均高于FBCSP。前者的平均分類準確率為78.66%，較FBCSP方法更高。這是由于wFBCSP方法通過對不同通道賦予權重，有助于加強多個空域通道EEG信號的信息表征能力。同時從表1可看出，對于每位受試者，FNS-wFBCSP方法的分類準確率均高于兩種對比方法，達到了87.05%的平均準確率，表明過渡段隱匿信息表達對識別性能亦有所裨益。此外，計算每位受試者的Kappa系數，結果如圖6所示。由圖6可以看出，FBCSP方法的平均Kappa系數為0.51，wFBCSP的平均Kappa系數為0.58。而FNS-wFBCSP方法的平均Kappa系數達到了0.74，相比其他兩種方法有顯著提升，表明FNS-wFBCSP方法擁有更好的運動想象EEG信號特征表征能力。
表1
不同特征提取方法的準確率性能比較
Table1.
Accuracy comparison of different feature extraction methods
圖6
不同特征提取方法的Kappa系數
Figure6.
Kappa coefficient of different feature extraction methods
為更全面地驗證mRMR對分類識別任務的影響，本節還進行了消融實驗：將FC與FA分四種情況輸入mRMR，使用LSSVM測試分類準確率，結果如表2所示。四種情況分別是：① 不對FC與FA進行篩選；② 僅對FC進行篩選；③ 僅對FA進行篩選；④ 同時對FC與FA進行篩選。根據表2可知：① 對所有特征不做篩選時得到的平均分類準確率僅有79.03%，低于其他三種情況。使用mRMR進行特征篩選有助于提升本文方法的分類精度，其可以減少高維特征中的冗余特征，保留相關性強的特征；② 單獨對FC進行mRMR篩選的平均分類準確率為87.05%，比單獨對FA進行篩選的分類結果更高，說明相比于反應階段，過渡階段提取的特征中含有更多的冗余信息；③ 同時對FC和FA進行mRMR篩選，盡管部分受試者的分類精度略高于僅篩選FC的情況，但平均分類精度卻有所下降。考慮到同時對兩個階段的特征進行篩選時，計算代價高，提升效果有限，因此本文單獨對FC做特征篩選。將通過mRMR特征選擇的FC與FA相融合，所得融合特征FU可以兼顧良好的運算效率和較高的分類精度。
表2
mRMR特征選擇消融實驗結果對比
Table2.
Comparison of ablation results of feature selection with mRMR
3.3 本文方法與其他方法的對比研究
將本文方法與其它研究者在第四屆BCI競賽2b公開數據集中所提出的方法進行對比。文獻[29]基于自適應共空間模式（adaptive common spatial pattern，ACSP）進行特征提取，并利用SVM進行分類識別。文獻[30]采用判別式FBCSP（discriminative FBCSP，DFBCSP）及SVM完成運動想象任務識別。文獻[31]提出雙分支卷積神經網絡（two-branch time-frequency convolutional neural network，TBTF-CNN）結構，對EEG信號的時域和頻域信息進行多層次挖掘。文獻[32]提出基于深度表示的域自適應（deep representation-based domain adaptation，DRDA）算法，提取多域數據的判別特征以改善目標域的分類性能。為了與對照方法中的訓練、測試數據配置一致，將數據集每個受試者前三節（第1、2、3節）用作訓練集，后兩節（第4、5節）用作測試集，實驗結果如表3所示。
表3
不同研究方法性能比較
Table3.
Performance comparison of different research methods
從表3分析可知，本文所用方法的分類準確率均高于其他算法，其中最高分類準確率達到了99.38%，其次也達到了96.25%。即使使用同一種算法對于不同的受試者而言，其分類準確率也有較大差異。運動想象任務的識別性能不僅取決于受試者進行想象任務時心理活動的質量，也與特征提取方法密切相關。從表3可看出：對于每位受試者，與對比方法中性能最好的DRDA法相比，本文方法分類準確率有所提高。此外，對于運動想象心理活動質量較差的受試者（如S02、S03），FNS-wFBCSP方法在左右手想象任務識別中的分類準確率皆有所提高。
4 結論
本文通過發掘傳統方法未深入探索的運動想象過渡階段EEG信號的動態信息，提出了以FNS-wFBCSP方法對多階段的EEG信號進行有效特征表征，主要結論如下：
(1)利用FNS方法使得運動想象過渡階段所隱藏的瞬態信息得以發掘，且通過FFT優化相應算法，令前兆序列的計算具有代價小、速度快的優點。
(2)采用wFBCSP模式分別對過渡階段的前兆時間序列及反應階段的EEG信號進行空域濾波，不僅能夠提取表征能力強的特征，且有助于降低數據計算的復雜度。在此基礎上利用mRMR算法進行特征選擇，使所選特征能自適應于受試者的個體差異，實現了運動想象多階段特征的有效融合。
(3)通過實驗對比分析，本文所提方法在左右手運動想象EEG信號識別中獲得了較好的分類性能，證明了方法的有效性，為運動想象EEG信號解碼特征層面的探索提供了新視角。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：費克玲和蔡霄仙參與論文選題、相關算法實現及論文寫作；陳順芝參與實驗數據整理及實驗結果分析統計；潘禮正和王煒參與論文審閱及修改。所有作者都閱讀并確認了最終稿件。
0 引言
腦-機接口（brain-computer interface，BCI）作為橋接人腦與外圍設備間的連接通路，可幫助受試者對輪椅、假肢等輔助設備進行控制，并在機器人、計算機光標控制等方面有著重要的應用前景[1-2]。腦電（electroencephalogram，EEG）信號是BCI系統實現腦機交互的信號依據，目前BCI系統中使用的EEG信號范式主要有誘發式與自發式兩種。其中，慢皮質電位、穩態視覺誘發電位屬于誘發式[3-4]，而運動想象屬于自發式[5-6]。當受試者進行肢體不同部位的運動想象時，所產生的是不依賴于外部刺激的自發EEG信號。BCI通過對其進行解碼，可將受試者的運動意圖轉化為控制命令，實現對外部設備的控制。受試者經訓練后能夠在任何時刻自主發起控制，因此基于運動想象范式的BCI不僅以其實用性受到業界重視，且為肢體運動功能障礙患者提供了康復訓練交互的新方法，具有極高的研究價值和意義[7]。
運動想象EEG信號解碼是BCI想象任務識別的關鍵環節，因信號本身具有顯著的非平穩、非線性等特點，使EEG信號解碼任務極具挑戰性。科學研究表明，當受試者進行實際的肢體運動或想象運動時，大腦對側的運動感知區alpha和beta頻段的能量減少，呈現事件相關去同步（event related desynchronization，ERD）現象 [8-9]。傳統的功率譜密度、時頻分析、參數建模皆根據這一現象對EEG信號進行特征表征[10-13]。Khan等[14]提出一種模型參數期望最大化估計算法，通過帶有光滑方程的卡爾曼濾波器估計ERD，避免了繁瑣的頻帶選取，使結果具有較好的收斂性。孟明等[15]提出塊選擇共空間模式，在細分頻段對信號進行局部化分析、構造數據塊，同時對通道和頻段提取特征，充分考慮了通道間的差異性。Huang等[16]在濾波器組共空間模式（filter bank common spatial pattern，FBCSP）的基礎上，引入多視圖學習策略，對不同時間窗和頻帶的特征進行聯合優化和權重分配，篩選出表征能力強的特征。孫會文等[17]利用希爾伯特-黃變換提取時頻域特征，構造自回歸模型，提取平均能量特征，以提升想象任務識別精度。谷學靜等[18]用小波包方法對EEG信號進行時頻分解，選取ERD現象明顯的頻段進行信號重構，結合串并行卷積神經網絡實現了自動提取特征的功能。上述方法在刻畫運動想象EEG信號的時頻特性時，有助于提升想象任務的識別精度，但仍存在以下不足：① 需在分解子層做進一步的信號分析及特征選擇，且通常存在參數選擇問題；② 深度學習方法雖減少了人為設計或選擇特征所造成的不完備性，但其運算代價較高、需要大量的訓練樣本[19-21]。
考慮到強噪背景下運動想象EEG數據的弱信號特點，以及受試者由平靜狀態進入運動想象狀態時，EEG信號可能存有的隱匿動態，特征層面的深入探索對于改進運動想象任務識別的性能具有重要意義。Broniec[22]利用閃噪譜（flicker noise spectroscopy，FNS）方法對運動想象EEG信號進行分析，發現信號在過渡過程中呈現一種峰傾結構，但該研究未找到適宜的特征表征方法，使其應用于運動想象EEG信號識別。本文為使隱藏于過渡階段EEG信號中有助于區分想象任務的關鍵信息得以表征，提出了一種新穎的運動想象EEG信號解碼方法：① 使用FNS方法對運動想象EEG信號進行解析，將二階差矩作為結構函數，并通過滑窗策略生成前兆時間序列，以發掘過渡階段的隱匿動態變化；② 利用加權FBCSP（weighted FBCSP，wFBCSP）對反映過渡階段特性的前兆時間序列進行特征提取，同時利用wFBCSP提取反應階段EEG信號的有效特征，使所提特征具有更全面的表征能力；③ 進一步利用最小冗余最大相關（minimum redundancy maximum relevance，mRMR）算法對特征向量進行篩選，使所選特征能自適應于受試者的個體差異，捕獲出信息表征能力較強的過渡階段特征。為驗證所提方法的有效性，本文將其應用于運動想象EEG信號公開數據集，以期實現EEG信號動態特性更為全面的特征表征。
1 運動想象數據來源
本文所用數據來自格拉茨工業大學知識發現研究院（Institute for Knowledge Discovery，Graz University of Technology）BCI實驗室提供的第四屆BCI競賽2b（BCI competition Ⅳ-2b）公開數據集[23]。該數據集記錄了9名受試者(編號為S01～S09)的采自C3、C4、Cz通道的EEG數據，電極分布如圖1所示。信號采樣頻率為250 Hz，并進行了0.5～100.0 Hz的帶通濾波和50 Hz的工頻陷波濾波。每次試驗開始時，在電腦屏幕中央顯示一個十字標識，2 s后設備會發出短暫的提示音，第3 s時屏幕中的十字標識處出現帶有方向的箭頭，箭頭持續約1.25 s。受試者需要在接下來的4 s內根據提示執行相應的運動想象任務。想象任務完成后，受試者放松1.5～2.2 s。單次運動想象試驗的EEG信號采集范式如圖1所示。每位受試者在完成左、右手運動想象任務時均進行5節試驗，前兩節屬無反饋運動想象（120 次/節），后三節屬反饋運動想象（160次/節）。
圖1
第四屆BCI競賽2b數據集試驗范式
Figure1.
Experiment design of the BCI Competition IV dataset 2b
2 方法
為有效辨識運動想象EEG信號，本文提出了基于FNS方法及wFBCSP（FNS-wFBCSP）的運動想象EEG信號識別模型，如圖2所示。其中主要包括四個部分：① 信號預處理，運動想象EEG信號中混疊大量背景噪聲及工頻干擾，故將原始信號送入0.5～45.0 Hz的巴特沃茲濾波器進行帶通濾波，并進行均值化處理；② 利用FNS方法進行信號分析，生成前兆時間序列，以反映過渡階段的顯著瞬態；③ 特征提取與融合，為表征運動想象EEG信號的有效信息，對過渡階段的前兆序列C及反應階段序列A分別采用wFBCSP進行特征提取，生成過渡階段特征FC和反應階段特征FA。利用mRMR進行特征局部選擇，生成融合特征FU；④ 使用支持向量機（support vector machines，SVM）實現左手和右手運動想象任務的分類。
圖2
基于FNS-wFBCSP方法的運動想象EEG信號識別模型
Figure2.
Schematic illustration of the motor imagery EEG signal recognition model based on FNS-wFBCSP
2.1 FNS方法
FNS方法的核心思想是基于結構函數捕獲信號在狀態遷移時的瞬態變化，使隱藏于不規則時間序列動態關聯中的關鍵信息得以凸顯[22]，該方法包含三個步驟：
步驟一：結構函數構造。本文以二階差矩作為結構函數，如式(1)所示：
|
其中，x(t)是運動想象EEG信號，τ 為時間滯后，τ (0, T/2]，T為時窗長度。信號x(t)的自相關函數如式(2)所示：
|
其中，是時間滯后為時信號x(t)的自相關函數。結構函數可進一步簡化，如式(3)所示：
|
其中，是無時間滯后時信號x(t)的自相關函數。即，把結構函數的求取轉換為自相關函數的計算。由于自相關函數計算可借助快速傅里葉變換（fast Fourier transform，FFT）完成，因而減小了結構函數的計算代價[10]。
步驟二：計算結構函數累積平均量。考慮到運動想象EEG信號的非平穩性，Qk為第k個時窗對應的結構函數累積平均量，如式(4)所示：
|
其中，α為滑窗因子，α∈(0, 0.5]；k∈[1, L]。
步驟三：生成前兆時間序列。為刻畫運動想象任務過程中信號由平靜狀態到想象狀態的瞬態變化量，以有限時窗內的結構函數為基準，對為了凸顯EEG信號混沌序列的瞬態變化進行了數據重構。設ΔT為時窗的滑動步距，定義前兆時間序列C={Ck}（k = 1, …, L-1）如式(5)所示：
|
2.2 基于wFBCSP模式的特征提取
FBCSP作為高效的空域濾波算法在EEG信號特征提取中獲得廣泛應用[24]。若分頻段處理的信號為X∈RH x M，H為通道數，M代表單次實驗對應的信號點數，則FBCSP通過尋求最優濾波器使得投影后的兩類信號方差差異最大化，得到對應頻段的特征向量。FBCSP方法使用訓練好的空域濾波器W對信號X做濾波處理，得到濾波后的信號Z，并通過求取Z的方差對數得到對應的特征向量p，其計算公式如式(6)和式(7)所示：
|
|
wFBCSP模式在FBCSP的基礎上融入了權重的處理，即在多通道的運動想象EEG信號中，由于各通道所含有效信息量不同，為保證最大化利用各通道信息、避免由于舍棄部分通道而導致信息遺失，通過賦予通道不同權重以提取更具區分度的特征。依據前期分析對各通道所含有效信息量進行排序，對通道h的特征使用高斯函數進行加權，得到相應權重rh。此外，補充極差特征，得到每個通道特征。因此，加權處理后的特征fh如式(8)所示：
|
基于FNS-wFBCSP方法的特征提取算法計算復雜度低，在辨識左右手運動想象任務時能夠從多域角發掘信號的有效特征，以便為模式分類做準備。
2.3 mRMR特征選擇算法
針對運動想象任務中受試者的個體差異，本文采用mRMR算法對本文2.2小節部分所提取的運動想象過渡階段特征向量FC進行特征選擇。mRMR是一種結合了搜索策略的特征選擇過濾方法，即在特征空間的構建中，將選擇的特征與所屬類別進行了最大相關的約束，同時利用最小冗余準則以降低特征之間的冗余[25]。這樣不僅能防止不相關的特征對模型訓練的干擾，同時可改進模式判別準確率低的不足[26]。
(1)在互信息框架下，特征選擇的目的是尋找由m個特征{ fi }構成的特征向量F，使其與目標類別y具有聯合最大的相關性。所采用最大相關性策略如式(9)所示：
|
其中，D表示相關性，D(F, y)表示特征向量F與類別y的相關性， 表示特征 的概率， 表示類別y的概率，p(fi, y)表示特征與類標簽y的聯合概率。
(2)然而最大相關約束會導致所選擇的特征出現冗余度大的問題，因此在選擇新特征時可加入最小冗余條件，如式(10)所示：
|
其中，R表示冗余度，R (F)表示特征向量F的冗余度，p(fj)表示特征fj的概率，p(fi, fj)表示特征fi與特征fj的聯合概率。
(3)綜合以上兩個約束條件，定義算子Φ(D, R)，可令D與R差值最大以實現D與R的同時優化。設已有m-1個所選擇特征構成特征集，則尋找由Φ定義的最優特征集演化為求解優化問題，即集合{}中選擇第m個特征使得Φ最大。采用增量式的搜索方法，最終可使計算代價大為降低。
2.4 分類器與評估標準
SVM具有優異的泛化性能和學習能力，適宜運動想象任務場景下的小樣本、非線性模式識別任務，SVM構造最大間隔超平面以實現最小化分類誤差。本文以其為分類器，給定訓練集xj∈Rm 表征m維特征空間的輸入矢量，∈{?1,+1} 表征輸出標量，N為樣本數。由于最優超平面的構造屬于二次型問題，期望獲取的最優分類函數[27]如式(11)所示：
|
其中，w為決定超平面方向的法向量，b為分類閾值。
針對運動想象EEG信號特征非線性不可分問題，通過映射函數Φ將x映射為特征向量Φ(x)，以獲得合適的劃分超平面。為求解這一問題，引入拉格朗日函數，如式(12)所示:
|
其中，=(1, 2,…, j)T為拉格朗日乘子。為了尋找合適的參數，需要對拉格朗日函數求偏導，求得參數最優解，最終建立最優分類判別函數。
為評估所提運動想象任務辯識方法的性能，本文利用SVM進行左右手運動想象分類所采用的性能評價指標有：準確率（accuracy，Acc），體現正確分類樣本數占總樣本個數的比例；卡帕（Kappa）系數可以消除隨機分類的干擾，是衡量分類精度的常用指標。
3 實驗與結果分析
為驗證本文所提方法進行運動想象任務識別的可行性，本實驗首先對數據集中9位受試者（編號為S01～S09）的運動想象EEG數據進行了預處理，并通過FNS方法對運動想象EEG信號進行分析、參數尋優；采用wFBCSP模式進行過渡段、反應段EEG信號特征提取，并通過mRMR篩選生成融合特征向量，最后使用SVM進行想象任務判別。最小二乘SVM（least square SVM，LSSVM）以其較優的泛化性能適宜于小樣本分類判別[28]，故本實驗以其為分類器求取不同受試者的分類結果。
3.1 基于FNS法的前兆序列分析
根據本文2.1小節FNS方法步驟，采用滑窗策略對運動想象EEG信號進行分段，借助FFT計算自相關函數，進而計算出前兆時間序列C。隨機選取第四位受試者S04為例，將參數滑窗長度T設置為0.8 s，滑窗步距ΔT為0.048 s，滑窗因子α經預實驗定為0.13時，使用FNS方法對其想象左手運動時的C4通道數據進行分析，得到的前兆時間序列如圖3所示。可見，當受試者開始運動想象任務前，其前兆序列的動態變化中呈現一種明顯的峰傾結構，該結構出現在想象任務提示第3 s之前。
圖3
C4通道左手想象任務前兆時間序列C
Figure3.
Precursor time series C in task of left hand motor imagery at the C4 electrode
當改變滑窗參數時，由同一段信號所得到的前兆時間序列亦有差別。如圖4所示，當滑窗步距增大時，前后時窗間重疊部分減少，導致相應的峰傾結構幅值降低；當滑窗長度增大時，窗內的信號數據增多，對應的峰傾結構出現時間提前。通過預實驗，利用FNS法對運動想象EEG信號進行解析時，所采用的參數為：滑窗長度T設置為0.8 s，滑窗步距ΔT為0.048 s，滑窗因子α經預實驗定為0.13。針對左右手運動想象EEG信號，本實驗選取前兆時間序列中出現峰傾結構的0～4 s數據生成前兆時間序列C，以表征過渡段的有效信息。
圖4
不同參數組合時C4通道左手想象任務前兆時間序列C
Figure4.
Precursor time series C with different parameter combinations in task of left hand motor imagery at the C4 electrode
3.2 特征分析
對于濾波器組，以4 Hz為頻段寬度，使用9個子帶（4～8 Hz，8～12 Hz，12～16 Hz，…，36～40 Hz）對運動想象EEG信號進行頻段劃分。選取0～4 s對應的前兆時間序列C，同時選取3.5～6.5 s的EEG數據為反應階段序列A，將C和A輸入到wFBCSP生成對應特征向量。
為了驗證FNS-wFBCSP方法在特征融合時的效果，根據本文2.2小節所描述的方法，通過降維處理在三維空間中可視化不同方法提取的高維特征向量。根據本文第1小節運動想象數據來源所述，由于受試者后三節數據（第3、4、5節）均采用了具有反饋的試驗范式，以所有受試者第3節的運動想象EEG信號作為訓練集，第4節和第5節作為測試集進行本文實驗，分別使用FNS-wFBCSP方法、wFBCSP方法及FBCSP方法提取特征。以隨機選取的受試者S04為例，將來自訓練集樣本的過渡階段特征FC與反應階段特征FA進行特征融合，得到的散點圖在三維空間進行展示，如圖5所示。由于圖5中的每個點代表從每組訓練樣本中提取出的特征值，由此可看出三種方法生成特征的相應區別。由wFBCSP方法對反應階段矩陣A所提取的FA特征散點分布可見，融合過渡段與反應段生成特征的模式分布較僅采用反應階段特征的模式分布更為緊致。此外，對比由FBCSP方法生成的反應階段特征散點圖可見，采用wFBCSP方法生成特征較FBCSP生成特征在左右手任務識別中具有更好的區分性。
圖5
不同方法所提取的特征散點圖
Figure5.
Scatter plots of features extracted by different methods
為評估使用FNS-wFBCSP方法所提特征的分類效果，在LSSVM的參數設置相同的情形下，進行了基于FBCSP及wFBCSP方法的左右手運動想象任務識別對比實驗。其中FBCSP及wFBCSP方法均只針對反應階段提取特征，測試結果如表1所示。除受試者S03、S05、S07外，wFBCSP方法的識別性能均高于FBCSP。前者的平均分類準確率為78.66%，較FBCSP方法更高。這是由于wFBCSP方法通過對不同通道賦予權重，有助于加強多個空域通道EEG信號的信息表征能力。同時從表1可看出，對于每位受試者，FNS-wFBCSP方法的分類準確率均高于兩種對比方法，達到了87.05%的平均準確率，表明過渡段隱匿信息表達對識別性能亦有所裨益。此外，計算每位受試者的Kappa系數，結果如圖6所示。由圖6可以看出，FBCSP方法的平均Kappa系數為0.51，wFBCSP的平均Kappa系數為0.58。而FNS-wFBCSP方法的平均Kappa系數達到了0.74，相比其他兩種方法有顯著提升，表明FNS-wFBCSP方法擁有更好的運動想象EEG信號特征表征能力。
表1
不同特征提取方法的準確率性能比較
Table1.
Accuracy comparison of different feature extraction methods
圖6
不同特征提取方法的Kappa系數
Figure6.
Kappa coefficient of different feature extraction methods
為更全面地驗證mRMR對分類識別任務的影響，本節還進行了消融實驗：將FC與FA分四種情況輸入mRMR，使用LSSVM測試分類準確率，結果如表2所示。四種情況分別是：① 不對FC與FA進行篩選；② 僅對FC進行篩選；③ 僅對FA進行篩選；④ 同時對FC與FA進行篩選。根據表2可知：① 對所有特征不做篩選時得到的平均分類準確率僅有79.03%，低于其他三種情況。使用mRMR進行特征篩選有助于提升本文方法的分類精度，其可以減少高維特征中的冗余特征，保留相關性強的特征；② 單獨對FC進行mRMR篩選的平均分類準確率為87.05%，比單獨對FA進行篩選的分類結果更高，說明相比于反應階段，過渡階段提取的特征中含有更多的冗余信息；③ 同時對FC和FA進行mRMR篩選，盡管部分受試者的分類精度略高于僅篩選FC的情況，但平均分類精度卻有所下降。考慮到同時對兩個階段的特征進行篩選時，計算代價高，提升效果有限，因此本文單獨對FC做特征篩選。將通過mRMR特征選擇的FC與FA相融合，所得融合特征FU可以兼顧良好的運算效率和較高的分類精度。
表2
mRMR特征選擇消融實驗結果對比
Table2.
Comparison of ablation results of feature selection with mRMR
3.3 本文方法與其他方法的對比研究
將本文方法與其它研究者在第四屆BCI競賽2b公開數據集中所提出的方法進行對比。文獻[29]基于自適應共空間模式（adaptive common spatial pattern，ACSP）進行特征提取，并利用SVM進行分類識別。文獻[30]采用判別式FBCSP（discriminative FBCSP，DFBCSP）及SVM完成運動想象任務識別。文獻[31]提出雙分支卷積神經網絡（two-branch time-frequency convolutional neural network，TBTF-CNN）結構，對EEG信號的時域和頻域信息進行多層次挖掘。文獻[32]提出基于深度表示的域自適應（deep representation-based domain adaptation，DRDA）算法，提取多域數據的判別特征以改善目標域的分類性能。為了與對照方法中的訓練、測試數據配置一致，將數據集每個受試者前三節（第1、2、3節）用作訓練集，后兩節（第4、5節）用作測試集，實驗結果如表3所示。
表3
不同研究方法性能比較
Table3.
Performance comparison of different research methods
從表3分析可知，本文所用方法的分類準確率均高于其他算法，其中最高分類準確率達到了99.38%，其次也達到了96.25%。即使使用同一種算法對于不同的受試者而言，其分類準確率也有較大差異。運動想象任務的識別性能不僅取決于受試者進行想象任務時心理活動的質量，也與特征提取方法密切相關。從表3可看出：對于每位受試者，與對比方法中性能最好的DRDA法相比，本文方法分類準確率有所提高。此外，對于運動想象心理活動質量較差的受試者（如S02、S03），FNS-wFBCSP方法在左右手想象任務識別中的分類準確率皆有所提高。
4 結論
本文通過發掘傳統方法未深入探索的運動想象過渡階段EEG信號的動態信息，提出了以FNS-wFBCSP方法對多階段的EEG信號進行有效特征表征，主要結論如下：
(1)利用FNS方法使得運動想象過渡階段所隱藏的瞬態信息得以發掘，且通過FFT優化相應算法，令前兆序列的計算具有代價小、速度快的優點。
(2)采用wFBCSP模式分別對過渡階段的前兆時間序列及反應階段的EEG信號進行空域濾波，不僅能夠提取表征能力強的特征，且有助于降低數據計算的復雜度。在此基礎上利用mRMR算法進行特征選擇，使所選特征能自適應于受試者的個體差異，實現了運動想象多階段特征的有效融合。
(3)通過實驗對比分析，本文所提方法在左右手運動想象EEG信號識別中獲得了較好的分類性能，證明了方法的有效性，為運動想象EEG信號解碼特征層面的探索提供了新視角。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：費克玲和蔡霄仙參與論文選題、相關算法實現及論文寫作；陳順芝參與實驗數據整理及實驗結果分析統計；潘禮正和王煒參與論文審閱及修改。所有作者都閱讀并確認了最終稿件。
