注意將我們的心理資源集中到感興趣事件的處理上,是一種重要的行為和認知過程。識別注意力狀態對提高工作績效、減少失誤的發生具有重要意義。然而,至今還沒有能夠直接并客觀檢測注意力狀態的方法。基于視覺注意對穩態視覺誘發電位(SSVEP)具有調節效應這一事實,本文設計了 10 Hz 穩態視覺刺激背景下的 go/no-go 實驗范式,以探究不同視覺注意狀態調制 SSVEP 特征的可分性。實驗記錄了 15 名在校研究生志愿者高、低視覺注意力狀態下的腦電信號,高、低視覺注意力狀態由行為學反應情況判定。研究分析了高、低視覺注意力狀態下 SSVEP 信號的差異,并采用相關分類算法對這種差異進行了識別。結果表明,判別典型模式匹配(DCPM)算法相比線性判別分析(LDA)算法和典型相關分析(CCA)算法分類識別效果更佳,正確率可達 76%。研究結果證明,不同視覺注意狀態調制的 SSVEP 特征具有可分性,這為視覺注意力狀態的監測提供了新方法。
引用本文: 許敏鵬, 程秀敏, 明東. 不同視覺注意狀態調制穩態視覺誘發電位特征的可分性研究. 生物醫學工程學雜志, 2019, 36(5): 705-710. doi: 10.7507/1001-5515.201811046 復制
版權信息: ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有,未經授權不得轉載、改編
引言
注意(attention)指心理活動集中于某一事物而忽略其他不相關事物的行為和認知過程[1]。在人們日常學習、工作和生活中,注意扮演著至關重要的作用[2]。但是,對于大多數人而言,長時間保持良好的注意力狀態是極其困難的[3]。伴隨著注意力下降,不僅學習、工作效率會受到直接影響,甚至可能引發嚴重的事故。如果注意力的下降可以被提前感知,就有可能在失誤來臨之前采取相應的措施加以阻止,控制由于注意力下降造成的失誤[4]。然而,大多數時候個體無法準確識別自己的注意狀態,特別是當注意已經脫離手頭任務的時候[5]。因此,注意力狀態識別技術有著重大的研究意義和應用價值。
注意的過程包含大量復雜的神經活動,這導致直接對注意力狀態進行識別具有一定的挑戰性。現有的注意力狀態識別方法主要有問卷調查、眼動儀[6]、行為學參數[7]、腦電圖(electroencephalogram,EEG)[8-10]、磁共振成像(magnetic resonance imaging,MRI)[4, 11-12]等。問卷調查為離線識別,不具備實時性,且個體間記憶力的差異會影響識別的結果;利用眼動儀雖然可以實時監測被試的注視行為,但是無法區分注視過程的注意力狀態[13];EEG 和 MRI 作為兩種非侵入式的神經成像技術,包含了大量的人體生理、心理以及病理信息。相較于 MRI,EEG 具有時間分辨率高、成像時間短和簡便易行等優勢,近年來被廣泛應用于注意力狀態的識別研究。
以往基于 EEG 的注意力狀態識別大多是直接采取自發腦電信號特征,比如計算 θ、α 與 β 波段腦電信號的功率比值[8-10]。這種方法識別效果易受干擾,且個體間差異性較大。近年來的研究結果表明,穩態視覺誘發電位(steady state visual evoked potential,SSVEP)作為一種相對穩定的大腦活動模式,視覺注意對其具有調節作用[14-17]。具體來講,在注意情景下,以特定頻率振蕩的視覺穩態刺激誘發的相應 SSVEP 的響應幅度會得到增強,但是研究中發現這種調節作用非常微弱。因此,為探究視覺注意對 SSVEP 的調制結果是否具有可分性,本文設計了以 10 Hz 穩態視覺刺激(steady state visual stimulus,SSVS)為背景的 go/no-go 實驗范式。實驗過程中采集被試的行為學按鍵反應數據以及腦電信號。首先根據被試的按鍵反應結果來判斷被試所處的注意力狀態:正確按鍵即表示高注意力水平,錯誤按鍵即表示低注意力水平。隨后分析了高、低視覺注意力水平下 SSVEP 信號的差異,并采用相關分類算法對這種差異進行了識別,從而探究不同注意力狀態調制 SSVEP 信號特征的可分性。
1 實驗
1.1 實驗對象
本文實驗被試為 15 名身體健康、無精神病史、視力正常或矯正后正常的青年志愿者(年齡 22~26 周歲,其中 8 名女性,所有被試均為右利手)。實驗經天津大學倫理審查委員會批準。實驗前所有被試均閱讀了實驗相關的說明和注意事項,并簽署了實驗知情同意書。
1.2 實驗設計
go/no-go 實驗范式是一種常用于研究反應停止能力的范式,長時間執行能夠誘發視覺注意力疲勞,設置 SSVS 為背景可獲取不同注意力水平下的 SSVEP 信號。具體實驗設計如圖 1 所示,刺激界面利用 MATLAB 中的 PSYCHTOOLBOX 工具包生成,刺激序列呈現在像素為 1 600*900、刷新率為 60 Hz 的液晶顯示屏上。圖 1a 表示每個 block 中包含 600 個試次,持續時間為 10 min。圖 1b、圖 1c 表示在 go 和 no-go trial 中 SSVS 和瞬態任務刺激(transient task stimulus,TTS)的具體呈現方式。其中背景 SSVS 為位于屏幕中央以 10 Hz 頻率閃爍的白色的圓,RGB(255, 255, 255),其半徑為 25 個像素,SSVS 在整個 trial 中都存在;TTS 為每隔 1 s 隨機出現在白圓的上半部分或者下半部分的藍色小圓點,RGB(0,0,128),其半徑為 1 個像素(視角 0.076°),當藍色小圓點出現在白圓的上半部分時為 go 刺激,出現在下半部分時為 no-go 刺激,go 刺激與 no-go 刺激在每個 trial 中的持續時間為 700 ms。實驗過程中其余的屏幕背景為黑色,RGB(0,0,0),被試與顯示屏保持大約 60 cm 的距離。
 圖1
				實驗設計
						
				圖1
				實驗設計
			
									a. 一個 block 中包含 600 個試次,持續時間為 10 min;b. go trial 中 SSVS 與 TTS 刺激的呈現方式;c. no-go trial 中 SSVS 與 TTS 刺激的呈現方式
Figure1. Experimental designa. each block contains 600 trials with a duration of 10 minutes; b. the presentation of SSVS and TTS stimulation in go trials; c. the presentation of SSVS and TTS stimulation in no-go trials
圖 1a 中每個 block 中 go 刺激出現的概率是 88%,go 刺激出現時被試需要盡可能快地按下↑鍵;no-go 刺激出現的概率是 12%,此時被試不需要按鍵。實驗之前利用 MATLAB 生成三個偽隨機序列,每個序列中保證相鄰兩個 no-go 刺激之間相隔 4~23 個 go 刺激,實驗過程中每個 block 隨機抽取一個序列,go 刺激和 no-go 刺激則以對應于該序列的順序出現。go 刺激出現時,被試按下↑鍵為反應正確,被試未按↑鍵則為反應錯誤。no-go 刺激出現時,被試未按鍵為反應正確,被試按鍵則為反應錯誤。反應正確和反應錯誤均指被試在刺激出現后 0~1 s 時間段內所做出的反應。本文所述的高、低注意力水平是根據 no-go 刺激出現時被試的行為學反應情況判定的,no-go 刺激出現時,被試反應正確即為高注意力水平,被試反應錯誤即為低注意力水平。實驗開始之前所有被試均進行了 2 min 的預先練習。為保證樣本量,實驗過程中被試完成 3 個 block 之后,會統計被試對于 no-go 刺激反應正確和反應錯誤的試次,若二者中任一試次數小于 50 則繼續實驗,直至兩種樣本的試次數均不小于 50 方可結束實驗。最后統計發現,所有受試者均在 6 個 block(60 min)內完成實驗。
1.3 實驗數據采集與預處理
實驗中腦電信號的采集通過 NeuroScan 4.5 系統完成,電極位置按照國際 10-20 標準安放,以右乳突為參考電極,采樣頻率為 1 000 Hz,帶寬為 0.5~200 Hz,實驗過程中保證所有導聯的阻抗不大于 5 kΩ。預處理包括降采樣、帶通濾波等。
2 研究方法
線性判別分析算法(linear discrimination analysis,LDA)、典型相關分析算法(canonical correlation analysis,CCA)以及結合空間濾波和模板匹配的判別典型模式匹配算法(discriminative canonical pattern matching,DCPM)是近年來廣泛用于識別不同認知狀態下 SSVEP 信號特征的主要算法[18-22],因此本文利用這三種算法對高、低視覺注意力水平下 SSVEP 信號的差異進行了識別。LDA 算法也稱作 Fisher 線性判別,其基本思想是選擇令 Fisher 準則函數達到極值的向量作為最佳投影方向,從而使得樣本在該方向上投影后,能增大不同類目標個體間的差異,同時減小同類目標間的差異[22]。也就是說,通過 LDA 變換后,不但可以降低原始數據特征的維數,還可以使樣本在投影后達到最大的類間離散度和最小的類內離散度,從而改變分類效果。DCPM 算法由三個主要部分組成:① 判別空間模式(discriminative spatial patterns,DSPs)的構建;② CCA 模板的構建;③ 模板匹配[21],具體計算過程如下:
(1)構建 DSP,以消除共模噪聲。假設  是模式
 是模式  的訓練集,
 的訓練集, 是測試集,其中
 是測試集,其中  是導聯數,
 是導聯數, 是采樣時間點數,
 是采樣時間點數, 是樣本量。它們在時間上都是零均值。模式
 是樣本量。它們在時間上都是零均值。模式  的模板,記為
 的模板,記為  ,是訓練樣本的平均值。
,是訓練樣本的平均值。 的協方差矩陣為:
的協方差矩陣為:
|  | 
 和
 和  的方差為:
 的方差為:
|  | 
|  | 
基于 Fisher’s 線性判別準則,DSP 找到一個投影矩陣 W,W 可被視為一組空間濾波器,可使兩類模板在經過變換后更易辨別。
|  | 
|  | 
|  | 
其中 λi 是 W 第 i 列的特征值。
(2)CCA 模板的構建。通過 W 去除共模噪聲后,利用 CCA 算法找到兩個投影矩陣  和
 和  來揭示
 來揭示  和
 和  之間潛在的相關性,這一過程相當于求解:
 之間潛在的相關性,這一過程相當于求解:
|  | 
其中 ε[?]是期望值。
(3)模板匹配。最后,在模式匹配過程中,確定訓練模板和測試數據間的相似度  。
。 的計算過程如下式:
 的計算過程如下式:
|  | 
其中  為 Pearson’s 相關,
為 Pearson’s 相關, 為歐氏距離。
為歐氏距離。
|  | 
Y 的預測編碼模式為:
|  | 
DCPM 算法是對傳統 CCA 算法的改進,本研究在此基礎上有效利用 SSVEP 的諧波成分,以組合特征信號為模板輸入方式,大大提高了不同注意力水平下 SSVEP 特征的分類識別正確率。
3 結果
3.1 行為學數據分析
行為學分析結果如圖 2 所示。圖 2a 是對不同刺激條件下被試間平均反應正確率的分析,go 刺激條件下單個被試的反應正確率為 go 刺激出現時被試反應正確(即藍色小圓點出現在中央白圓的上半部分時被試按↑鍵)的次數與 go 刺激出現總次數的比值;no-go 刺激條件下單個被試的反應正確率采取同樣的計算方法,為 no-go 刺激出現時被試反應正確(即藍色小圓點出現在中央白圓的下半部分時被試不按鍵)的次數與 no-go 刺激出現總次數的比值。由圖 2a 可見在 no-go 刺激條件下被試反應正確率僅為 70% 左右,顯著低于 go 刺激條件下的反應正確率(P < 0.001)。圖 2b 是對 no-go 刺激出現前后,高、低視覺注意力狀態下反應時間的分析。實驗過程中利用 MATLAB 中的 PSYCHTOOLBOX 工具包在每個刺激出現的時刻即每一秒的開始時刻和每次按鍵的時刻分別設置不同的標簽,并保存輸出數字標簽至腦電信號采集系統,使得腦電信號與按鍵操作在時間上保持同步。反應時間的統計基于刺激出現時刻和與其對應的按鍵時刻的時間差。當 no-go 刺激出現時被試不需要按鍵,因此 no-go 刺激出現,被試反應正確的情況下不存在反應時間。圖 2b 中橫軸“0”表示 no-go 刺激出現的時刻。圖中所示為 no-go 刺激出現前 8 s 至后 4 s 反應時間的變化情況。no-go 刺激出現前 8 s 至后 4 s 每個時刻的反應時間均為 15 名被試所有 block 中相應試次的平均。圖中藍色線條顯示的是反應正確即注意力水平較高的情況下反應時間的變化情況,紅色線條顯示的是反應錯誤即注意力水平較低的情況下反應時間的變化情況。灰色區域表示經統計檢驗后具有顯著差異(P<0.01)。可見 no-go 刺激出現前 2 s 內,被試注意力水平較低的情況下反應時間顯著較短,而在此之前以及 no-go 刺激出現之后高、低注意力水平下的反應時間趨于同步,沒有顯著差異。
 圖2
				行為學數據分析
						
				圖2
				行為學數據分析
			
									a. go 與 no-go 刺激條件下的反應正確率;b. no-go 刺激出現前后,高、低注意力水平下的反應時間
Figure2. Behavioral data analysisa. the response accuracy of go and no-go stimulation; b. response time before and after the occurrence of no-go stimulation at high and low attentional states
3.2 頻域特征分析
SSVEP 是由特定頻率的視覺刺激所誘發的包含與刺激頻率相同以及高次諧波頻率成分的周期性響應,研究表明視覺注意對 SSVEP 的調制作用在枕區較為顯著[16]。因此對視覺皮層的 SSVEP 進行頻域分析更適合觀察、分析其特征。圖 3 是對 15 名被試 OZ 導聯 SSVEP 進行傅里葉變換的平均結果,截取的是 no-go 刺激出現前 1 s 的數據,帶通濾波范圍為 0.5~100 Hz。由圖可知,不論被試注意力水平高或低,都會誘發出明顯的 SSVEP,而且在刺激頻率 10 Hz 和二倍頻 20 Hz 處不同注意力水平對應的 SSVEP 信號均有明顯峰值;從三次諧波開始 SSVEP 信號幅值較為微弱。統計檢驗結果顯示,在 30、60、70、80、90 Hz 頻段,不同注意力水平下的 SSVEP 信號有顯著差異(P < 0.05),且在大于 30 Hz 的頻段內,高注意力水平下 SSVEP 信號的頻譜幅值較低。
 圖3
				不同注意力水平下SSVEP頻域特征分析
			
												
				Figure3.
				Frequency domain feature analysis of SSVEP at different   attentional states
						
				圖3
				不同注意力水平下SSVEP頻域特征分析
			
												
				Figure3.
				Frequency domain feature analysis of SSVEP at different   attentional states
			
								3.3 分類識別
表 1 顯示的分別是利用結合十折交叉驗證的 LDA 算法、傳統 CCA 算法和 DCPM 算法對 15 名被試不同注意力水平下 SSVEP 信號的分類識別正確率。可見,三種算法中 DCPM 算法的分類結果最佳,其分類正確率最高可達 76%,并且個體間差異性較小。分類識別過程中,LDA 算法輸入的特征值為 no-go 刺激出現前 1 s 被試高、低注意力水平下 10、20、30、40、60、70、80、90 Hz 頻率處 SSVEP 信號的能量值;傳統 CCA 算法和 DCPM 算法則是基于預處理后的 SSVEP 信號直接進行分析。
 表1
                三種算法的分類正確率
		 	
		 			 				Table1.
    			Classification accuracy of the three algorithms
			
						表1
                三種算法的分類正確率
		 	
		 			 				Table1.
    			Classification accuracy of the three algorithms
       		
       				4 討論
行為學分析結果顯示被試對于 no-go 刺激的反應正確率較低,即被試普遍存在反應停止困難[23],實驗任務的完成需要一定程度心理資源的投入,證明被試對 no-go 刺激的反應可以反映出其注意力水平。對反應時間的分析結果顯示 no-go 刺激出現前 2 s 內,被試反應錯誤時反應時間顯著較短,這表明注意力水平下降不是瞬時發生的,是能夠根據其發生前一段時間內的行為進行預測的。通常我們認為注意越集中,反應時間越短,但本研究得到的結果與這一結論并不一致。經分析,導致這種現象的原因可能是實驗過程中被試注意力水平降低時,反應停止能力隨之下降,停止加工速度過慢,反應過程快于停止過程,被試不經過思考和判斷就對 no-go 刺激做出了習慣性的按鍵反應,以致注意力水平低的狀態下反應時間反而較短。
對視覺皮層 SSVEP 信號的頻域特征分析結果顯示,在 30、60、70、80、90 Hz 頻段,不同注意力水平下的 SSVEP 有顯著差異,表明這些頻段的 SSVEP 信號對于注意力的集中程度有一定的敏感性。分類結果表明,采用 DCPM 算法以組合特征信號為模板輸入方式,可有效提升不同注意力水平下 SSVEP 的識別正確率。這表明,SSVEP 的諧波信號中包含著與視覺注意相關的成分,意味著視覺注意對 SSVEP 的諧波信號同樣具有一定的調制作用。
5 結論
本研究基于注意對 SSVEP 具有調節作用這一神經科學發現,設計了以 10 Hz SSVS 為背景的 go/no-go 實驗范式,驗證了不同視覺注意狀態調制的 SSVEP 特征具有可分性,并且研究發現 DCPM 算法相比 LDA 算法和傳統 CCA 算法能夠更好地識別不同注意力水平下 SSVEP 信號的差異。研究中相關的實驗設計、特征提取以及模式識別方法對視覺注意力狀態的監測與識別具有重要意義。
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
引言
注意(attention)指心理活動集中于某一事物而忽略其他不相關事物的行為和認知過程[1]。在人們日常學習、工作和生活中,注意扮演著至關重要的作用[2]。但是,對于大多數人而言,長時間保持良好的注意力狀態是極其困難的[3]。伴隨著注意力下降,不僅學習、工作效率會受到直接影響,甚至可能引發嚴重的事故。如果注意力的下降可以被提前感知,就有可能在失誤來臨之前采取相應的措施加以阻止,控制由于注意力下降造成的失誤[4]。然而,大多數時候個體無法準確識別自己的注意狀態,特別是當注意已經脫離手頭任務的時候[5]。因此,注意力狀態識別技術有著重大的研究意義和應用價值。
注意的過程包含大量復雜的神經活動,這導致直接對注意力狀態進行識別具有一定的挑戰性。現有的注意力狀態識別方法主要有問卷調查、眼動儀[6]、行為學參數[7]、腦電圖(electroencephalogram,EEG)[8-10]、磁共振成像(magnetic resonance imaging,MRI)[4, 11-12]等。問卷調查為離線識別,不具備實時性,且個體間記憶力的差異會影響識別的結果;利用眼動儀雖然可以實時監測被試的注視行為,但是無法區分注視過程的注意力狀態[13];EEG 和 MRI 作為兩種非侵入式的神經成像技術,包含了大量的人體生理、心理以及病理信息。相較于 MRI,EEG 具有時間分辨率高、成像時間短和簡便易行等優勢,近年來被廣泛應用于注意力狀態的識別研究。
以往基于 EEG 的注意力狀態識別大多是直接采取自發腦電信號特征,比如計算 θ、α 與 β 波段腦電信號的功率比值[8-10]。這種方法識別效果易受干擾,且個體間差異性較大。近年來的研究結果表明,穩態視覺誘發電位(steady state visual evoked potential,SSVEP)作為一種相對穩定的大腦活動模式,視覺注意對其具有調節作用[14-17]。具體來講,在注意情景下,以特定頻率振蕩的視覺穩態刺激誘發的相應 SSVEP 的響應幅度會得到增強,但是研究中發現這種調節作用非常微弱。因此,為探究視覺注意對 SSVEP 的調制結果是否具有可分性,本文設計了以 10 Hz 穩態視覺刺激(steady state visual stimulus,SSVS)為背景的 go/no-go 實驗范式。實驗過程中采集被試的行為學按鍵反應數據以及腦電信號。首先根據被試的按鍵反應結果來判斷被試所處的注意力狀態:正確按鍵即表示高注意力水平,錯誤按鍵即表示低注意力水平。隨后分析了高、低視覺注意力水平下 SSVEP 信號的差異,并采用相關分類算法對這種差異進行了識別,從而探究不同注意力狀態調制 SSVEP 信號特征的可分性。
1 實驗
1.1 實驗對象
本文實驗被試為 15 名身體健康、無精神病史、視力正常或矯正后正常的青年志愿者(年齡 22~26 周歲,其中 8 名女性,所有被試均為右利手)。實驗經天津大學倫理審查委員會批準。實驗前所有被試均閱讀了實驗相關的說明和注意事項,并簽署了實驗知情同意書。
1.2 實驗設計
go/no-go 實驗范式是一種常用于研究反應停止能力的范式,長時間執行能夠誘發視覺注意力疲勞,設置 SSVS 為背景可獲取不同注意力水平下的 SSVEP 信號。具體實驗設計如圖 1 所示,刺激界面利用 MATLAB 中的 PSYCHTOOLBOX 工具包生成,刺激序列呈現在像素為 1 600*900、刷新率為 60 Hz 的液晶顯示屏上。圖 1a 表示每個 block 中包含 600 個試次,持續時間為 10 min。圖 1b、圖 1c 表示在 go 和 no-go trial 中 SSVS 和瞬態任務刺激(transient task stimulus,TTS)的具體呈現方式。其中背景 SSVS 為位于屏幕中央以 10 Hz 頻率閃爍的白色的圓,RGB(255, 255, 255),其半徑為 25 個像素,SSVS 在整個 trial 中都存在;TTS 為每隔 1 s 隨機出現在白圓的上半部分或者下半部分的藍色小圓點,RGB(0,0,128),其半徑為 1 個像素(視角 0.076°),當藍色小圓點出現在白圓的上半部分時為 go 刺激,出現在下半部分時為 no-go 刺激,go 刺激與 no-go 刺激在每個 trial 中的持續時間為 700 ms。實驗過程中其余的屏幕背景為黑色,RGB(0,0,0),被試與顯示屏保持大約 60 cm 的距離。
 圖1
				實驗設計
						
				圖1
				實驗設計
			
									a. 一個 block 中包含 600 個試次,持續時間為 10 min;b. go trial 中 SSVS 與 TTS 刺激的呈現方式;c. no-go trial 中 SSVS 與 TTS 刺激的呈現方式
Figure1. Experimental designa. each block contains 600 trials with a duration of 10 minutes; b. the presentation of SSVS and TTS stimulation in go trials; c. the presentation of SSVS and TTS stimulation in no-go trials
圖 1a 中每個 block 中 go 刺激出現的概率是 88%,go 刺激出現時被試需要盡可能快地按下↑鍵;no-go 刺激出現的概率是 12%,此時被試不需要按鍵。實驗之前利用 MATLAB 生成三個偽隨機序列,每個序列中保證相鄰兩個 no-go 刺激之間相隔 4~23 個 go 刺激,實驗過程中每個 block 隨機抽取一個序列,go 刺激和 no-go 刺激則以對應于該序列的順序出現。go 刺激出現時,被試按下↑鍵為反應正確,被試未按↑鍵則為反應錯誤。no-go 刺激出現時,被試未按鍵為反應正確,被試按鍵則為反應錯誤。反應正確和反應錯誤均指被試在刺激出現后 0~1 s 時間段內所做出的反應。本文所述的高、低注意力水平是根據 no-go 刺激出現時被試的行為學反應情況判定的,no-go 刺激出現時,被試反應正確即為高注意力水平,被試反應錯誤即為低注意力水平。實驗開始之前所有被試均進行了 2 min 的預先練習。為保證樣本量,實驗過程中被試完成 3 個 block 之后,會統計被試對于 no-go 刺激反應正確和反應錯誤的試次,若二者中任一試次數小于 50 則繼續實驗,直至兩種樣本的試次數均不小于 50 方可結束實驗。最后統計發現,所有受試者均在 6 個 block(60 min)內完成實驗。
1.3 實驗數據采集與預處理
實驗中腦電信號的采集通過 NeuroScan 4.5 系統完成,電極位置按照國際 10-20 標準安放,以右乳突為參考電極,采樣頻率為 1 000 Hz,帶寬為 0.5~200 Hz,實驗過程中保證所有導聯的阻抗不大于 5 kΩ。預處理包括降采樣、帶通濾波等。
2 研究方法
線性判別分析算法(linear discrimination analysis,LDA)、典型相關分析算法(canonical correlation analysis,CCA)以及結合空間濾波和模板匹配的判別典型模式匹配算法(discriminative canonical pattern matching,DCPM)是近年來廣泛用于識別不同認知狀態下 SSVEP 信號特征的主要算法[18-22],因此本文利用這三種算法對高、低視覺注意力水平下 SSVEP 信號的差異進行了識別。LDA 算法也稱作 Fisher 線性判別,其基本思想是選擇令 Fisher 準則函數達到極值的向量作為最佳投影方向,從而使得樣本在該方向上投影后,能增大不同類目標個體間的差異,同時減小同類目標間的差異[22]。也就是說,通過 LDA 變換后,不但可以降低原始數據特征的維數,還可以使樣本在投影后達到最大的類間離散度和最小的類內離散度,從而改變分類效果。DCPM 算法由三個主要部分組成:① 判別空間模式(discriminative spatial patterns,DSPs)的構建;② CCA 模板的構建;③ 模板匹配[21],具體計算過程如下:
(1)構建 DSP,以消除共模噪聲。假設  是模式
 是模式  的訓練集,
 的訓練集, 是測試集,其中
 是測試集,其中  是導聯數,
 是導聯數, 是采樣時間點數,
 是采樣時間點數, 是樣本量。它們在時間上都是零均值。模式
 是樣本量。它們在時間上都是零均值。模式  的模板,記為
 的模板,記為  ,是訓練樣本的平均值。
,是訓練樣本的平均值。 的協方差矩陣為:
的協方差矩陣為:
|  | 
 和
 和  的方差為:
 的方差為:
|  | 
|  | 
基于 Fisher’s 線性判別準則,DSP 找到一個投影矩陣 W,W 可被視為一組空間濾波器,可使兩類模板在經過變換后更易辨別。
|  | 
|  | 
|  | 
其中 λi 是 W 第 i 列的特征值。
(2)CCA 模板的構建。通過 W 去除共模噪聲后,利用 CCA 算法找到兩個投影矩陣  和
 和  來揭示
 來揭示  和
 和  之間潛在的相關性,這一過程相當于求解:
 之間潛在的相關性,這一過程相當于求解:
|  | 
其中 ε[?]是期望值。
(3)模板匹配。最后,在模式匹配過程中,確定訓練模板和測試數據間的相似度  。
。 的計算過程如下式:
 的計算過程如下式:
|  | 
其中  為 Pearson’s 相關,
為 Pearson’s 相關, 為歐氏距離。
為歐氏距離。
|  | 
Y 的預測編碼模式為:
|  | 
DCPM 算法是對傳統 CCA 算法的改進,本研究在此基礎上有效利用 SSVEP 的諧波成分,以組合特征信號為模板輸入方式,大大提高了不同注意力水平下 SSVEP 特征的分類識別正確率。
3 結果
3.1 行為學數據分析
行為學分析結果如圖 2 所示。圖 2a 是對不同刺激條件下被試間平均反應正確率的分析,go 刺激條件下單個被試的反應正確率為 go 刺激出現時被試反應正確(即藍色小圓點出現在中央白圓的上半部分時被試按↑鍵)的次數與 go 刺激出現總次數的比值;no-go 刺激條件下單個被試的反應正確率采取同樣的計算方法,為 no-go 刺激出現時被試反應正確(即藍色小圓點出現在中央白圓的下半部分時被試不按鍵)的次數與 no-go 刺激出現總次數的比值。由圖 2a 可見在 no-go 刺激條件下被試反應正確率僅為 70% 左右,顯著低于 go 刺激條件下的反應正確率(P < 0.001)。圖 2b 是對 no-go 刺激出現前后,高、低視覺注意力狀態下反應時間的分析。實驗過程中利用 MATLAB 中的 PSYCHTOOLBOX 工具包在每個刺激出現的時刻即每一秒的開始時刻和每次按鍵的時刻分別設置不同的標簽,并保存輸出數字標簽至腦電信號采集系統,使得腦電信號與按鍵操作在時間上保持同步。反應時間的統計基于刺激出現時刻和與其對應的按鍵時刻的時間差。當 no-go 刺激出現時被試不需要按鍵,因此 no-go 刺激出現,被試反應正確的情況下不存在反應時間。圖 2b 中橫軸“0”表示 no-go 刺激出現的時刻。圖中所示為 no-go 刺激出現前 8 s 至后 4 s 反應時間的變化情況。no-go 刺激出現前 8 s 至后 4 s 每個時刻的反應時間均為 15 名被試所有 block 中相應試次的平均。圖中藍色線條顯示的是反應正確即注意力水平較高的情況下反應時間的變化情況,紅色線條顯示的是反應錯誤即注意力水平較低的情況下反應時間的變化情況。灰色區域表示經統計檢驗后具有顯著差異(P<0.01)。可見 no-go 刺激出現前 2 s 內,被試注意力水平較低的情況下反應時間顯著較短,而在此之前以及 no-go 刺激出現之后高、低注意力水平下的反應時間趨于同步,沒有顯著差異。
 圖2
				行為學數據分析
						
				圖2
				行為學數據分析
			
									a. go 與 no-go 刺激條件下的反應正確率;b. no-go 刺激出現前后,高、低注意力水平下的反應時間
Figure2. Behavioral data analysisa. the response accuracy of go and no-go stimulation; b. response time before and after the occurrence of no-go stimulation at high and low attentional states
3.2 頻域特征分析
SSVEP 是由特定頻率的視覺刺激所誘發的包含與刺激頻率相同以及高次諧波頻率成分的周期性響應,研究表明視覺注意對 SSVEP 的調制作用在枕區較為顯著[16]。因此對視覺皮層的 SSVEP 進行頻域分析更適合觀察、分析其特征。圖 3 是對 15 名被試 OZ 導聯 SSVEP 進行傅里葉變換的平均結果,截取的是 no-go 刺激出現前 1 s 的數據,帶通濾波范圍為 0.5~100 Hz。由圖可知,不論被試注意力水平高或低,都會誘發出明顯的 SSVEP,而且在刺激頻率 10 Hz 和二倍頻 20 Hz 處不同注意力水平對應的 SSVEP 信號均有明顯峰值;從三次諧波開始 SSVEP 信號幅值較為微弱。統計檢驗結果顯示,在 30、60、70、80、90 Hz 頻段,不同注意力水平下的 SSVEP 信號有顯著差異(P < 0.05),且在大于 30 Hz 的頻段內,高注意力水平下 SSVEP 信號的頻譜幅值較低。
 圖3
				不同注意力水平下SSVEP頻域特征分析
			
												
				Figure3.
				Frequency domain feature analysis of SSVEP at different   attentional states
						
				圖3
				不同注意力水平下SSVEP頻域特征分析
			
												
				Figure3.
				Frequency domain feature analysis of SSVEP at different   attentional states
			
								3.3 分類識別
表 1 顯示的分別是利用結合十折交叉驗證的 LDA 算法、傳統 CCA 算法和 DCPM 算法對 15 名被試不同注意力水平下 SSVEP 信號的分類識別正確率。可見,三種算法中 DCPM 算法的分類結果最佳,其分類正確率最高可達 76%,并且個體間差異性較小。分類識別過程中,LDA 算法輸入的特征值為 no-go 刺激出現前 1 s 被試高、低注意力水平下 10、20、30、40、60、70、80、90 Hz 頻率處 SSVEP 信號的能量值;傳統 CCA 算法和 DCPM 算法則是基于預處理后的 SSVEP 信號直接進行分析。
 表1
                三種算法的分類正確率
		 	
		 			 				Table1.
    			Classification accuracy of the three algorithms
			
						表1
                三種算法的分類正確率
		 	
		 			 				Table1.
    			Classification accuracy of the three algorithms
       		
       				4 討論
行為學分析結果顯示被試對于 no-go 刺激的反應正確率較低,即被試普遍存在反應停止困難[23],實驗任務的完成需要一定程度心理資源的投入,證明被試對 no-go 刺激的反應可以反映出其注意力水平。對反應時間的分析結果顯示 no-go 刺激出現前 2 s 內,被試反應錯誤時反應時間顯著較短,這表明注意力水平下降不是瞬時發生的,是能夠根據其發生前一段時間內的行為進行預測的。通常我們認為注意越集中,反應時間越短,但本研究得到的結果與這一結論并不一致。經分析,導致這種現象的原因可能是實驗過程中被試注意力水平降低時,反應停止能力隨之下降,停止加工速度過慢,反應過程快于停止過程,被試不經過思考和判斷就對 no-go 刺激做出了習慣性的按鍵反應,以致注意力水平低的狀態下反應時間反而較短。
對視覺皮層 SSVEP 信號的頻域特征分析結果顯示,在 30、60、70、80、90 Hz 頻段,不同注意力水平下的 SSVEP 有顯著差異,表明這些頻段的 SSVEP 信號對于注意力的集中程度有一定的敏感性。分類結果表明,采用 DCPM 算法以組合特征信號為模板輸入方式,可有效提升不同注意力水平下 SSVEP 的識別正確率。這表明,SSVEP 的諧波信號中包含著與視覺注意相關的成分,意味著視覺注意對 SSVEP 的諧波信號同樣具有一定的調制作用。
5 結論
本研究基于注意對 SSVEP 具有調節作用這一神經科學發現,設計了以 10 Hz SSVS 為背景的 go/no-go 實驗范式,驗證了不同視覺注意狀態調制的 SSVEP 特征具有可分性,并且研究發現 DCPM 算法相比 LDA 算法和傳統 CCA 算法能夠更好地識別不同注意力水平下 SSVEP 信號的差異。研究中相關的實驗設計、特征提取以及模式識別方法對視覺注意力狀態的監測與識別具有重要意義。
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
 
        

 
                 
				 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	