情感數據獲取的有效性與合理性是認知情感計算研究中的關鍵問題,其結果直接影響后續的情感識別及分析。因此,建立性能良好的情感計算數據庫是情感計算研究的重要部分,也是該領域學者研究的熱點。本文針對這一問題,分析與比較了國際上兩個公開、經典的認知情感計算數據庫的性能,即美國麻省理工學院(MIT)的認知情感計算數據庫與德國Augsburg大學情感識別數據庫,分別就數據庫中數據的結構與數據類型進行了比較,并對基于該數據實現情感識別的效果進行了分析研究,結果表明,基于生理參數的分析,能有效地進行情感識別,是一種實現情感評估的可行方法。針對國內基于生理參數壓力情感評估的數據缺乏這一問題,構建了一個面向高校中高壓力人群的壓力情感評估數據庫。該數據庫以應屆碩士研究生作為受試,通過一定的認知任務刺激,采集其生理參數,并基于此數據庫進行了壓力分析,結果表明,該數據庫的建立對于壓力評估具有一定參考價值,希望通過此研究,為壓力情感評估和分析提供一個參考與支持。
引用本文: 李昕, 杜笑娟, 張云鵬, 應立娟, 李長吾. 基于生理信號的壓力情感數據庫的建立及分析. 生物醫學工程學雜志, 2014, 31(4): 782-787. doi: 10.7507/1001-5515.20140146 復制
版權信息: ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有,未經授權不得轉載、改編
引言
1997 年,美國麻省理工學院(Massachusetts Institute of Technology,MIT)的Picard[1]在她的專著《Affective Computing》一書中首次提出了“情感計算”這一概念。情感狀態的識別是情感計算的關鍵問題之一。情感狀態主要通過面部表情、語音、生理參數等表現,通過面部表情、語音等情感特征流露出來的情感狀態,主要受神經系統控制,人們可以通過自己的主觀意識遮掩自己真實的情感,容易隱藏[2]。而生理信號受自主神經系統和內分泌系統支配,不受主觀控制,而且當前的信號采集技術可以保證用舒服的、非入侵的方式采集到有效的生理信號。MIT多媒體實驗室情感計算研究所Picard率先證明從生理信號中提取特征進行情感識別是合理可行的[3]。
國內外在生理信號的情感狀態識別研究中,主要研究的生理信號有血容量搏動(blood volume pulse,BVP)、肌電圖(electromyogram,EMG)、皮膚電反應(galvanic skin response,GSR)、心電圖(electrocardiogram,ECG)、皮膚溫度(skin temperature,SKT)、腦電圖(electroencephalogram,EEG)、眼動(eye movement,EOG)、瞳孔直徑、光電脈搏、心率、血壓和呼吸作用等生理信號[4],這些生理信號的變化在某些方面能體現人的情感狀態變化。
Ekman等通過一系列的實驗,證明有些生理反應對于特定的情緒是具有特異性的。Picard等[3]系統地分析了影響生理信號采集的各種因素,并介紹了幾種特征提取和分類方法,用5種生理信號的40種特征分類8種情感,正確識別率達到82.5%。Villon等[5]從建立生理信號情感用戶模型的角度,用40個被試的實驗結果討論了在實際應用中,刺激材料個體主觀情感和用戶依賴(非依賴)問題,證明了生理信號的個體差異性較大,刺激材料存在很大程度的個體主觀情感。Kim等[6]通過音樂喚起被試的情感狀態,用4種生理信號,即ECG、EMG、皮膚電導(skin conductance,SC)和呼吸(respiratory,RSP)的特征,包括時、頻域,幾何分析等等,企圖找到和情感狀態相關的特征,基于衍生的線性判別分析分類器進行分類,針對用戶依賴的模型最終得到了95%的分類率,對于用戶獨立的模型最終得到了70%的分類識別率。另外,Kim等[7]曾采集50名被試的生理信號,這50被試是在用情感激發素材的激發下進行生理信號數據采集的,并將所采集的生理信號提取相關特征,對三種情感狀態的數據用支持向量機(support vectormachine,SVM)進行了情感狀態識別,其識別率達到了71.4%。
目前,用于情感狀態評估的國際公開數據有MIT的認知情感計算數據庫和德國Augsburg大學情感識別數據庫。其中MIT的認知情感計算數據庫以憤怒、憎恨、悲痛等8種情感狀態識別為研究目的;Augsburg大學情感識別數據庫中包含壓力與情感兩個數據集,其中的壓力情感數據相對較少,具有一定的局限性。隨著研究的深入,研究人員越來越意識到,面向情感狀態識別這一復雜問題,數據采集實驗設計的合理性以及采集的原始數據的有效性,是情感識別的基礎與關鍵。因此,迫切需要建立豐富、優質的情感狀態數據庫。
本文針對MIT的認知情感計算數據庫和Augsburg大學情感識別數據庫性能進行了分析、比較,同時,建立了基于生理信號的面向高校人群的壓力評估數據庫,并在評估性能方面與Augsburg大學的壓力數據庫進行了對比。
1 基于情感計算數據庫
1.1 德國Augsburg大學情感生理數據庫
該數據庫有兩個數據集,分別是音樂刺激下的4種情感數據集和壓力數據集[
1.1.1 4種情感的數據集
通過4種不同基調的歌曲,使被試者處于4種不同的情緒狀態,采集了一名被試在音樂誘發下產生的高興(joy)、憤怒(anger)、悲傷(sadness)、喜悅(pleasure)4種情緒。在每一種情感狀態下,分別采集2 min的4種生理信號:ECG、EMG、SC、RSP。其中,ECG的采樣頻率為256 Hz,EMG、SC、RSP的采樣頻率均為32 Hz。數據采集一直持續25 d,對于每種生理信號,共100個數據樣本,每種情感各有25個樣本。
1.1.2 壓力數據集
受試者操作著名的計算機拼圖游戲“俄羅斯方塊”時收集RSP和EMG信號,實驗目的是讓受試者交替處于高壓力和低壓力狀態,這是通過每20 s交替調節俄羅斯方塊下降速度實現的,分兩個等級:高等級(下降很快)和低等級(下降很慢)。假設在高等級下受試者處于高壓力狀態,在低等級下受試者處于低壓力狀態是很合理的。
1.2 MIT情感生理數據
MIT情感生理數據是Picard教授所領導的MIT多媒體情感計算研究小組連續20 d,每天采集32種信號所得到的情感生理數據[
2 Augsburg和MIT情感識別數據庫性能比較
Wagner等[10]運用LDF、KNN、MLP進行了分類,從效價和喚醒度(例如,憤怒和悲傷為負效價,高興和喜悅為正效價;高興和憤怒為高喚醒度,悲傷和喜悅為低喚醒度)兩方面將兩個情感數據庫進行了對比,兩個數據庫都取得高的分類正確率,Augsburg數據庫分類性能更優一些。
本研究提取80個統計特征作為原始特征,其中包括:相鄰P、Q、R、S和T波間隔,P-Q、Q-S、S-T間隔,P、Q、R、S和T波峰值,以及心率的一些特征值。為盡量避免個體ECG信號差異性帶來的情感識別誤差,在計算各波峰值時,采用與其對應ECG周期P-T間平均幅度的相對值作為相應波峰值。
為了提高評估性能,比較了三種特征擇算法,即主成分分析(principal component analysis,PCA)與獨立成分分析(iIndependent component analysis,ICA)結合、最大相關最小冗余(most relevant minimum redundancy,mRMR)、Relief-F算法[11]。數據庫的分析比較結果如表 1所示。
 表1
                數據庫性能比較
		 	
		 			 				Table1.
    			Comparison of the results from both data sets
			
						表1
                數據庫性能比較
		 	
		 			 				Table1.
    			Comparison of the results from both data sets
       		
       				對比文獻[10]中的結果,對情感特征進行特征選擇后,采用改進SVM分類器進行情感狀態識別,分類正確率有所提高,結果同時表明,從喚醒度進行情感狀態分類評估效果更好。
3 壓力情感數據庫建立
上述的MIT情感識別數據庫只獲取一名演員的數據,數據具有一定的局限性。因此,參考上述兩個數據庫的采集方案及整體性能,從潛在高壓人群中選擇16名受試者,在4種不同素材刺激下,進行情感數據的采集,使獲得的數據具有較高的典型性、自然度和可控性。
3.1 電生理參數
當經歷壓力情感變化時,ECG、EMG信號會有不同程度的變化反應,因此以ECG、EMG信號作為研究對象進行壓力情感識別是可行的。
人的情感及心理變化是人腦對客觀現實的反映,根據EEG信號的生理特征可以很好地研究情感及心理變化。EEG信號是情感以及心理研究中備受關注的生理信號之一。
3.1.1 被試
被試選擇的是燕山大學研究生三年級即將答辯的的16名(8男8女)在校學生,均身體健康,右利手。分別采集每名被試在4種不同壓力源刺激下的EMG、ECG及EEG信號。
3.1.2 刺激素材選擇
心理壓力誘發實驗持續4 d,每天依次采用4種不同壓力刺激源中的一種刺激源,誘發被試者的壓力狀態,避免因采用不變的刺激源而可能導致參與者產生的適應性。4種壓力刺激源分別為:噪音下的數字識記、大學生就業前景視頻、限定時間內的單詞識記任務以及一款傳統的俄羅斯方塊游戲。這4種刺激源按順序依次作為連續4 d的壓力誘發實驗的刺激素材,每種刺激素材的持續時間均設定為5 min,壓力誘發實驗選取在每天的同一時間段進行。
其中噪音素材的選取是根據英國索爾福德大學教授特雷弗對令人不安的聲音的調查結果[12],選擇了排名前十種的不安聲音中的5種(麥克風發出的回音、幾個孩子一起哭的哭聲、火車輪子的摩擦聲、單個孩子的哭聲、電流的嗡嗡聲)作為刺激素材。
3.1.3 ECG與EMG信號
采用美國Biopac公司的多導生理記錄儀MP150記錄被試的表面肌電(surface electromyogram,sEMG)信號及ECG信號。放大器增益為2 000,采樣頻率設置為1 000 Hz。采集數據時,同步用耳機與筆記本給被試播放壓力刺激素材。實驗過程中,保證實驗室內環境絕對安靜,且關閉手機等設備,減少干擾。在實驗開始前,播放時長為90 s的輕音樂,使被試處于平靜狀態,并截取這段時間內的數據作為無壓力數據使用。測量方式如下:
ECG信號:三個貼片式電極,一個置于右手手腕,一個置于左腳腳腕,另一個作為參考電極,置于右腳腳腕。
EMG信號:三個貼片式電極,一個置于臉部皺眉肌,一個置于左側面頰肌,另一個作為參考電極[13],置于右手手腕。
實驗一共采集了128組ECG數據及128組EMG數據(16名被試,每名被試16組數據),包括128組壓力數據和128組無壓力數據。對采集的ECG及EMG信號去噪,對于每組數據,參照問卷的效果評價,從被試認為效果最好的噪聲播放時間段截取時長為2 s的數據,共有2 000個采樣點存為.mat格式,進行特征提取與分類。
其中一名被試在平靜狀態和壓力狀態下的ECG、EMG信號分別如圖 1、2所示。
 圖1
				平靜和壓力狀態下的ECG信號
			
												
				Figure1.
				The ECG signals in resting and stress state
						
				圖1
				平靜和壓力狀態下的ECG信號
			
												
				Figure1.
				The ECG signals in resting and stress state
			
								 圖2
				平靜和壓力狀態下的EMG信號
			
												
				Figure2.
				The EMG signals in resting and stress state
						
				圖2
				平靜和壓力狀態下的EMG信號
			
												
				Figure2.
				The EMG signals in resting and stress state
			
								為了減少噪音的影響,采用小波變換進行去噪[14]。其中,ECG信號的小波分解和小波重構結果分別如圖 3、4所示。
 圖3
				小波分解
			
												
				Figure3.
				Wavelet Decomposition
						
				圖3
				小波分解
			
												
				Figure3.
				Wavelet Decomposition
			
								 圖4
				小波重構
			
												
				Figure4.
				Wavelet reconstruction
						
				圖4
				小波重構
			
												
				Figure4.
				Wavelet reconstruction
			
								3.1.4 EEG信號
EEG數據采集所用實驗儀器為Neuroscan記錄系統,參考電極置于雙側乳突連線,前額接地,記錄32導EEG,同時記錄水平眼電和垂直眼電,濾波帶通為0.05~100 Hz,采樣頻率為1 000 Hz/導,頭皮電阻小于5 kΩ。
實驗過程中,首先讓受試者靜息5 min,此過程中注意閉上眼睛不能動,不能睜眼,不能睡覺,不能動作及思考。然后進行睜眼靜息2 min,此過程睜開眼睛注視前方空白墻壁,不能動作及思考。之后開始播放壓力素材,記錄下這個過程中的眼動和腦電數據。整個過程,周圍都要保持安靜。
在記錄前實驗人員告訴受試者睜眼還是閉眼靜息,待腦電波平穩后開始記錄EEG信號,最后保存信號以進行下一步的分析。
為了削弱或消除被試的個體差異性,在采集完數據后,被試需要填寫一份情感體驗問卷表,評價每種刺激源效果的強弱,以便于實驗數據的篩選。
EEG信號是一種復雜的非平穩隨機信號,主要由各種節律性電活動組成,分別為α波、β波、θ波、σ波4種基本節律[15]。
α波主要是在閉眼時較為明顯,而在睜眼時會減弱或消失,θ波和σ波主要是正常兒童和嬰兒的主要EEG活動,β波由于不受睜眼和閉眼的影響,且在大腦皮層興奮狀態時表現明顯,通過實驗仿真結果表明,EEG信號中的β波用于壓力實驗確實是可行的。
對采集到的EEG信號進行篩選,最后共得到83組可用信號,首先將采集的.cnt格式的EEG數據用Neuroscan自帶的分析軟件進行去除眼動的處理。所有生理信號的采樣頻率均設置為1 000 Hz,
使用Matlab中eeglab工具箱對其進行重采樣,采樣頻率為128 Hz。基于ICA方法對數據進行去噪處理。將各狀態下的EEG信號數據進行功率譜密度分析,截取能量分布最明顯的8 s,總共1 000個數據點,使數據長度一致,以便下一步分析。
通過小波包的多分辨率分解,考慮到β波所在的頻率范圍,為了使頻率分辨率能夠達到要求,采用daubechies小波對EEG信號進行6層分解,其小波包分析界面如圖 5所示。將β波所包含的分解節點進行重構,便得到了β波。圖 6給出了通過小波包變換提取的β波。
 圖5
				小波包分析
			
												
				Figure5.
				Wavelet packet
						
				圖5
				小波包分析
			
												
				Figure5.
				Wavelet packet
			
								 圖6
				經小波包提取的β波
			
												
				Figure6.
				The β wave extracted by wavelet packet
						
				圖6
				經小波包提取的β波
			
												
				Figure6.
				The β wave extracted by wavelet packet
			
								3.2 數據性能研究
將本研究的壓力數據集與Augsburg大學的壓力數據集的性能進行比較,結果如表 2所示。
 表2
                數據庫性能研究
		 	
		 			 				Table2.
    			Results of database performance research
			
						表2
                數據庫性能研究
		 	
		 			 				Table2.
    			Results of database performance research
       		
       				比較分析中,均采用優化的libsvm進行壓力狀態評估。本文壓力數據庫的ECG、EMG數據采用PCAICA進行特征選擇。由于實驗采集設備及實驗環境等因素的限制,本研究中的數據庫性能略低于國際公開的數據庫,但是會為面向國人的心理壓力評估,尤其是面向高校人群的心理壓力評估提供一個可參考的平臺。
4 總結
本文首先分析比較了國際公開的兩個情感識別數據庫,即Augsburg大學和美國麻省理工學院情感識別數據庫,設計并初步構建了面向高校人群的基于生理參數的壓力情感數據庫。數據庫包括的生理參數為:ECG、EMG和EEG數據。同時,對數據庫的數據進行了初步分析,ECG、EMG數據對于壓力識別的平均正確率為70.62%,EEG數據對于壓力識別的平均正確率為75.87%。通過對數據庫基本的分析,證明了該數據庫中的數據在一定范圍內的合理性與有效性。希望通過此項研究,為后緒的情感計算研究工作,特別是面向壓力問題的情感計算研究提供參考。
引言
1997 年,美國麻省理工學院(Massachusetts Institute of Technology,MIT)的Picard[1]在她的專著《Affective Computing》一書中首次提出了“情感計算”這一概念。情感狀態的識別是情感計算的關鍵問題之一。情感狀態主要通過面部表情、語音、生理參數等表現,通過面部表情、語音等情感特征流露出來的情感狀態,主要受神經系統控制,人們可以通過自己的主觀意識遮掩自己真實的情感,容易隱藏[2]。而生理信號受自主神經系統和內分泌系統支配,不受主觀控制,而且當前的信號采集技術可以保證用舒服的、非入侵的方式采集到有效的生理信號。MIT多媒體實驗室情感計算研究所Picard率先證明從生理信號中提取特征進行情感識別是合理可行的[3]。
國內外在生理信號的情感狀態識別研究中,主要研究的生理信號有血容量搏動(blood volume pulse,BVP)、肌電圖(electromyogram,EMG)、皮膚電反應(galvanic skin response,GSR)、心電圖(electrocardiogram,ECG)、皮膚溫度(skin temperature,SKT)、腦電圖(electroencephalogram,EEG)、眼動(eye movement,EOG)、瞳孔直徑、光電脈搏、心率、血壓和呼吸作用等生理信號[4],這些生理信號的變化在某些方面能體現人的情感狀態變化。
Ekman等通過一系列的實驗,證明有些生理反應對于特定的情緒是具有特異性的。Picard等[3]系統地分析了影響生理信號采集的各種因素,并介紹了幾種特征提取和分類方法,用5種生理信號的40種特征分類8種情感,正確識別率達到82.5%。Villon等[5]從建立生理信號情感用戶模型的角度,用40個被試的實驗結果討論了在實際應用中,刺激材料個體主觀情感和用戶依賴(非依賴)問題,證明了生理信號的個體差異性較大,刺激材料存在很大程度的個體主觀情感。Kim等[6]通過音樂喚起被試的情感狀態,用4種生理信號,即ECG、EMG、皮膚電導(skin conductance,SC)和呼吸(respiratory,RSP)的特征,包括時、頻域,幾何分析等等,企圖找到和情感狀態相關的特征,基于衍生的線性判別分析分類器進行分類,針對用戶依賴的模型最終得到了95%的分類率,對于用戶獨立的模型最終得到了70%的分類識別率。另外,Kim等[7]曾采集50名被試的生理信號,這50被試是在用情感激發素材的激發下進行生理信號數據采集的,并將所采集的生理信號提取相關特征,對三種情感狀態的數據用支持向量機(support vectormachine,SVM)進行了情感狀態識別,其識別率達到了71.4%。
目前,用于情感狀態評估的國際公開數據有MIT的認知情感計算數據庫和德國Augsburg大學情感識別數據庫。其中MIT的認知情感計算數據庫以憤怒、憎恨、悲痛等8種情感狀態識別為研究目的;Augsburg大學情感識別數據庫中包含壓力與情感兩個數據集,其中的壓力情感數據相對較少,具有一定的局限性。隨著研究的深入,研究人員越來越意識到,面向情感狀態識別這一復雜問題,數據采集實驗設計的合理性以及采集的原始數據的有效性,是情感識別的基礎與關鍵。因此,迫切需要建立豐富、優質的情感狀態數據庫。
本文針對MIT的認知情感計算數據庫和Augsburg大學情感識別數據庫性能進行了分析、比較,同時,建立了基于生理信號的面向高校人群的壓力評估數據庫,并在評估性能方面與Augsburg大學的壓力數據庫進行了對比。
1 基于情感計算數據庫
1.1 德國Augsburg大學情感生理數據庫
該數據庫有兩個數據集,分別是音樂刺激下的4種情感數據集和壓力數據集[
1.1.1 4種情感的數據集
通過4種不同基調的歌曲,使被試者處于4種不同的情緒狀態,采集了一名被試在音樂誘發下產生的高興(joy)、憤怒(anger)、悲傷(sadness)、喜悅(pleasure)4種情緒。在每一種情感狀態下,分別采集2 min的4種生理信號:ECG、EMG、SC、RSP。其中,ECG的采樣頻率為256 Hz,EMG、SC、RSP的采樣頻率均為32 Hz。數據采集一直持續25 d,對于每種生理信號,共100個數據樣本,每種情感各有25個樣本。
1.1.2 壓力數據集
受試者操作著名的計算機拼圖游戲“俄羅斯方塊”時收集RSP和EMG信號,實驗目的是讓受試者交替處于高壓力和低壓力狀態,這是通過每20 s交替調節俄羅斯方塊下降速度實現的,分兩個等級:高等級(下降很快)和低等級(下降很慢)。假設在高等級下受試者處于高壓力狀態,在低等級下受試者處于低壓力狀態是很合理的。
1.2 MIT情感生理數據
MIT情感生理數據是Picard教授所領導的MIT多媒體情感計算研究小組連續20 d,每天采集32種信號所得到的情感生理數據[
2 Augsburg和MIT情感識別數據庫性能比較
Wagner等[10]運用LDF、KNN、MLP進行了分類,從效價和喚醒度(例如,憤怒和悲傷為負效價,高興和喜悅為正效價;高興和憤怒為高喚醒度,悲傷和喜悅為低喚醒度)兩方面將兩個情感數據庫進行了對比,兩個數據庫都取得高的分類正確率,Augsburg數據庫分類性能更優一些。
本研究提取80個統計特征作為原始特征,其中包括:相鄰P、Q、R、S和T波間隔,P-Q、Q-S、S-T間隔,P、Q、R、S和T波峰值,以及心率的一些特征值。為盡量避免個體ECG信號差異性帶來的情感識別誤差,在計算各波峰值時,采用與其對應ECG周期P-T間平均幅度的相對值作為相應波峰值。
為了提高評估性能,比較了三種特征擇算法,即主成分分析(principal component analysis,PCA)與獨立成分分析(iIndependent component analysis,ICA)結合、最大相關最小冗余(most relevant minimum redundancy,mRMR)、Relief-F算法[11]。數據庫的分析比較結果如表 1所示。
 表1
                數據庫性能比較
		 	
		 			 				Table1.
    			Comparison of the results from both data sets
			
						表1
                數據庫性能比較
		 	
		 			 				Table1.
    			Comparison of the results from both data sets
       		
       				對比文獻[10]中的結果,對情感特征進行特征選擇后,采用改進SVM分類器進行情感狀態識別,分類正確率有所提高,結果同時表明,從喚醒度進行情感狀態分類評估效果更好。
3 壓力情感數據庫建立
上述的MIT情感識別數據庫只獲取一名演員的數據,數據具有一定的局限性。因此,參考上述兩個數據庫的采集方案及整體性能,從潛在高壓人群中選擇16名受試者,在4種不同素材刺激下,進行情感數據的采集,使獲得的數據具有較高的典型性、自然度和可控性。
3.1 電生理參數
當經歷壓力情感變化時,ECG、EMG信號會有不同程度的變化反應,因此以ECG、EMG信號作為研究對象進行壓力情感識別是可行的。
人的情感及心理變化是人腦對客觀現實的反映,根據EEG信號的生理特征可以很好地研究情感及心理變化。EEG信號是情感以及心理研究中備受關注的生理信號之一。
3.1.1 被試
被試選擇的是燕山大學研究生三年級即將答辯的的16名(8男8女)在校學生,均身體健康,右利手。分別采集每名被試在4種不同壓力源刺激下的EMG、ECG及EEG信號。
3.1.2 刺激素材選擇
心理壓力誘發實驗持續4 d,每天依次采用4種不同壓力刺激源中的一種刺激源,誘發被試者的壓力狀態,避免因采用不變的刺激源而可能導致參與者產生的適應性。4種壓力刺激源分別為:噪音下的數字識記、大學生就業前景視頻、限定時間內的單詞識記任務以及一款傳統的俄羅斯方塊游戲。這4種刺激源按順序依次作為連續4 d的壓力誘發實驗的刺激素材,每種刺激素材的持續時間均設定為5 min,壓力誘發實驗選取在每天的同一時間段進行。
其中噪音素材的選取是根據英國索爾福德大學教授特雷弗對令人不安的聲音的調查結果[12],選擇了排名前十種的不安聲音中的5種(麥克風發出的回音、幾個孩子一起哭的哭聲、火車輪子的摩擦聲、單個孩子的哭聲、電流的嗡嗡聲)作為刺激素材。
3.1.3 ECG與EMG信號
采用美國Biopac公司的多導生理記錄儀MP150記錄被試的表面肌電(surface electromyogram,sEMG)信號及ECG信號。放大器增益為2 000,采樣頻率設置為1 000 Hz。采集數據時,同步用耳機與筆記本給被試播放壓力刺激素材。實驗過程中,保證實驗室內環境絕對安靜,且關閉手機等設備,減少干擾。在實驗開始前,播放時長為90 s的輕音樂,使被試處于平靜狀態,并截取這段時間內的數據作為無壓力數據使用。測量方式如下:
ECG信號:三個貼片式電極,一個置于右手手腕,一個置于左腳腳腕,另一個作為參考電極,置于右腳腳腕。
EMG信號:三個貼片式電極,一個置于臉部皺眉肌,一個置于左側面頰肌,另一個作為參考電極[13],置于右手手腕。
實驗一共采集了128組ECG數據及128組EMG數據(16名被試,每名被試16組數據),包括128組壓力數據和128組無壓力數據。對采集的ECG及EMG信號去噪,對于每組數據,參照問卷的效果評價,從被試認為效果最好的噪聲播放時間段截取時長為2 s的數據,共有2 000個采樣點存為.mat格式,進行特征提取與分類。
其中一名被試在平靜狀態和壓力狀態下的ECG、EMG信號分別如圖 1、2所示。
 圖1
				平靜和壓力狀態下的ECG信號
			
												
				Figure1.
				The ECG signals in resting and stress state
						
				圖1
				平靜和壓力狀態下的ECG信號
			
												
				Figure1.
				The ECG signals in resting and stress state
			
								 圖2
				平靜和壓力狀態下的EMG信號
			
												
				Figure2.
				The EMG signals in resting and stress state
						
				圖2
				平靜和壓力狀態下的EMG信號
			
												
				Figure2.
				The EMG signals in resting and stress state
			
								為了減少噪音的影響,采用小波變換進行去噪[14]。其中,ECG信號的小波分解和小波重構結果分別如圖 3、4所示。
 圖3
				小波分解
			
												
				Figure3.
				Wavelet Decomposition
						
				圖3
				小波分解
			
												
				Figure3.
				Wavelet Decomposition
			
								 圖4
				小波重構
			
												
				Figure4.
				Wavelet reconstruction
						
				圖4
				小波重構
			
												
				Figure4.
				Wavelet reconstruction
			
								3.1.4 EEG信號
EEG數據采集所用實驗儀器為Neuroscan記錄系統,參考電極置于雙側乳突連線,前額接地,記錄32導EEG,同時記錄水平眼電和垂直眼電,濾波帶通為0.05~100 Hz,采樣頻率為1 000 Hz/導,頭皮電阻小于5 kΩ。
實驗過程中,首先讓受試者靜息5 min,此過程中注意閉上眼睛不能動,不能睜眼,不能睡覺,不能動作及思考。然后進行睜眼靜息2 min,此過程睜開眼睛注視前方空白墻壁,不能動作及思考。之后開始播放壓力素材,記錄下這個過程中的眼動和腦電數據。整個過程,周圍都要保持安靜。
在記錄前實驗人員告訴受試者睜眼還是閉眼靜息,待腦電波平穩后開始記錄EEG信號,最后保存信號以進行下一步的分析。
為了削弱或消除被試的個體差異性,在采集完數據后,被試需要填寫一份情感體驗問卷表,評價每種刺激源效果的強弱,以便于實驗數據的篩選。
EEG信號是一種復雜的非平穩隨機信號,主要由各種節律性電活動組成,分別為α波、β波、θ波、σ波4種基本節律[15]。
α波主要是在閉眼時較為明顯,而在睜眼時會減弱或消失,θ波和σ波主要是正常兒童和嬰兒的主要EEG活動,β波由于不受睜眼和閉眼的影響,且在大腦皮層興奮狀態時表現明顯,通過實驗仿真結果表明,EEG信號中的β波用于壓力實驗確實是可行的。
對采集到的EEG信號進行篩選,最后共得到83組可用信號,首先將采集的.cnt格式的EEG數據用Neuroscan自帶的分析軟件進行去除眼動的處理。所有生理信號的采樣頻率均設置為1 000 Hz,
使用Matlab中eeglab工具箱對其進行重采樣,采樣頻率為128 Hz。基于ICA方法對數據進行去噪處理。將各狀態下的EEG信號數據進行功率譜密度分析,截取能量分布最明顯的8 s,總共1 000個數據點,使數據長度一致,以便下一步分析。
通過小波包的多分辨率分解,考慮到β波所在的頻率范圍,為了使頻率分辨率能夠達到要求,采用daubechies小波對EEG信號進行6層分解,其小波包分析界面如圖 5所示。將β波所包含的分解節點進行重構,便得到了β波。圖 6給出了通過小波包變換提取的β波。
 圖5
				小波包分析
			
												
				Figure5.
				Wavelet packet
						
				圖5
				小波包分析
			
												
				Figure5.
				Wavelet packet
			
								 圖6
				經小波包提取的β波
			
												
				Figure6.
				The β wave extracted by wavelet packet
						
				圖6
				經小波包提取的β波
			
												
				Figure6.
				The β wave extracted by wavelet packet
			
								3.2 數據性能研究
將本研究的壓力數據集與Augsburg大學的壓力數據集的性能進行比較,結果如表 2所示。
 表2
                數據庫性能研究
		 	
		 			 				Table2.
    			Results of database performance research
			
						表2
                數據庫性能研究
		 	
		 			 				Table2.
    			Results of database performance research
       		
       				比較分析中,均采用優化的libsvm進行壓力狀態評估。本文壓力數據庫的ECG、EMG數據采用PCAICA進行特征選擇。由于實驗采集設備及實驗環境等因素的限制,本研究中的數據庫性能略低于國際公開的數據庫,但是會為面向國人的心理壓力評估,尤其是面向高校人群的心理壓力評估提供一個可參考的平臺。
4 總結
本文首先分析比較了國際公開的兩個情感識別數據庫,即Augsburg大學和美國麻省理工學院情感識別數據庫,設計并初步構建了面向高校人群的基于生理參數的壓力情感數據庫。數據庫包括的生理參數為:ECG、EMG和EEG數據。同時,對數據庫的數據進行了初步分析,ECG、EMG數據對于壓力識別的平均正確率為70.62%,EEG數據對于壓力識別的平均正確率為75.87%。通過對數據庫基本的分析,證明了該數據庫中的數據在一定范圍內的合理性與有效性。希望通過此項研究,為后緒的情感計算研究工作,特別是面向壓力問題的情感計算研究提供參考。
 
        

 
                 
				 
                                                                    
                                                                        
                                                                        
                                                                         
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	