利用人的腦電(EEG)信號來控制外部設備一直是腦機接口領域所致力于研究的熱點,尤其是對于那些喪失運動能力的殘疾人,更有重要意義。本文基于P300腦機接口及單片機的無線射頻技術設計出一套智能家居控制系統,可以對家庭中的電器、燈光、安防等直接控制。實驗結果表明,該系統簡單可靠,易于擴展。
引用本文: 王金甲, 楊成杰. P300腦機接口控制智能家居系統研究. 生物醫學工程學雜志, 2014, 31(4): 762-766. doi: 10.7507/1001-5515.20140142 復制
版權信息: ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有,未經授權不得轉載、改編
引言
腦機接口(brain-computer interface,BCI)是一個通信系統,人們可以用它來實時記錄腦電波,在一定程度上解讀大腦的思維,并將其翻譯成控制命令來實現對計算機、家用電器、機器人等設備的控制[1]。研究腦機接口的主要目的是為了幫助那些思維正常但是有行動障礙的人(如肌萎縮性(脊髓)側索硬化患者、嚴重脊髓損傷或完全癱瘓的人)提供一個與外部環境進行交流或控制的途徑[2]。本文的智能家居控制系統就為他們提供了一種控制家庭設備的簡單途徑,這對提高他們的生活自理能力和生活質量有重要的意義。
P300電位是腦機接口中經常使用的信號,它應用于腦機接口有幾個明顯的優勢:首先是受試者不需要進行訓練即可誘發出P300電位;其次是由于P300的延遲很短,所以單次實驗的時間也可以很短[3];再次是P300腦機接口的適用性強[4],用戶很容易就能學會使用P300腦機接口系統。P300電位的優勢使P300腦機接口是目前國際上腦機接口研究主要分支之一,國內外有很多的研究成果。1988年,Illinois大學的Farewell和Donchin最早將P300作為控制信號應用于腦機接口,他們設計的P300虛擬打字機能使癱瘓患者通過腦電(electroencephalogram,EEG)信號拼寫單詞實現與外界交流。Finke等[5]設計出了P300 腦機接口游戲,將P300事件轉化為三維小球的各種動作。Pérez-Marcos 等[6]用P300電位控制機器人,使機器人能夠實時地寫出受試者所注視的字符。國內也有關P300的研究,清華大學的研究國際領先。2009年浙江大學首次設計開發了一套進行漢字輸入的在線P300腦機接口虛擬鍵盤系統[7]。
隨著人們對生活質量高要求,“以人為本、便利、智能化”已成為家居系統設計的發展方向。為了讓殘疾人的生活更加便利,為他們的康復提供援助,基于腦機接口的虛擬智能家居或真實智能家居的研究近年來也迅速成為國內外研究的熱點。Hoffmann等[8]在Farwell等的工作基礎之上設計了一個6-Oddball范式的家居控制系統,這一系統能滿足患者的某些活動需要。g.tec公司實現了虛擬現實版的智能家居的應用[9-10],已獲得歐盟第七框架計劃資助的SM4all項目在2012年建立了一套真實的智能家居控制模型[11]。Lin等[12]和Ou等[13]設計出了基于腦機接口的智能環境控制系統,把該系統與即插即用家庭網絡結合起來則可應用于智能家居等不同方面。
本文設計并實現了P300控制智能家居系統。EEG采集設備使用奧地利g.tec公司g.MOBIlab+EEG信號放大器,EEG信號的顯示、特征提取和分類、命令產生使用美國Wadsworth中心的開源C軟件平臺BCI2000,命令發送和接收硬件軟件系統自己設計,智能家居系統使用秦皇島尼特信息科技有限公司的四間真實家居環境。最終實現了利用P300對智能家居系統的控制并達到很高的正確率。本文研究不僅有益于思維正常但行動障礙的人們,而且也為腦機接口從實驗室虛擬仿真到真實家居環境控制提供了一種實現途徑。
1 實驗原理
1.1 P300原理
P300是事件相關電位(event related potentials,ERP)中的一種內源性成分,通常通過Oddball范式誘發。所謂Oddball范式,是指在標準刺激(大概率刺激)的序列中,偏差刺激或靶刺激(小概率刺激)誘發的ERP。偏差刺激的出現是偶然性的,出現的概率越小,誘發的P300的振幅越大。令受試者發現偏差刺激后盡快按鍵或記憶其數目,此時偏差刺激成為靶刺激。在偏差刺激后約300 ms可觀察到一個正波,此即P300[14]。P300的平均波幅在0.3~20 μV,幅度很低,因此國際上目前普遍采用對多次實驗的數據段進行疊加平均的方法來提取P300電位[15]。
本文實驗中,P300刺激界面為由多幅家居設備圖片或文字組成的矩陣。在圖片或文字閃爍過程中,受試者集中注意注視某一張圖片或文字,當且僅當該圖片或文字閃爍一次時予以計數,則小概率出現的靶刺激可以誘發P300,如果確定P300出現時刻對應著靶刺激出現時刻,便可以確定出受試者所注視的圖片或文字,進而便可以對該信息進行后續處理。
1.2 特征提取方法
實驗刺激界面為3行3列的矩陣,共9個元素,且元素是以行或列為單位閃爍的。每次輸出就會產生F×S×k個特征向量,S為一次輸出的刺激輪數;F為一輪刺激的刺激事件數;k為通道數;p為每個通道所提取數據段的樣本點數。本文實驗中S=15,F=6,k=5,p=205。對同一個刺激事件對應的15輪刺激中的數據段進行疊加平均得到特征。
1.3 特征分類方法
由EEG信號的特征來決定P300誘發電位是否存在問題并將它看作是一個二元分類的問題。其判決超平面定義如下w·x-b=0,其中x為特征提取之后產生的特征向量,w為特征權重向量,b為偏置量。
由于P300是由字符矩陣的某一行或某一列的閃爍而誘發,預測字符就位于預測行和預測列的交點處。采用逐步線性判別分析法來選擇符合要求的預測變量[16]。把判別能力強的變量引入判別式,同時將判別能力差的變量剔除。不斷重復該過程,直至判別函數中包含了足夠的特征數,或者再也找不到滿足進入/剔除條件的特征時為止。在分類過程中分別計算分類器對每行和每列的輸出,即可得到6個值,然后分別取3行和3列的最大值對應的行和列,最后取其交點即可識別出結果。
2 系統設計
P300腦機接口控制智能家居系統的設備主要有:一臺包括主機和主顯示器的計算機,另外一臺副顯示器,EEG信號采集設備,無線發送設備,無線接收設備,以及包括4個房間的真實智能家居環境。實驗過程如下:首先采用奧地利g.tec公司的g.MOBIlab+EEG信號放大器采集EEG信號,通過串行接口以藍牙形式傳至計算機,其次上位機采用BCI2000軟件平臺進行EEG信號識別,使用無線發送設備通過串行接口以射頻方式發出控制命令,最后無線接收設備接收控制命令并控制家居設備,完成了P300腦機接口控制智能家居的任務。實驗系統構成如圖 1所示。
 圖1
				P300 腦機接口控制智能家居的實驗系統框圖
			
												
				Figure1.
				Block diagram of experiment system of controlling smart home using P300 BCI
						
				圖1
				P300 腦機接口控制智能家居的實驗系統框圖
			
												
				Figure1.
				Block diagram of experiment system of controlling smart home using P300 BCI
			
								2.1 上位機設計
上位機采用BCI2000軟件平臺,BCI2000是美國Wadworth中心開發的一套C開源的,可以實現EEG信號分析、處理和識別的腦機接口系統。由于該系統開源特性,我們可以根據自己的需要對系統代碼進行修改,完成預想的功能。BCI2000信號采集模塊接收從串口傳過來的EEG波形;信號處理模塊對EEG信號進行特征提取,特征分類;最后由命令轉換和發送模塊將分類結果轉換成指令并發送到計算機外部接口。
實驗中用到了BCI2000的batch文件夾下的P3Speller_gMOBIlabPlus.bat批處理文件。批處理文件生成的實驗界面包括主顯示器上的控制界面和副顯示器上的刺激界面。對主顯示器的控制界面按照BCI2000指南對各種實驗參數進行相應設置,由于實驗參數眾多,這個過程需要根據實驗效果不斷修改實驗參數。
面向智能家居控制的刺激界面設計如下:
為了滿足行動障礙人群的生活需求,讓他們方便地控制智能家居系統,刺激界面的設計必須一目了然。實驗采用了圖片型界面和文字型界面兩種方案,經過多次實驗發現文字型界面較圖形界面更簡潔更直觀,更容易讓用戶接受。因此,最終采用了文字型刺激界面。刺激界面采用3行3列矩陣,矩陣元素列出了不同的家電設備,分別是空調、窗簾、壁燈;咖啡機、書房燈、臥室燈;電視、吊燈、全關。受試者連續注視其中刺激界面中的一個設備名,一旦誘發P300電位就會觸發相應設備“開”或“關”。
根據刺激界面上的設備和控制命令間的關系,作者修改BCI2000軟件相應的代碼,并且在BCI2000軟件中加入了串口通信類和串口發送程序的代碼。
2.2 下位機設計
系統的下位機硬件組成說明如下:
系統的發送設備以STC52RC單片機為核心,使用MAX232將計算機串行口輸出的RS232電平轉換為單片機所用到的TTL電平。當單片機串行接收端接收到計算機送來的數據后,在單片機內部進行命令轉換,加上地址碼和校驗碼,然后對一幀數據進行編碼并發送給發射設備,再由發射設備發射出去。發送設備由計算機串行口供電。為了遠距離通信,另外也設計了獨立的5 V供電電路。發射設備選用了TX-1G型VHF/UHF超高頻無線數據傳送設備,其工作頻率為433.92 MHz。接收設備同樣以STC52RC單片機為核心,由接收設備接收信號后,然后經單片機譯碼并校驗。另外,還需要一個電源電路用來將市電轉換為5 V/DC。接收設備采用的是GW-3400E型VHF/UHF超高頻無線數據傳送接收設備。
軟件方面,發送數據的幀格式規定如下:
800μs前同步脈沖后面是6字節數據,為方便從左至右命名為data[0]~data[5],其中地址域為無線發射終端的地址,16位,設置地址碼為data[0]=0x00,data[1]=0x01。數據域中,data[2]存放家電設備的編號,data[3]存放發射終端對家電的控制命令,data[4]為和校驗碼即地址域和數據域4個字節的累加和,data[5]中是發送數據的幀數。采用反相曼徹斯特編碼即用兩個碼之間的電平變化來表示數字信號0或1。編碼后的數據每個字節都按先發低位,后發高位的順序發送。系統每隔300 μs發送一幀數據,發送端要連續發送39幀數據。接收端解碼時對邏輯0和1的判別是根據碼元中間發生電壓跳變后,接收端口的電平來判斷。跳變后端口電平為低,表示收到一位0;端口電平為高,表示收到一位1。在一幀數據接收結束,如校驗正確,對后續接收到的編碼不予響應,否則繼續接收后續編碼。如后續幀數據校驗均出錯,則接收方不予響應。
3 系統測試
實驗共選取了5名年齡25~26歲的健康受試者,三男兩女。在安靜、光照略低的室內環境中進行。受試者應集中注意力,當所注視的圖片或文字閃爍一次在心中計數一次。實驗使用的電極為:C3、C4、Cz、P7、P8五個通道,另外,耳朵為參考電極,額頭中心為接地。
由于每個人每段時間的P300 EEG信號分類模型都不相同,所以在進行實時控制之前,要先對每個人利用BCI2000 的P300Classifier訓練出一個效果好的分類器,例如規定分類正確率高于85%。讓受試者依次選擇每個圖片或文字做一次輸出訓練,然后將得到的EEG數據載入P300Classifier分析軟件,查看分類結果。讓每名受試者訓練2~3次(如果達不到要求可以增加訓練次數),然后在正確率大于85%的數據集中選擇最高的生成分類器參數文件即*.prm文件,該文件將作為在線測試的分類器使用。
在線測試之前,首先在控制界面導入訓練的分類器*.prm文件,然后受試者按照實驗提示者的語音提示依次注視界面上的相應圖片或文字。實驗過程中,受試者如感到疲勞,則應讓其休息,確保受試者每次實驗都處在最佳狀態。實驗分為兩組,分別在下午和晚上進行,每組包括20次的控制輸出。圖 2為實驗過程的照片。
 圖2
				P300 腦機接口控制智能家居的實驗過程
			
												
				Figure2.
				Experiments of controlling smart home using P300 BCI
						
				圖2
				P300 腦機接口控制智能家居的實驗過程
			
												
				Figure2.
				Experiments of controlling smart home using P300 BCI
			
								4 測試結果
經過對5名受試者的實驗,正確率統計如表 1所示。由表可以看到,從下午到晚上的兩組實驗的正確率中,4名受試者呈現上升的趨勢,且平均正確率都達到70%以上;只有1名受試者的正確率是下降的,但其平均正確率也超過了60%。這可能跟受試者對系統的適應程度、適應過程以及受試者的精神狀態、注意力集中程度等都有關系。
 表1
                實驗正確率(%)
		 	
		 			 				Table1.
    			The experimental accuracy rate (%)
			
						表1
                實驗正確率(%)
		 	
		 			 				Table1.
    			The experimental accuracy rate (%)
       		
       				另外,為了觀察P300響應,圖 3顯示了受試者1的Cz通道的EEG波形及其r2值,統計量r2反映了任務占總信號方差的比例,r2值越高表示P300響應越明顯。從圖 3(a)中可以看到,在300~400 ms左右的時間段,目標刺激的P300響應幅值增大,遠遠高于非目標刺激的幅值,在接近400 ms的地方,P300響應達到最大;相對應地,圖 3(b)中目標刺激波形的r2值在接近400 ms處也出現了峰值。
3行3列的刺激矩陣相對于6行6列來說,控制指令的數量從36個減少為9個,目標事件發生的概率也由原來的1/6變為1/3,這帶來的結果就是前者誘發的P300電位幅度不如后者的。但是,有研究[16]顯示,在其他條件相同的情況下,3行3列的矩陣取得了比6行6列更高的在線正確率,而且同樣獲得了滿意的比特率(系統單位時間內傳輸的信息量[17])。
下面給出比特率來對該系統的性能做出評價。首先用下面的公式求出每次試驗輸出傳輸的比特數,即
| $B=lo{{g}_{2}}N+Plo{{g}_{2}}P+\left( 1-P \right)lo{{g}_{2}}\left( \frac{1-P}{N-1} \right),$ | 
其中N為可能的目標數量,P為目標被準確分類的概率。則比特率可以由B除以一次試驗的持續時間計算得到。系統理論上的比特率應該為12.08 bits/min,實際測試后得到的有效比特率為5.70~9.15 bits/min,如表 2所示。
本文腦機接口系統采用了175 ms的相對較小刺激間隔(inter stimulus interval,ISI)。一般來說,ISI越小則單位時間內的刺激數就越多,系統的比特率也會隨之提高,但實際中刺激越快受試者會明顯感到不適,這樣反而會導致正確率下降,比特率也會因此受到影響。因此,通過多次實驗來尋求受試者比較適合的ISI,刺激持續時間,背景色等參數,是非常必要的。
 圖3
				受試者1的P300響應
						
				圖3
				受試者1的P300響應
			
									(a)P300響應波形;(b)r2值波形
Figure3. P300 response of subject 1(a) P300 response waveform; (b) r2 waveform
 表2
                在線測試的比特率(bits/min)
		 	
		 			 				Table2.
    			The online test bite rate(bits/min)
			
						表2
                在線測試的比特率(bits/min)
		 	
		 			 				Table2.
    			The online test bite rate(bits/min)
       		
       				5 結論
通過對受試者的多次實驗,P300腦機接口智能家居控制系統的設計達到了預期效果,能夠實現對智能家居設備的控制。該系統可以為腦機接口智能家居系統以及其他系統的實現提供有價值的借鑒和思路。
實驗過程中受試者要保持一個平靜的心理狀態和充沛的精力。實驗發現文字型界面較圖形界面更容易讓用戶接受。最好的實踐設置是:背景為黑色,字符矩陣為暗灰色,變亮時字符為白色,這樣顏色的對比度比較強烈,刺激強度也就更強。對刺激持續及間隔時間的調整也要適當,使其閃爍頻率適合具體用戶習慣為最佳。需要進一步研究提高信息傳遞效率方法。
引言
腦機接口(brain-computer interface,BCI)是一個通信系統,人們可以用它來實時記錄腦電波,在一定程度上解讀大腦的思維,并將其翻譯成控制命令來實現對計算機、家用電器、機器人等設備的控制[1]。研究腦機接口的主要目的是為了幫助那些思維正常但是有行動障礙的人(如肌萎縮性(脊髓)側索硬化患者、嚴重脊髓損傷或完全癱瘓的人)提供一個與外部環境進行交流或控制的途徑[2]。本文的智能家居控制系統就為他們提供了一種控制家庭設備的簡單途徑,這對提高他們的生活自理能力和生活質量有重要的意義。
P300電位是腦機接口中經常使用的信號,它應用于腦機接口有幾個明顯的優勢:首先是受試者不需要進行訓練即可誘發出P300電位;其次是由于P300的延遲很短,所以單次實驗的時間也可以很短[3];再次是P300腦機接口的適用性強[4],用戶很容易就能學會使用P300腦機接口系統。P300電位的優勢使P300腦機接口是目前國際上腦機接口研究主要分支之一,國內外有很多的研究成果。1988年,Illinois大學的Farewell和Donchin最早將P300作為控制信號應用于腦機接口,他們設計的P300虛擬打字機能使癱瘓患者通過腦電(electroencephalogram,EEG)信號拼寫單詞實現與外界交流。Finke等[5]設計出了P300 腦機接口游戲,將P300事件轉化為三維小球的各種動作。Pérez-Marcos 等[6]用P300電位控制機器人,使機器人能夠實時地寫出受試者所注視的字符。國內也有關P300的研究,清華大學的研究國際領先。2009年浙江大學首次設計開發了一套進行漢字輸入的在線P300腦機接口虛擬鍵盤系統[7]。
隨著人們對生活質量高要求,“以人為本、便利、智能化”已成為家居系統設計的發展方向。為了讓殘疾人的生活更加便利,為他們的康復提供援助,基于腦機接口的虛擬智能家居或真實智能家居的研究近年來也迅速成為國內外研究的熱點。Hoffmann等[8]在Farwell等的工作基礎之上設計了一個6-Oddball范式的家居控制系統,這一系統能滿足患者的某些活動需要。g.tec公司實現了虛擬現實版的智能家居的應用[9-10],已獲得歐盟第七框架計劃資助的SM4all項目在2012年建立了一套真實的智能家居控制模型[11]。Lin等[12]和Ou等[13]設計出了基于腦機接口的智能環境控制系統,把該系統與即插即用家庭網絡結合起來則可應用于智能家居等不同方面。
本文設計并實現了P300控制智能家居系統。EEG采集設備使用奧地利g.tec公司g.MOBIlab+EEG信號放大器,EEG信號的顯示、特征提取和分類、命令產生使用美國Wadsworth中心的開源C軟件平臺BCI2000,命令發送和接收硬件軟件系統自己設計,智能家居系統使用秦皇島尼特信息科技有限公司的四間真實家居環境。最終實現了利用P300對智能家居系統的控制并達到很高的正確率。本文研究不僅有益于思維正常但行動障礙的人們,而且也為腦機接口從實驗室虛擬仿真到真實家居環境控制提供了一種實現途徑。
1 實驗原理
1.1 P300原理
P300是事件相關電位(event related potentials,ERP)中的一種內源性成分,通常通過Oddball范式誘發。所謂Oddball范式,是指在標準刺激(大概率刺激)的序列中,偏差刺激或靶刺激(小概率刺激)誘發的ERP。偏差刺激的出現是偶然性的,出現的概率越小,誘發的P300的振幅越大。令受試者發現偏差刺激后盡快按鍵或記憶其數目,此時偏差刺激成為靶刺激。在偏差刺激后約300 ms可觀察到一個正波,此即P300[14]。P300的平均波幅在0.3~20 μV,幅度很低,因此國際上目前普遍采用對多次實驗的數據段進行疊加平均的方法來提取P300電位[15]。
本文實驗中,P300刺激界面為由多幅家居設備圖片或文字組成的矩陣。在圖片或文字閃爍過程中,受試者集中注意注視某一張圖片或文字,當且僅當該圖片或文字閃爍一次時予以計數,則小概率出現的靶刺激可以誘發P300,如果確定P300出現時刻對應著靶刺激出現時刻,便可以確定出受試者所注視的圖片或文字,進而便可以對該信息進行后續處理。
1.2 特征提取方法
實驗刺激界面為3行3列的矩陣,共9個元素,且元素是以行或列為單位閃爍的。每次輸出就會產生F×S×k個特征向量,S為一次輸出的刺激輪數;F為一輪刺激的刺激事件數;k為通道數;p為每個通道所提取數據段的樣本點數。本文實驗中S=15,F=6,k=5,p=205。對同一個刺激事件對應的15輪刺激中的數據段進行疊加平均得到特征。
1.3 特征分類方法
由EEG信號的特征來決定P300誘發電位是否存在問題并將它看作是一個二元分類的問題。其判決超平面定義如下w·x-b=0,其中x為特征提取之后產生的特征向量,w為特征權重向量,b為偏置量。
由于P300是由字符矩陣的某一行或某一列的閃爍而誘發,預測字符就位于預測行和預測列的交點處。采用逐步線性判別分析法來選擇符合要求的預測變量[16]。把判別能力強的變量引入判別式,同時將判別能力差的變量剔除。不斷重復該過程,直至判別函數中包含了足夠的特征數,或者再也找不到滿足進入/剔除條件的特征時為止。在分類過程中分別計算分類器對每行和每列的輸出,即可得到6個值,然后分別取3行和3列的最大值對應的行和列,最后取其交點即可識別出結果。
2 系統設計
P300腦機接口控制智能家居系統的設備主要有:一臺包括主機和主顯示器的計算機,另外一臺副顯示器,EEG信號采集設備,無線發送設備,無線接收設備,以及包括4個房間的真實智能家居環境。實驗過程如下:首先采用奧地利g.tec公司的g.MOBIlab+EEG信號放大器采集EEG信號,通過串行接口以藍牙形式傳至計算機,其次上位機采用BCI2000軟件平臺進行EEG信號識別,使用無線發送設備通過串行接口以射頻方式發出控制命令,最后無線接收設備接收控制命令并控制家居設備,完成了P300腦機接口控制智能家居的任務。實驗系統構成如圖 1所示。
 圖1
				P300 腦機接口控制智能家居的實驗系統框圖
			
												
				Figure1.
				Block diagram of experiment system of controlling smart home using P300 BCI
						
				圖1
				P300 腦機接口控制智能家居的實驗系統框圖
			
												
				Figure1.
				Block diagram of experiment system of controlling smart home using P300 BCI
			
								2.1 上位機設計
上位機采用BCI2000軟件平臺,BCI2000是美國Wadworth中心開發的一套C開源的,可以實現EEG信號分析、處理和識別的腦機接口系統。由于該系統開源特性,我們可以根據自己的需要對系統代碼進行修改,完成預想的功能。BCI2000信號采集模塊接收從串口傳過來的EEG波形;信號處理模塊對EEG信號進行特征提取,特征分類;最后由命令轉換和發送模塊將分類結果轉換成指令并發送到計算機外部接口。
實驗中用到了BCI2000的batch文件夾下的P3Speller_gMOBIlabPlus.bat批處理文件。批處理文件生成的實驗界面包括主顯示器上的控制界面和副顯示器上的刺激界面。對主顯示器的控制界面按照BCI2000指南對各種實驗參數進行相應設置,由于實驗參數眾多,這個過程需要根據實驗效果不斷修改實驗參數。
面向智能家居控制的刺激界面設計如下:
為了滿足行動障礙人群的生活需求,讓他們方便地控制智能家居系統,刺激界面的設計必須一目了然。實驗采用了圖片型界面和文字型界面兩種方案,經過多次實驗發現文字型界面較圖形界面更簡潔更直觀,更容易讓用戶接受。因此,最終采用了文字型刺激界面。刺激界面采用3行3列矩陣,矩陣元素列出了不同的家電設備,分別是空調、窗簾、壁燈;咖啡機、書房燈、臥室燈;電視、吊燈、全關。受試者連續注視其中刺激界面中的一個設備名,一旦誘發P300電位就會觸發相應設備“開”或“關”。
根據刺激界面上的設備和控制命令間的關系,作者修改BCI2000軟件相應的代碼,并且在BCI2000軟件中加入了串口通信類和串口發送程序的代碼。
2.2 下位機設計
系統的下位機硬件組成說明如下:
系統的發送設備以STC52RC單片機為核心,使用MAX232將計算機串行口輸出的RS232電平轉換為單片機所用到的TTL電平。當單片機串行接收端接收到計算機送來的數據后,在單片機內部進行命令轉換,加上地址碼和校驗碼,然后對一幀數據進行編碼并發送給發射設備,再由發射設備發射出去。發送設備由計算機串行口供電。為了遠距離通信,另外也設計了獨立的5 V供電電路。發射設備選用了TX-1G型VHF/UHF超高頻無線數據傳送設備,其工作頻率為433.92 MHz。接收設備同樣以STC52RC單片機為核心,由接收設備接收信號后,然后經單片機譯碼并校驗。另外,還需要一個電源電路用來將市電轉換為5 V/DC。接收設備采用的是GW-3400E型VHF/UHF超高頻無線數據傳送接收設備。
軟件方面,發送數據的幀格式規定如下:
800μs前同步脈沖后面是6字節數據,為方便從左至右命名為data[0]~data[5],其中地址域為無線發射終端的地址,16位,設置地址碼為data[0]=0x00,data[1]=0x01。數據域中,data[2]存放家電設備的編號,data[3]存放發射終端對家電的控制命令,data[4]為和校驗碼即地址域和數據域4個字節的累加和,data[5]中是發送數據的幀數。采用反相曼徹斯特編碼即用兩個碼之間的電平變化來表示數字信號0或1。編碼后的數據每個字節都按先發低位,后發高位的順序發送。系統每隔300 μs發送一幀數據,發送端要連續發送39幀數據。接收端解碼時對邏輯0和1的判別是根據碼元中間發生電壓跳變后,接收端口的電平來判斷。跳變后端口電平為低,表示收到一位0;端口電平為高,表示收到一位1。在一幀數據接收結束,如校驗正確,對后續接收到的編碼不予響應,否則繼續接收后續編碼。如后續幀數據校驗均出錯,則接收方不予響應。
3 系統測試
實驗共選取了5名年齡25~26歲的健康受試者,三男兩女。在安靜、光照略低的室內環境中進行。受試者應集中注意力,當所注視的圖片或文字閃爍一次在心中計數一次。實驗使用的電極為:C3、C4、Cz、P7、P8五個通道,另外,耳朵為參考電極,額頭中心為接地。
由于每個人每段時間的P300 EEG信號分類模型都不相同,所以在進行實時控制之前,要先對每個人利用BCI2000 的P300Classifier訓練出一個效果好的分類器,例如規定分類正確率高于85%。讓受試者依次選擇每個圖片或文字做一次輸出訓練,然后將得到的EEG數據載入P300Classifier分析軟件,查看分類結果。讓每名受試者訓練2~3次(如果達不到要求可以增加訓練次數),然后在正確率大于85%的數據集中選擇最高的生成分類器參數文件即*.prm文件,該文件將作為在線測試的分類器使用。
在線測試之前,首先在控制界面導入訓練的分類器*.prm文件,然后受試者按照實驗提示者的語音提示依次注視界面上的相應圖片或文字。實驗過程中,受試者如感到疲勞,則應讓其休息,確保受試者每次實驗都處在最佳狀態。實驗分為兩組,分別在下午和晚上進行,每組包括20次的控制輸出。圖 2為實驗過程的照片。
 圖2
				P300 腦機接口控制智能家居的實驗過程
			
												
				Figure2.
				Experiments of controlling smart home using P300 BCI
						
				圖2
				P300 腦機接口控制智能家居的實驗過程
			
												
				Figure2.
				Experiments of controlling smart home using P300 BCI
			
								4 測試結果
經過對5名受試者的實驗,正確率統計如表 1所示。由表可以看到,從下午到晚上的兩組實驗的正確率中,4名受試者呈現上升的趨勢,且平均正確率都達到70%以上;只有1名受試者的正確率是下降的,但其平均正確率也超過了60%。這可能跟受試者對系統的適應程度、適應過程以及受試者的精神狀態、注意力集中程度等都有關系。
 表1
                實驗正確率(%)
		 	
		 			 				Table1.
    			The experimental accuracy rate (%)
			
						表1
                實驗正確率(%)
		 	
		 			 				Table1.
    			The experimental accuracy rate (%)
       		
       				另外,為了觀察P300響應,圖 3顯示了受試者1的Cz通道的EEG波形及其r2值,統計量r2反映了任務占總信號方差的比例,r2值越高表示P300響應越明顯。從圖 3(a)中可以看到,在300~400 ms左右的時間段,目標刺激的P300響應幅值增大,遠遠高于非目標刺激的幅值,在接近400 ms的地方,P300響應達到最大;相對應地,圖 3(b)中目標刺激波形的r2值在接近400 ms處也出現了峰值。
3行3列的刺激矩陣相對于6行6列來說,控制指令的數量從36個減少為9個,目標事件發生的概率也由原來的1/6變為1/3,這帶來的結果就是前者誘發的P300電位幅度不如后者的。但是,有研究[16]顯示,在其他條件相同的情況下,3行3列的矩陣取得了比6行6列更高的在線正確率,而且同樣獲得了滿意的比特率(系統單位時間內傳輸的信息量[17])。
下面給出比特率來對該系統的性能做出評價。首先用下面的公式求出每次試驗輸出傳輸的比特數,即
| $B=lo{{g}_{2}}N+Plo{{g}_{2}}P+\left( 1-P \right)lo{{g}_{2}}\left( \frac{1-P}{N-1} \right),$ | 
其中N為可能的目標數量,P為目標被準確分類的概率。則比特率可以由B除以一次試驗的持續時間計算得到。系統理論上的比特率應該為12.08 bits/min,實際測試后得到的有效比特率為5.70~9.15 bits/min,如表 2所示。
本文腦機接口系統采用了175 ms的相對較小刺激間隔(inter stimulus interval,ISI)。一般來說,ISI越小則單位時間內的刺激數就越多,系統的比特率也會隨之提高,但實際中刺激越快受試者會明顯感到不適,這樣反而會導致正確率下降,比特率也會因此受到影響。因此,通過多次實驗來尋求受試者比較適合的ISI,刺激持續時間,背景色等參數,是非常必要的。
 圖3
				受試者1的P300響應
						
				圖3
				受試者1的P300響應
			
									(a)P300響應波形;(b)r2值波形
Figure3. P300 response of subject 1(a) P300 response waveform; (b) r2 waveform
 表2
                在線測試的比特率(bits/min)
		 	
		 			 				Table2.
    			The online test bite rate(bits/min)
			
						表2
                在線測試的比特率(bits/min)
		 	
		 			 				Table2.
    			The online test bite rate(bits/min)
       		
       				5 結論
通過對受試者的多次實驗,P300腦機接口智能家居控制系統的設計達到了預期效果,能夠實現對智能家居設備的控制。該系統可以為腦機接口智能家居系統以及其他系統的實現提供有價值的借鑒和思路。
實驗過程中受試者要保持一個平靜的心理狀態和充沛的精力。實驗發現文字型界面較圖形界面更容易讓用戶接受。最好的實踐設置是:背景為黑色,字符矩陣為暗灰色,變亮時字符為白色,這樣顏色的對比度比較強烈,刺激強度也就更強。對刺激持續及間隔時間的調整也要適當,使其閃爍頻率適合具體用戶習慣為最佳。需要進一步研究提高信息傳遞效率方法。
 
        

 
                 
				 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
                                                                    
                                                                        
                                                                        
                                                                        