增大事件相關電位的幅值是提高 P300 等經典事件相關電位范式下的腦-機接口系統辨識意圖準確率的重要方法之一，此類腦-機接口系統常以符號或者被控對象作為視覺刺激，但是何種視覺刺激能夠獲得更明顯的事件相關電位仍然未知。本文設計方形、箭頭和機器人附加箭頭這三種視覺刺激，分析圖片的具體程度對 N200 和 P300 電位的影響，并采用支持向量機辨識該誘發電位來對比不同刺激下的腦-機接口性能。結果顯示，與方形相比，機器人附加箭頭和箭頭都在額葉誘發出幅值更大的 N200 電位（P = 1.6 × 10?3，P = 4.2 × 10?2）和潛伏期更長的 P300 電位（P = 2.2 × 10?3，P = 1.9 × 10?2）。機器人附加箭頭將方形和箭頭的 N200 電位幅值數值分別從 3.12 μV 和 5.19 μV 提升至 7.21 μV（P = 1.6 × 10?3，P = 8.9 × 10?2），單次準確率從 59.95% 和 61.67% 提升至 74.45%（P = 2.1 × 10?2，P = 1.6 × 10?2），單次信息傳輸率從 35.00 bits/min 和 35.98 bits/min 提升至 56.71 bits/min（P = 2.6 × 10?2，P = 1.6 × 10?2）。本研究表明圖形的具體性會影響 N200 電位和 P300 電位，箭頭雖然能夠表征圖片的含義并誘發電位，但是機器人附加箭頭所包含的信息與人的經驗相關度更大，有助于獲得更高的電位幅值。該研究可為腦-機接口的視覺刺激界面優化設計提供新的思路。
引用本文： 李夢凡, 楊光. 具體與抽象圖形對 N200 和 P300 電位的影響研究. 生物醫學工程學雜志, 2020, 37(3): 427-433, 441. doi: 10.7507/1001-5515.201903042 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
引言
腦-機接口（brain-computer interface，BCI）是通過計算機或者其他設備，在人腦和外界環境之間建立的一條不依賴人體外周神經系統與肌肉組織，用于對外交流信息和控制的通路[1-3]。事件相關電位（event-related potential，ERP）是一種廣泛應用于 BCI 領域的腦電信號[4-6]，是大腦對外加的某種特定刺激或者心理因素產生反應而引起的一種電位變化[7]，常見電位包括 P300[8]、N200[9]和失匹配負向波[10]等。基于 ERP 的 BCI 系統具有訓練時長較短、可輸出指令較多等優點，因此得到廣泛的研究與應用。Palankar 等[11]利用 P300 控制機械臂；Iturrate 等[12]把附加于虛擬環境的視覺刺激作為目的地，實現輪椅導航；Li 等[13]利用圖片作為視覺刺激誘發 N200 和 P300 電位，控制仿人機器人在復雜環境下避障。ERP 的分辨率高，精度可達到毫秒級別，因此在探究大腦認知視覺刺激過程中起到重要作用。
但是，ERP 的幅值低于外界噪聲和自發腦電的幅值[7]，并且在采集過程中易受到它們的干擾，導致系統對 ERP 的辨識度精度降低。提高準確率的常規方式為增加誘發次數，但是這會減小系統的信息傳輸率[14]，降低系統輸出指令的速度。因此，發現增大 ERP 幅值的關鍵視覺因素，并利用其設計視覺 BCI 的誘發界面，是提高基于 ERP 的視覺誘發 BCI 性能的方式之一。研究者通過改變視覺刺激的時間間隔[15-16]、視覺強度[17]、視覺角度[18]等刺激參數，或者提出豎線滑動刺激[19]、人臉刺激[20]、偏差刺激[21]等新型刺激方式來提高系統的分類準確率。但是視覺刺激包括誘發形式與刺激內容兩方面，而上述成果大多關注的是誘發形式，較少考慮刺激內容對 ERP 的影響[5]。Kosonogov 等[22]提出包含社會性內容的圖片能夠引起更廣泛的自動注意，提高 P2 的幅值和縮短潛伏期；李玥[23]指出封閉圖形比開放圖形能夠誘發更大的 P300；Bradley 等[24]認為復雜的圖形在頂葉和額葉能夠誘發出更大的正向波和負向波。由此可見，優化刺激內容來提高 ERP 的特征可能是一種新型的提高 BCI 性能的途徑。本文擬通過分析 BCI 中常用刺激所包含的視覺元素，從中找出有利于提高 N200 和 P300 特征的元素，從而進一步提高 BCI 性能。
本研究組的前期研究[25]發現刺激的內容可以影響 ERP：與方形相比，機器人附加箭頭的刺激在額葉能夠誘發幅值更大的 N200 電位。雖然該刺激能夠提高 N200 的幅值，但是前期研究對提高 N200 幅值的主要視覺因素仍然未知，這是因為該刺激包含仿人機器人和箭頭這兩種因素，而這兩種因素均存在影響 ERP 的可能性。仿人機器人圖形包含人的體態特征和行為姿勢，能夠明確地表明機器人的動作信息。有研究表明包含人的行為的視覺刺激會影響 ERP：動作“注視”可引起早期指向注意負波[26]，動作“行走”能夠誘發 N200 電位和 N240 電位[27]，上下顛倒和不協調的走路方式則降低 ERP 的幅值[28]。仿人機器人是與人的外形相似的機器人，其動作與人的動作相近，因此仿人機器人的動作可能會影響 ERP 電位。箭頭是一種日常生活中常見的標識，具有方向性的含義但是不包含行為含義，研究表明它能夠誘發前部注意指向負波[29]，因此也存在提高 N200 幅值的潛力。由此可見，兩種視覺刺激元素均可能影響 N200，因此本文主要探究機器人圖形與箭頭是否分別是提高 N200 電位幅值的主要因素。
由于 ERP 具有毫秒級別的高分辨率[5]，能夠記錄和呈現大腦認知過程的快速變化，因此本文利用該電位分析視覺刺激的內容對大腦信息處理加工過程的影響。具體的圖形是指能夠明確地呈現圖片含義的圖形[30-31]，如機器人附加箭頭；抽象的圖形是指以幾何形狀為基本元素，難以辨認原型的圖像[32]，如箭頭；含義不明確的圖形是指難以根據現有信息理解圖片含義的圖形[33]，如方形刺激。本文采用 oddball 范式，通過設計對照類實驗來拆分箭頭與機器人，以方形刺激、箭頭和機器人附加箭頭作為視覺刺激來誘發 ERP，并采用支持向量機（support vector machine，SVM）辨識 N200 和 P300。從電位的幅值與腦地形圖、BCI 的分類準確率和信息傳輸率角度探究機器人附加箭頭與箭頭對 ERP 和基于 ERP 的 BCI 的影響。本文探究了大腦處理視覺具體圖形與抽象圖形的差異，為理解大腦處理視覺圖像的機制提供一定的理論基礎，以期為提高基于 ERP 的 BCI 系統的性能和優化視覺刺激界面提供新思路。
1 方法
1.1 誘發界面
誘發界面包含 6 張同類別的圖片，以 2 行 3 列的形式排布，每張圖片代表仿人機器人的一個行為，分別是前進、后退、左跨步、右跨步、左轉和右轉。圖 1 分別是以方形、箭頭和機器人附加箭頭這三類圖片作為視覺刺激的三個誘發界面，每個界面均采用 oddball 范式和單字符法來顯示圖片。針對同一類圖片進行如下流程。界面首先利用黑色圖片屏蔽 6 張圖片，其次隨機地顯示某張圖片 150 ms，隨后屏蔽該圖片 70 ms。定義該過程為 1 次“閃爍”，6 次閃爍組成 1 次“重復”，界面所包含的 6 張圖片在 1 次重復中均獲顯示。8 次重復為 1 個“重復組”。被試在 1 個重復組中需持續注視在同一位置閃爍的圖片作為目標，并忽略在其他位置閃爍的圖片。定義被試在 1 個重復組中持續注視的同一位置的圖片為“目標刺激”，其他的圖片為“非目標刺激”。
圖1
視覺誘發界面
Figure1.
Visual interface
1.2 實驗數據采集與處理
實驗采用一臺分辨率為 1 280 × 1 024 像素、刷新率為 60 Hz 的 22 英寸 LCD 屏顯示誘發界面。15 名被試（7 名女性，8 名男性，平均年齡 26.4 歲，均右利手，裸眼視力或者矯正視力正常）參加該實驗。被試坐在較為安靜的實驗室內，保持視線與顯示屏的中央處在同一個水平線上，眼睛與顯示屏的距離為 70 cm。本實驗采用 NeuroScan 設備（康迪，澳大利亞），以 1 000 Hz 的采樣率采集 32 個通道的腦電信號，電極通道分布符合國際 10-20 系統標準，參考通道為雙耳乳突。實驗經河北工業大學倫理審查委員會批準。實驗前所有被試均閱讀了實驗相關的說明和注意事項，并簽署了實驗知情同意書。
15 名被試均需完成三類視覺刺激條件的誘發實驗，在每類視覺刺激條件下執行 36 個重復組。由于每個閃爍所對應的數據形成一個樣本，因此在每個條件下每個被試的總樣本量為 1 728（36 × 8 × 6 = 1 728）。
特征提取環節針對每個通道截取每個刺激出現后的 50～750 ms 的數據為一個數據段，通過三階 Butterworth 濾波器進行 0.5～10.0 Hz 的帶通濾波，并以該數據段的平均值作為基線進行基線校正。由于眼電和運動電位對誘導 ERP 的影響很小，所以本研究數據未經過偽跡處理[21, 34-35]。對每個數據段降采樣至 40 Hz，從而在每個通道形成 28 維的特征向量（（750 ? 50）× 40 / 1 000 = 28）。本研究以通道 O2、O1、Oz、Pz、P4、P8、P7、P3、FCz、Cz、Fz、F3、F4 作為特征通道，因此形成 364 維的特征向量（28 × 13 = 364）。
1.3 SVM
SVM 是一種基于統計理論的、用于模式識別的機器學習方法[36]。線性 SVM 的判別公式如下[37]：
 |
其中，xi（i = 1，2，3，
）代表訓練集的特征向量。K（·）代表 xi 和 x 的乘積，y
{+1，?1}表征類的標簽。
1.4 信息傳輸率
信息傳輸率（information transfer rate，ITR）是評價 BCI 系統速度的常用指標[38]，與準確率、刺激數量、重復次數相關，其計算公式如下：
 |
 |
其中 ACC 代表準確率；N 代表界面的視覺刺激數目；M 代表單位分鐘內可以輸出的指令數目；n 代表一個重復組中的重復次數；T 代表重復的時間長度，單位為 ms。
1.5 統計學方法
本文采用 Wilcoxon 檢驗法來進行統計學檢驗，其中顯著性水平設為 0.05[39-40]。P 值小于 0.05 表明兩種情況的差異具有統計學意義。
2 實驗結果
2.1 誘發電位
數據分析環節截取每個刺激后的 0～1 000 ms 數據形成數據段，并以刺激前 0～100 ms 數據作為基線進行基線校正。將同一種條件下的所有目標刺激所對應的數據段進行疊加平均，從而獲得該刺激所誘發的 ERP，如圖 2 所示為三種條件下的 ERP 波形圖。隨著從大腦的枕葉向中央區域與額葉移動，N200 電位和 P300 電位的幅值逐漸增大，潛伏期增長。三種刺激條件下 ERP 的幅值和潛伏期如表 1 所示。在枕葉的 Oz 通道，方形、箭頭、機器人附加箭頭均在大約 150 ms 誘發負向波 N200 電位，在大約 270 ms 誘發正向波 P300 電位。在額葉，N200 電位的潛伏期延長為 260～290 ms（方形：額葉 vs. 枕葉，P = 5.7 × 10?5；箭頭：額葉 vs. 枕葉，P = 7.5 × 10?6；機器人附加箭頭：額葉 vs. 枕葉，P = 3.4 × 10?6），P300 電位的潛伏期延長至 400～440 ms（方形：額葉 vs. 枕葉，P = 3.3 × 10?5；箭頭：額葉 vs. 枕葉，P = 9.0 × 10?6；機器人附加箭頭：額葉 vs. 枕葉，P = 4.6 × 10?6）。在大腦的前區，三種視覺刺激的誘發 N200 電位呈現較大差異：在 Fz 通道，機器人附加箭頭的幅值最大，為 ?7.21 μV，高于方形的 ?3.12 μV（P = 1.6 × 10?3）和箭頭的 ?5.19 μV（P = 8.9 × 10?2）。對于 P300 電位，雖然機器人附加箭頭的幅值相對較高，但不具有明顯差異。
表1
三種刺激條件下 ERP 的幅值和潛伏期
Table1.
The amplitude and latency of ERP under three stimulus conditions
圖2
三種刺激下的波形圖
Figure2.
The ERP under three conditions
2.2 腦地形圖
本文通過用顏色表示 ERP 在某個時間點的各個通道的幅值來形成腦地形圖，更為直觀地呈現了三種刺激所引起的電位在空間上的差異。圖 3 是三種條件分別在 250、300、450 ms 時刻的腦地形圖。在 250 ms，機器人附加箭頭的方式會引起更強烈的負向腦電活動，并且該負向變化持續至大約 300 ms。隨著時間推移，該負向活動逐漸轉變為正向腦電活動。和方形與箭頭這兩種條件相比，機器人附加箭頭條件下的腦電活動更加強烈，并且范圍更廣。三種視覺刺激所引起的 ERP 差異主要集中在大腦的額葉和中央區域，而在枕葉的差異較小，說明圖形的差異能夠造成大腦的額葉和中央區域處理圖形信息的不同。
圖3
三種刺激下的腦地形圖
Figure3.
The topographies of ERPs under three conditions
2.3 準確率與信息傳輸率
圖 4 是采用 SVM 作為分類器對三種條件下的樣本進行 9 折交叉驗證所得到的準確率與信息傳輸率。隨著重復次數的增加，準確率逐漸上升，信息傳輸率逐漸下降。當采用具體的機器人附加箭頭的圖片作為誘發界面時，能夠獲得較高的準確率與信息傳輸率。準確率和信息傳輸率如表 2 所示。
表2
三種刺激條件下準確率和信息傳輸率
Table2.
Accuracies and information transfer rates under three stimulus conditions
圖4
三種條件下的準確率與信息傳輸率
Figure4.
Accuracies and ITRs under three conditions
當重復次數增至 3 次時，機器人附加箭頭條件下的準確率可達到 96.85%，信息傳輸率可達到 35.76 bits/min，高于其他兩者的 85.15%（P = 2.4 × 10?3）、90.51%（P = 5.2 × 10?2）和 26.60 bits/min（P = 2.7 × 10?3）、30.53 bits/min（P = 5.7 × 10?2）。該實驗結果表明增加圖形的具體性可幫助提高系統辨識電位的準確率與速度。隨著重復次數增加，樣本數量逐漸增多，因此三種條件分類準確率將不斷上升，并在 100% 附近小范圍浮動，使得三種條件分類準確率趨于一致。當重復為 8 時，三種條件下的分類準確率均能達到較高水平（機器人附加箭頭：100%；箭頭：99.07%；方形：96.67%）。由式（2）和式（3）可知，當分類準確率為一個相對穩定的值時，重復次數 n 增加導致單位分鐘內可以輸出的指令數目 M 減小，從而造成信息傳輸率的逐漸降低，因此 BCI 系統的設計應兼顧準確率和信息傳輸率，在較小重復次數下獲得較高準確率才能取得較高的信息傳輸率，從而保證 BCI 系統的準確性與實時性。
3 討論
采用 ERP 的首要原因是 ERP 在 BCI 系統中廣泛應用，基于 ERP 的 BCI 系統在不需要被試大量訓練的情況下即可獲得較高的分類準確率，且輸出指令較多[41]。本研究發現，三種條件在枕葉所誘發的電位在幅值與潛伏期上存在較大的相似性，我們推測三種視覺刺激的初級加工過程相似。三種刺激誘發的電位的差異主要出現在大腦前區，并且 ERP 的潛伏期均較長，因此圖片內容差異可能主要導致大腦對圖片信息提取的后期加工過程的不同。本研究推測機器人附加箭頭的刺激具有較優的效果，可能與大腦對經驗信息的加工有關。機器人附加箭頭的視覺刺激包含執行動作的機器人，該機器人具有友好的與人的體貌類似的外形；刺激還包含動作的執行方式等細節的信息，能夠較為清楚地表達機器人動作的含義，并且這些行為與日常生活中人的行為經驗相似。由于經驗有助于提高大腦對事物的理解并影響腦電信號[42]，因此機器人附加箭頭可能通過促進大腦將其與生活常識中的人形、人的行為的相關經驗相結合，使得被試較為容易地理解視覺含義。大腦處理圖形時需要比對記憶中的存儲知識來提取圖形的含義[43]，而知識以圖式為單元存儲在長時記憶中，并在提取到工作記憶之后進行加工來提取信息[44]。刺激所包含的信息與被試的經驗的關聯性越大，則大腦整合圖式信息的自動化程度越高并且在大腦中存儲的圖式越多，從而為進一步理解刺激提供幫助[45]。機器人附加箭頭所提供的信息與被試的生活經驗相關，可能使得大腦可以直接地、自動地理解機器人刺激所表達的含義，減少了編碼的轉換[42]。箭頭雖然可以表征機器人動作的方向，但是其缺失的機器人形狀信息可能使得大腦難以將該刺激與具體行為進行聯系。方形的含義不明確，導致大腦難以將其與已儲存的有關機器人行為的記憶發生聯系進行進一步的加工。因此，視覺刺激的具體程度不同導致大腦處理視覺刺激的過程有一定差異，從而造成 N200 和 P300 的差異。
4 結論
本文分別采用機器人附加箭頭、箭頭和方形三種圖形作為具體圖形、抽象圖形和含義不明確圖形來設計視覺刺激并誘發電位，并比較了不同視覺刺激下的 BCI 性能。機器人附加箭頭和箭頭雖然都能夠表達圖片的含義并提高或者延長 N200 和 P300 的幅值或者潛伏期，但是與抽象的箭頭相比，具體的機器人附加箭頭提供了更多的細節信息，進一步增大了電位的幅值。機器人附加箭頭的刺激條件下準確率和信息傳輸率均為最高，表明豐富視覺刺激的具體信息可以提高 BCI 性能，為基于 ERP 的 BCI 系統的刺激界面的優化設計提供新思路，即采用含義豐富的、具體的圖形比采用抽象的圖形設計視覺刺激，將使得 BCI 系統具有更高的辨識電位的精度。
箭頭包含了“長方形”與“三角形”兩種元素，在 BCI 應用中更具有意義，因此本文采用箭頭來探究抽象圖形的作用。未來研究可分別將箭頭進行更具體的劃分，進一步分析基本視覺元素對 ERP 的影響。視覺刺激之間構成的差異性可能對 ERP 幅值的提升具有一定影響。本文的箭頭之間的差異與機器人姿勢之間的差異是否對 ERP 有影響，是值得探討的一個問題，未來工作可嘗試針對視覺刺激差異性對 BCI 性能的影響展開進一步研究。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
引言
腦-機接口（brain-computer interface，BCI）是通過計算機或者其他設備，在人腦和外界環境之間建立的一條不依賴人體外周神經系統與肌肉組織，用于對外交流信息和控制的通路[1-3]。事件相關電位（event-related potential，ERP）是一種廣泛應用于 BCI 領域的腦電信號[4-6]，是大腦對外加的某種特定刺激或者心理因素產生反應而引起的一種電位變化[7]，常見電位包括 P300[8]、N200[9]和失匹配負向波[10]等。基于 ERP 的 BCI 系統具有訓練時長較短、可輸出指令較多等優點，因此得到廣泛的研究與應用。Palankar 等[11]利用 P300 控制機械臂；Iturrate 等[12]把附加于虛擬環境的視覺刺激作為目的地，實現輪椅導航；Li 等[13]利用圖片作為視覺刺激誘發 N200 和 P300 電位，控制仿人機器人在復雜環境下避障。ERP 的分辨率高，精度可達到毫秒級別，因此在探究大腦認知視覺刺激過程中起到重要作用。
但是，ERP 的幅值低于外界噪聲和自發腦電的幅值[7]，并且在采集過程中易受到它們的干擾，導致系統對 ERP 的辨識度精度降低。提高準確率的常規方式為增加誘發次數，但是這會減小系統的信息傳輸率[14]，降低系統輸出指令的速度。因此，發現增大 ERP 幅值的關鍵視覺因素，并利用其設計視覺 BCI 的誘發界面，是提高基于 ERP 的視覺誘發 BCI 性能的方式之一。研究者通過改變視覺刺激的時間間隔[15-16]、視覺強度[17]、視覺角度[18]等刺激參數，或者提出豎線滑動刺激[19]、人臉刺激[20]、偏差刺激[21]等新型刺激方式來提高系統的分類準確率。但是視覺刺激包括誘發形式與刺激內容兩方面，而上述成果大多關注的是誘發形式，較少考慮刺激內容對 ERP 的影響[5]。Kosonogov 等[22]提出包含社會性內容的圖片能夠引起更廣泛的自動注意，提高 P2 的幅值和縮短潛伏期；李玥[23]指出封閉圖形比開放圖形能夠誘發更大的 P300；Bradley 等[24]認為復雜的圖形在頂葉和額葉能夠誘發出更大的正向波和負向波。由此可見，優化刺激內容來提高 ERP 的特征可能是一種新型的提高 BCI 性能的途徑。本文擬通過分析 BCI 中常用刺激所包含的視覺元素，從中找出有利于提高 N200 和 P300 特征的元素，從而進一步提高 BCI 性能。
本研究組的前期研究[25]發現刺激的內容可以影響 ERP：與方形相比，機器人附加箭頭的刺激在額葉能夠誘發幅值更大的 N200 電位。雖然該刺激能夠提高 N200 的幅值，但是前期研究對提高 N200 幅值的主要視覺因素仍然未知，這是因為該刺激包含仿人機器人和箭頭這兩種因素，而這兩種因素均存在影響 ERP 的可能性。仿人機器人圖形包含人的體態特征和行為姿勢，能夠明確地表明機器人的動作信息。有研究表明包含人的行為的視覺刺激會影響 ERP：動作“注視”可引起早期指向注意負波[26]，動作“行走”能夠誘發 N200 電位和 N240 電位[27]，上下顛倒和不協調的走路方式則降低 ERP 的幅值[28]。仿人機器人是與人的外形相似的機器人，其動作與人的動作相近，因此仿人機器人的動作可能會影響 ERP 電位。箭頭是一種日常生活中常見的標識，具有方向性的含義但是不包含行為含義，研究表明它能夠誘發前部注意指向負波[29]，因此也存在提高 N200 幅值的潛力。由此可見，兩種視覺刺激元素均可能影響 N200，因此本文主要探究機器人圖形與箭頭是否分別是提高 N200 電位幅值的主要因素。
由于 ERP 具有毫秒級別的高分辨率[5]，能夠記錄和呈現大腦認知過程的快速變化，因此本文利用該電位分析視覺刺激的內容對大腦信息處理加工過程的影響。具體的圖形是指能夠明確地呈現圖片含義的圖形[30-31]，如機器人附加箭頭；抽象的圖形是指以幾何形狀為基本元素，難以辨認原型的圖像[32]，如箭頭；含義不明確的圖形是指難以根據現有信息理解圖片含義的圖形[33]，如方形刺激。本文采用 oddball 范式，通過設計對照類實驗來拆分箭頭與機器人，以方形刺激、箭頭和機器人附加箭頭作為視覺刺激來誘發 ERP，并采用支持向量機（support vector machine，SVM）辨識 N200 和 P300。從電位的幅值與腦地形圖、BCI 的分類準確率和信息傳輸率角度探究機器人附加箭頭與箭頭對 ERP 和基于 ERP 的 BCI 的影響。本文探究了大腦處理視覺具體圖形與抽象圖形的差異，為理解大腦處理視覺圖像的機制提供一定的理論基礎，以期為提高基于 ERP 的 BCI 系統的性能和優化視覺刺激界面提供新思路。
1 方法
1.1 誘發界面
誘發界面包含 6 張同類別的圖片，以 2 行 3 列的形式排布，每張圖片代表仿人機器人的一個行為，分別是前進、后退、左跨步、右跨步、左轉和右轉。圖 1 分別是以方形、箭頭和機器人附加箭頭這三類圖片作為視覺刺激的三個誘發界面，每個界面均采用 oddball 范式和單字符法來顯示圖片。針對同一類圖片進行如下流程。界面首先利用黑色圖片屏蔽 6 張圖片，其次隨機地顯示某張圖片 150 ms，隨后屏蔽該圖片 70 ms。定義該過程為 1 次“閃爍”，6 次閃爍組成 1 次“重復”，界面所包含的 6 張圖片在 1 次重復中均獲顯示。8 次重復為 1 個“重復組”。被試在 1 個重復組中需持續注視在同一位置閃爍的圖片作為目標，并忽略在其他位置閃爍的圖片。定義被試在 1 個重復組中持續注視的同一位置的圖片為“目標刺激”，其他的圖片為“非目標刺激”。
圖1
視覺誘發界面
Figure1.
Visual interface
1.2 實驗數據采集與處理
實驗采用一臺分辨率為 1 280 × 1 024 像素、刷新率為 60 Hz 的 22 英寸 LCD 屏顯示誘發界面。15 名被試（7 名女性，8 名男性，平均年齡 26.4 歲，均右利手，裸眼視力或者矯正視力正常）參加該實驗。被試坐在較為安靜的實驗室內，保持視線與顯示屏的中央處在同一個水平線上，眼睛與顯示屏的距離為 70 cm。本實驗采用 NeuroScan 設備（康迪，澳大利亞），以 1 000 Hz 的采樣率采集 32 個通道的腦電信號，電極通道分布符合國際 10-20 系統標準，參考通道為雙耳乳突。實驗經河北工業大學倫理審查委員會批準。實驗前所有被試均閱讀了實驗相關的說明和注意事項，并簽署了實驗知情同意書。
15 名被試均需完成三類視覺刺激條件的誘發實驗，在每類視覺刺激條件下執行 36 個重復組。由于每個閃爍所對應的數據形成一個樣本，因此在每個條件下每個被試的總樣本量為 1 728（36 × 8 × 6 = 1 728）。
特征提取環節針對每個通道截取每個刺激出現后的 50～750 ms 的數據為一個數據段，通過三階 Butterworth 濾波器進行 0.5～10.0 Hz 的帶通濾波，并以該數據段的平均值作為基線進行基線校正。由于眼電和運動電位對誘導 ERP 的影響很小，所以本研究數據未經過偽跡處理[21, 34-35]。對每個數據段降采樣至 40 Hz，從而在每個通道形成 28 維的特征向量（（750 ? 50）× 40 / 1 000 = 28）。本研究以通道 O2、O1、Oz、Pz、P4、P8、P7、P3、FCz、Cz、Fz、F3、F4 作為特征通道，因此形成 364 維的特征向量（28 × 13 = 364）。
1.3 SVM
SVM 是一種基于統計理論的、用于模式識別的機器學習方法[36]。線性 SVM 的判別公式如下[37]：
|
其中，xi（i = 1，2，3，）代表訓練集的特征向量。K（·）代表 xi 和 x 的乘積，y{+1，?1}表征類的標簽。
1.4 信息傳輸率
信息傳輸率（information transfer rate，ITR）是評價 BCI 系統速度的常用指標[38]，與準確率、刺激數量、重復次數相關，其計算公式如下：
|
|
其中 ACC 代表準確率；N 代表界面的視覺刺激數目；M 代表單位分鐘內可以輸出的指令數目；n 代表一個重復組中的重復次數；T 代表重復的時間長度，單位為 ms。
1.5 統計學方法
本文采用 Wilcoxon 檢驗法來進行統計學檢驗，其中顯著性水平設為 0.05[39-40]。P 值小于 0.05 表明兩種情況的差異具有統計學意義。
2 實驗結果
2.1 誘發電位
數據分析環節截取每個刺激后的 0～1 000 ms 數據形成數據段，并以刺激前 0～100 ms 數據作為基線進行基線校正。將同一種條件下的所有目標刺激所對應的數據段進行疊加平均，從而獲得該刺激所誘發的 ERP，如圖 2 所示為三種條件下的 ERP 波形圖。隨著從大腦的枕葉向中央區域與額葉移動，N200 電位和 P300 電位的幅值逐漸增大，潛伏期增長。三種刺激條件下 ERP 的幅值和潛伏期如表 1 所示。在枕葉的 Oz 通道，方形、箭頭、機器人附加箭頭均在大約 150 ms 誘發負向波 N200 電位，在大約 270 ms 誘發正向波 P300 電位。在額葉，N200 電位的潛伏期延長為 260～290 ms（方形：額葉 vs. 枕葉，P = 5.7 × 10?5；箭頭：額葉 vs. 枕葉，P = 7.5 × 10?6；機器人附加箭頭：額葉 vs. 枕葉，P = 3.4 × 10?6），P300 電位的潛伏期延長至 400～440 ms（方形：額葉 vs. 枕葉，P = 3.3 × 10?5；箭頭：額葉 vs. 枕葉，P = 9.0 × 10?6；機器人附加箭頭：額葉 vs. 枕葉，P = 4.6 × 10?6）。在大腦的前區，三種視覺刺激的誘發 N200 電位呈現較大差異：在 Fz 通道，機器人附加箭頭的幅值最大，為 ?7.21 μV，高于方形的 ?3.12 μV（P = 1.6 × 10?3）和箭頭的 ?5.19 μV（P = 8.9 × 10?2）。對于 P300 電位，雖然機器人附加箭頭的幅值相對較高，但不具有明顯差異。
表1
三種刺激條件下 ERP 的幅值和潛伏期
Table1.
The amplitude and latency of ERP under three stimulus conditions
圖2
三種刺激下的波形圖
Figure2.
The ERP under three conditions
2.2 腦地形圖
本文通過用顏色表示 ERP 在某個時間點的各個通道的幅值來形成腦地形圖，更為直觀地呈現了三種刺激所引起的電位在空間上的差異。圖 3 是三種條件分別在 250、300、450 ms 時刻的腦地形圖。在 250 ms，機器人附加箭頭的方式會引起更強烈的負向腦電活動，并且該負向變化持續至大約 300 ms。隨著時間推移，該負向活動逐漸轉變為正向腦電活動。和方形與箭頭這兩種條件相比，機器人附加箭頭條件下的腦電活動更加強烈，并且范圍更廣。三種視覺刺激所引起的 ERP 差異主要集中在大腦的額葉和中央區域，而在枕葉的差異較小，說明圖形的差異能夠造成大腦的額葉和中央區域處理圖形信息的不同。
圖3
三種刺激下的腦地形圖
Figure3.
The topographies of ERPs under three conditions
2.3 準確率與信息傳輸率
圖 4 是采用 SVM 作為分類器對三種條件下的樣本進行 9 折交叉驗證所得到的準確率與信息傳輸率。隨著重復次數的增加，準確率逐漸上升，信息傳輸率逐漸下降。當采用具體的機器人附加箭頭的圖片作為誘發界面時，能夠獲得較高的準確率與信息傳輸率。準確率和信息傳輸率如表 2 所示。
表2
三種刺激條件下準確率和信息傳輸率
Table2.
Accuracies and information transfer rates under three stimulus conditions
圖4
三種條件下的準確率與信息傳輸率
Figure4.
Accuracies and ITRs under three conditions
當重復次數增至 3 次時，機器人附加箭頭條件下的準確率可達到 96.85%，信息傳輸率可達到 35.76 bits/min，高于其他兩者的 85.15%（P = 2.4 × 10?3）、90.51%（P = 5.2 × 10?2）和 26.60 bits/min（P = 2.7 × 10?3）、30.53 bits/min（P = 5.7 × 10?2）。該實驗結果表明增加圖形的具體性可幫助提高系統辨識電位的準確率與速度。隨著重復次數增加，樣本數量逐漸增多，因此三種條件分類準確率將不斷上升，并在 100% 附近小范圍浮動，使得三種條件分類準確率趨于一致。當重復為 8 時，三種條件下的分類準確率均能達到較高水平（機器人附加箭頭：100%；箭頭：99.07%；方形：96.67%）。由式（2）和式（3）可知，當分類準確率為一個相對穩定的值時，重復次數 n 增加導致單位分鐘內可以輸出的指令數目 M 減小，從而造成信息傳輸率的逐漸降低，因此 BCI 系統的設計應兼顧準確率和信息傳輸率，在較小重復次數下獲得較高準確率才能取得較高的信息傳輸率，從而保證 BCI 系統的準確性與實時性。
3 討論
采用 ERP 的首要原因是 ERP 在 BCI 系統中廣泛應用，基于 ERP 的 BCI 系統在不需要被試大量訓練的情況下即可獲得較高的分類準確率，且輸出指令較多[41]。本研究發現，三種條件在枕葉所誘發的電位在幅值與潛伏期上存在較大的相似性，我們推測三種視覺刺激的初級加工過程相似。三種刺激誘發的電位的差異主要出現在大腦前區，并且 ERP 的潛伏期均較長，因此圖片內容差異可能主要導致大腦對圖片信息提取的后期加工過程的不同。本研究推測機器人附加箭頭的刺激具有較優的效果，可能與大腦對經驗信息的加工有關。機器人附加箭頭的視覺刺激包含執行動作的機器人，該機器人具有友好的與人的體貌類似的外形；刺激還包含動作的執行方式等細節的信息，能夠較為清楚地表達機器人動作的含義，并且這些行為與日常生活中人的行為經驗相似。由于經驗有助于提高大腦對事物的理解并影響腦電信號[42]，因此機器人附加箭頭可能通過促進大腦將其與生活常識中的人形、人的行為的相關經驗相結合，使得被試較為容易地理解視覺含義。大腦處理圖形時需要比對記憶中的存儲知識來提取圖形的含義[43]，而知識以圖式為單元存儲在長時記憶中，并在提取到工作記憶之后進行加工來提取信息[44]。刺激所包含的信息與被試的經驗的關聯性越大，則大腦整合圖式信息的自動化程度越高并且在大腦中存儲的圖式越多，從而為進一步理解刺激提供幫助[45]。機器人附加箭頭所提供的信息與被試的生活經驗相關，可能使得大腦可以直接地、自動地理解機器人刺激所表達的含義，減少了編碼的轉換[42]。箭頭雖然可以表征機器人動作的方向，但是其缺失的機器人形狀信息可能使得大腦難以將該刺激與具體行為進行聯系。方形的含義不明確，導致大腦難以將其與已儲存的有關機器人行為的記憶發生聯系進行進一步的加工。因此，視覺刺激的具體程度不同導致大腦處理視覺刺激的過程有一定差異，從而造成 N200 和 P300 的差異。
4 結論
本文分別采用機器人附加箭頭、箭頭和方形三種圖形作為具體圖形、抽象圖形和含義不明確圖形來設計視覺刺激并誘發電位，并比較了不同視覺刺激下的 BCI 性能。機器人附加箭頭和箭頭雖然都能夠表達圖片的含義并提高或者延長 N200 和 P300 的幅值或者潛伏期，但是與抽象的箭頭相比，具體的機器人附加箭頭提供了更多的細節信息，進一步增大了電位的幅值。機器人附加箭頭的刺激條件下準確率和信息傳輸率均為最高，表明豐富視覺刺激的具體信息可以提高 BCI 性能，為基于 ERP 的 BCI 系統的刺激界面的優化設計提供新思路，即采用含義豐富的、具體的圖形比采用抽象的圖形設計視覺刺激，將使得 BCI 系統具有更高的辨識電位的精度。
箭頭包含了“長方形”與“三角形”兩種元素，在 BCI 應用中更具有意義，因此本文采用箭頭來探究抽象圖形的作用。未來研究可分別將箭頭進行更具體的劃分，進一步分析基本視覺元素對 ERP 的影響。視覺刺激之間構成的差異性可能對 ERP 幅值的提升具有一定影響。本文的箭頭之間的差異與機器人姿勢之間的差異是否對 ERP 有影響，是值得探討的一個問題，未來工作可嘗試針對視覺刺激差異性對 BCI 性能的影響展開進一步研究。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
