基于穩態視覺誘發電位（SSVEP）的腦機接口（BCI）在智能機器人領域的應用備受關注。傳統基于SSVEP的BCI系統多采用同步觸發方式，沒有識別用戶是處于控制態還是非控制態，導致系統缺乏自主控制能力。為此，本文提出了一種SSVEP異步狀態識別方法，通過融合腦電信號（EEG）的多種時頻域特征，結合線性判別分類器構建了異步狀態識別模型，提高SSVEP異步狀態識別準確率。進一步，針對殘障人群在多任務場景下的控制需求，搭建了一種基于SSVEP-BCI異步協同控制的腦機融合系統，實現在復雜場景下可穿戴機械手與機械臂即“第三只手”的協同控制。實驗結果表明，運用本文所提出的SSVEP異步控制算法和腦機融合系統，可以輔助用戶完成多任務協同操作，在線控制實驗中用戶意圖識別的平均準確率為93.0%，為SSVEP異步腦機接口系統的實際應用提供了理論和實踐依據。
引用本文： 謝平, 門延帝, 甄嘉樂, 邵謝寧, 趙靖, 陳曉玲. 基于異步穩態視覺誘發電位的腦機融合“第三只手”. 生物醫學工程學雜志, 2024, 41(4): 664-672. doi: 10.7507/1001-5515.202312056 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
0 引言
據中國殘疾人聯合會最新數據表明，截止2021年我國殘疾人人數為831.8萬人，其中患有肢體殘疾的人數為407萬人，約占殘疾人數的50%。腦機接口（brain-computer interface，BCI）是將人類的腦電信號（electroencephalogram，EEG）轉化為計算機可以識別的控制指令，進而實現大腦的信號與外部設備之間的傳遞[1]。隨著BCI技術的不斷發展，有研究將之用于實現腦卒中后運動功能障礙患者的康復訓練或智能假肢控制等，通過一定的方式解碼腦電信號獲得控制意圖，利用BCI系統替代或者輔助完成動作[2-4]。對于大多數手臂殘疾者，通常需要一個外部機械臂來代替自己的手臂完成動作[5]，這種外肢體機器人（supernumerary robotic limb，SRL）常被稱為“第三只手”[6]。
腦控“第三只手”不僅給殘疾人帶來便利，對于健康參與者也能夠通過非侵入式腦電信號控制類人機械臂來完成多任務的處理，從而增強人體能力[7-9]。例如，Baldi等[10]通過定義內在運動空間，使用戶能夠利用已參與任務的自然肢體來控制額外機械臂，恢復殘疾用戶的部分肢體功能。Tu等[11]設計了兩個額外機械臂，它們通過背帶固定在用戶背部，幫助用戶完成提起物體、平舉物體等任務，驗證了人類在高空任務時協同控制兩個機械臂的安全性和可靠性。在這些研究中通過“第三只手”擴大人類的可用技能和操作范圍[12-14]，從而更有效地執行任務，并減少工作量。
由此可見，BCI與“第三只手”的結合為人類的生活提供了更大的幫助。在BCI系統中，穩態視覺誘發電位（steady-state visual evoked potential，SSVEP）為通過用戶注視以固定頻率閃爍的目標，引起視覺皮層產生對應頻率及其諧波的電位變化的實驗范式。由于它具有高信噪比、訓練時間少、信息傳輸率（information transfer rate，ITR）高等優點得到廣泛的應用[15-17]，也是本文所研究的腦電范式。
然而傳統SSVEP范式實現方式仍然存在一定的局限。例如，SSVEP的誘發主要通過計算機屏幕呈現視覺刺激，在日常應用中存在移動繁瑣、交互性差等問題，因此本文將引入增強現實（augmented reality，AR）技術來改善此問題[18-20]。在基于SSVEP設計的BCI系統中，根據用戶操作與計算機處理的時序關系分為同步系統和異步系統。在同步系統中，計算機給出特定的時序信號，用戶需要按照系統的時序信號完成操作指令。而異步系統則不同，受試者可以按照自己的意愿在任意時刻開始和停止腦控活動，系統根據用戶的腦電信號動態識別控制態和空閑態[21-23]。而現有BCI系統多采用同步觸發模式，極大地限制了用戶自主控制能力，不適用于實際應用場景。因此需要研究異步SSVEP-BCI系統來實現對機械手的自主控制，以滿足用戶更多的實用需求。
為此，本文設計了一個基于異步SSVEP的腦控“第三只手”系統。首先利用AR眼鏡呈現視覺刺激界面，獲取控制者的SSVEP信號觸發任務指令，控制由機械手和“第三只手”即機械臂組成的執行機構，以實現對人體的輔助與功能增強。通過設計基于腦電時頻特征的SSVEP異步識別算法，實現BCI與輔助機械手和機械臂結合的協同控制，并將SSVEP刺激界面呈現在AR眼鏡中，增加SSVEP系統的便攜性。最后，通過離線和在線實驗驗證本文所提方法的有效性。
1 系統設計
1.1 系統描述
整個系統由刺激呈現、數據處理和執行機構三部分組成，如圖1所示。由于刺激界面對系統的流暢性要求較高，所以刺激呈現與數據處理分別在兩臺計算機上進行以避免系統間的相互影響。通過將刺激界面投影到AR眼鏡上，使用戶既可以看到閃爍刺激又可以與現實世界自由交互。腦電數據通過網絡傳輸到數據處理計算機上，將數據預處理后提取時頻域特征，通過所提出的SSVEP異步狀態識別模型，得到控制狀態數據后進行指令識別。控制指令被發送到執行機構，使機械手與機械臂即“第三只手”完成指定動作。
圖1
系統結構圖
Figure1.
System structure
1.2 刺激界面
視覺刺激界面通過MATLAB R2020a中的Psychtoolbox-3工具包實現[24]，編碼利用采樣正弦編碼[25]方式。編程實現將刺激界面按幀顯示在LCD顯示屏上，屏幕采用美國戴爾的D2421H 23.8 英寸電腦顯示器，分辨率為1 920×1 080，刷新率為60 Hz。AR眼鏡選用由中國Nreal推出的XREAL AR眼鏡，該款眼鏡既能通過無線傳輸，又可以使用有線傳輸。為保證刺激界面投影到AR眼鏡中能維持穩定的頻率，本文將計算機屏幕上的刺激界面通過HDMI接口投影到AR眼鏡上，圖2展示了屏幕中呈現的刺激界面和對應的閃爍圖形。
圖2
視覺刺激界面
Figure2.
Visual stimulator interface
1.3 數據處理流程
腦電數據通過中國Neuracle公司生產的NeuSen W系列無線腦電采集系統獲取，采樣頻率1 000 Hz。實驗數據記錄位于頂枕區的9個電極（Pz、PO5、PO3、POz、PO4、PO6、O1、Oz和O2），相關研究表明這些通道具有更強的SSVEP成分[26]。電極分布符合國際10-20系統，參考電極為位于頭頂的Ref通道，接地電極為位于前額的GND，保持電極阻抗均低于50 kΩ。
獲得的腦電信號在進行基線去除后降采樣到250 Hz，然后分別進行10～81 Hz的帶通濾波和49.7～50.3 Hz的凹陷濾波。通過提取信號的異步狀態特征進行多特征融合，構建SSVEP異步狀態識別模型對特征進行分類。當識別結果為控制狀態時，數據包被送入濾波器組典型相關分析（filter bank canonical correlation analysis，FBCCA）方法中得到控制指令發送給執行機構[27]，數據處理流程如圖3所示。
圖3
數據處理流程
Figure3.
Data processing flow
1.4 執行機構
執行裝置分為機械手和機械臂兩個部分，用來執行BCI系統的輸出指令。其中機械手采用本實驗室自主設計研發的針對手部康復的機械式驅動機械手，型號為Airhand5。該機械手外殼由自主三維建模打印，控制板芯片采用STM32，通信模塊使用HC05藍牙模塊。單根手指有3個自由度，使用人體關節生理約束的外骨骼機構設計和單手指單電機的欠驅動設計，使得該機械手既具備欠驅動結構的輕巧又具備全驅動結構的穩定，并且進行多次迭代更新。機械手佩戴于用戶的左手上，輔助手部殘疾者進行手指運動，完成物體的抓握等操作。
機械臂是一臺中國Elehant Robotics公司生產的ER myCobot 280 Pi，為桌面級小型六軸協作機械臂，末端裝有電機驅動的二指夾爪。機械臂固定在用戶一側的桌面邊緣，將手機與香蕉模型放在桌面的固定位置，機械臂與BCI系統通過TCP/IP進行通信。
2 數據與方法
2.1 受試者與實驗環境
本實驗共有10名受試者進行離線實驗采集與在線測試，包括8名男性和2名女性，年齡在20～25之間，健康狀況良好，視力正常或者矯正為正常。所有受試者均為右利手，有1名受試者參加過BCI的相關試驗或對BCI有一定了解，而另外9名受試者不熟悉BCI及其相關試驗。由于AR-BCI系統中背景光照強度和刺激界面中目標數量的變化會顯著影響SSVEP的響應強度和識別準確率[28-29]，因此本文對光照強度進行一定的控制。離線實驗中，關閉直射的燈光并遮蔽窗戶，使實驗室處于昏暗的狀態；在線實驗時只將燈光關閉，具有自然光照射。實驗前每名受試者均簽署知情同意書，在整個試驗過程中，受試者坐在相對舒適安靜的實驗室中。
2.2 SSVEP離線數據采集流程
采集離線數據進行方法分析與參數優化。離線數據采集流程如圖4所示，每位受試者采集12個組塊（block），每個block包含6個試次（trial），即SSVEP刺激界面包含的6個目標，受試者需要在一個block中遍歷一次。在每個block開始時，有5 s的實驗說明和受試者準備時間，之后以偽隨機的形式對6個刺激的出現順序進行編碼，根據編碼順序，出現視覺提示標識，并收集5 s空閑狀態數據，此時屏幕不閃爍，要求受試者目光注視屏幕。空閑狀態結束后，屏幕開始閃爍，受試者注視提示所對應的目標，并收集5 s控制狀態數據。每個block結束后進行2～3 min休息時間。數據采集過程中受試者全程佩戴AR眼鏡，并減少身體的晃動和主動眨眼。
圖4
數據采集流程
Figure4.
Data acquisition process
2.3 在線實驗流程
搭建在線系統驗證方法的有效性。通過離線分析，在線實驗中數據處理的時間窗口為3 s。在線實驗中，要求受試者在規定的時間內，按照任務的動作邏輯發出控制指令，持續進行操作手機或者操作香蕉的任務。受試者根據系統提示音判斷實驗的開始與停止，通過統計在線實驗中發出指令的次數與正確指令個數，計算系統的在線性能。
2.4 SSVEP異步狀態識別方法
異步狀態的識別為基于SSVEP的BCI系統提供了更加靈活自然的控制方式。本文設計的異步狀態識別模型提取信噪比（signal to noise ratio，SNR）、典型相關分析（canonical correlation analysis，CCA）和功率譜密度（power spectral density，PSD）三類特征[30-32]。
由于SSVEP腦電信號在頻域上具有明顯的刺激頻率峰值及其諧波，并且SSVEP刺激會提高腦電信號的信噪比，這里信噪比定義為頻率幅值與相鄰10個頻率幅值的平均值之比，可以有效地突出對應刺激處的頻率峰值。因此，計算濾波后全部頻段內信號的信噪比與功率譜密度，分別選取最大值作為異步狀態分類的一個特征。
計算典型相關系數時首先構造由正余弦信號組成的參考模板Y，然后將多通道腦電信號X與模板信號進行相關性分析，求得最大相關系數。計算公式如下：
 |
 |
式中
、
、
、
分別表示正余弦參考信號諧波數、刺激頻率、采樣頻率和采樣信號樣本長度。根據典型相關性分析原理，對每段腦電信號與參考信號進行相關性分析，得到六個相關系數，腦電與刺激頻率的相關系數應該大于與其他頻率的相關系數，因此將相關系數的最大值作為腦電信號的一個特征。
將所選取的特征值拼接成為一維特征向量，使用線性判別分類器（linear discriminant analysis，LDA）對融合后的特征向量進行分類[33]，構成SSVEP異步狀態識別模型。通過該模型在線提取用戶的控制意圖。
通過分類模型得到SSVEP異步狀態結果，若為空閑態，BCI系統不會對此腦電信號進行指令識別；若為控制態，則利用FBCCA方法得到最終的刺激結果。該方法通過將原始信號分解為不同頻帶，獲得更多的頻率信息以提高SSVEP目標識別結果準確率。首先將原始信號分解為不同的子帶分量
，然后通過式（3）得到不同頻段的相關系數，計算如下：
 |
最后將不同頻段的相關系數按照頻段數加權得到最終的相關性，其中加權系數中的a和b的值為表格篩選得到的最優值，如式(4)～(5)所示：
 |
 |
至此，在線獲取的腦電數據被識別為用戶想要發送的控制指令。
2.5 系統評價指標
在BCI系統中，分類準確度（accuracy，ACC）以及在線系統的ITR為常用的結果評價指標[34]。其中ITR描述在線BCI系統單位時間內可以發出準確指令的能力，計算公式如下：
 |
 |
 |
其中，N為系統可選目標，本文為6；P為目標識別準確率；T為單次目標響應時間為t/n。本文在計算ITR時，將被控設備運行的時間與空閑態的識別作為指令識別的一部分。
3 結果
3.1 異步狀態特征分析
圖5所示為16 Hz刺激下誘發的腦電信號頻譜圖和時域圖，并且與空閑狀態進行對比，時域圖中每個通道分開表示。從圖中可以看出刺激引發的SSVEP在頻域上引起其對應頻率和諧波的譜峰，無刺激狀態下則無明顯峰值，因此刺激狀態下與模板進行相關分析會得到更高的相關系數。
圖5
時頻特征
Figure5.
Time-frequency characteristic
圖6為實驗中11～16 Hz刺激誘發下控制狀態與空閑狀態的信噪比。在各種刺激誘發下，控制狀態時，對應頻率處均會產生更高的信噪比；而空閑狀態時，信噪比不會出現突出的峰值。由此可得，控制狀態下腦電信號在對應誘發頻率及其諧波下信噪比會更高。
圖6
各種刺激下控制狀態與空閑狀態信噪比差異
Figure6.
SNR difference between control state and idle state under each stimulus
圖7所示為1.5 s的數據窗口下SSVEP異步特征的空間分布，不難看出，此時控制態和空閑態在特征空間內具有較強的可分性，說明所提特征可以有效區分SSVEP異步狀態。
圖7
特征空間分布
Figure7.
Feature spatial distribution
3.2 異步狀態識別結果
3.2.1 離線實驗結果
利用離線數據驗證所提SSVEP異步識別方法的有效性，分別計算異步分類準確率和指令識別準確率。由表1和表2可見，隨著時間窗的增加，二者準確率均有所提高。表1所示為基于FBCCA的無訓練SSVEP識別方法在不同時間窗口長度下的識別結果，其中當數據長度為1.5 s時達到83.4%的平均識別準確率，證明所采集數據的正確性，為下一步異步狀態的識別提供了依據。表2顯示當數據窗口長度從1.0 s增加到1.5 s時，異步識別準確率提升約9個百分點，達到78.1%的平均值，表明所設計的異步狀態識別方法可有效提取SSVEP異步特征，并隨著數據的增長不斷提升識別準確率。
表1
指令識別準確率（%）
Table1.
Instruction recognition accuracy (%)
表2
異步狀態分類準確率（%）
Table2.
Asynchronous state classification accuracy (%)
3.2.2 在線實驗結果
在線系統中，受試者可以選擇操控手機和香蕉兩個目標。圖8展示了受試者通過此系統完成抓取手機動作時“第三只手”即機械臂與機械手的協同控制過程，實驗開始時機械臂位于原始位置，開始實驗，用戶通過BCI系統發送抓取手機的指令，機械臂成功抓取手機并展示在用戶面前，然后受試者操控機械手與機械臂夾取的手機進行交互，最后機械臂放下手機并返回初始位置（具體實驗視頻參見附件1）。
圖8
動作完成過程
Figure8.
Action completion process
通過完成預先規定的協同控制動作對在線系統的有效性進行驗證。在線實驗中，要求受試者循環完成機械臂抓取物品、機械手操控物品最后放回物品的動作。在規定時間t內（這里取180 s），統計受試者通過所構建的異步系統發出的指令數n，并根據指令列表計算準確率。表3展示了10名受試者在線實驗的結果，其中受試者S3為ITR最優者，ITR達到48.9 bit/min，準確率為98.6%。說明本文所提出的SSVEP異步分類模型可以識別用戶的控制意圖，并準確識別控制指令，完成對執行機構的控制。所構建的異步在線系統，可以在保證指令識別準確率的情況下，實現用戶的自主控制需求。
表3
異步在線BCI系統性能
Table3.
Performance of asynchronous online BCI system
4 討論
本文構建了一套基于異步SSVEP的腦控“第三只手”系統，通過設計SSVEP異步狀態識別模型，利用控制態和空閑態下誘發的腦電信號時頻差異進行異步狀態的識別，使BCI系統可以在線實時分類使用者的控制意圖，提高系統的實用性。此外，“第三只手”機械臂與機械手結合的協同控制策略，豐富了用戶的控制方式。相比于傳統的屏幕顯示SSVEP刺激與其他輔助系統控制指令所提供的形式（語音與眼動等），AR技術為用戶提供了更加自然、高效的控制方式[35]，本文結合AR眼鏡構建基于SSVEP的控制系統，可為用戶提供更好的觀感和系統便攜性。
通過本文設計的異步狀態識別方法，離線數據表明，在數據窗口長度為1 s時可以達到69.0%的平均識別準確率，并隨著數據長度的增加，準確率得到明顯提升。在線平均ITR為40.2 bit/min，平均準確率為93.0%，相較于現有方法，可以通過較少的特征和算法復雜度，實現較高的識別準確率。應用本文所提方法構建的在線BCI系統可以穩定高效地輸出控制指令。
5 結論
本文提出一種異步的SSVEP控制態和空閑態識別方法，該方法通過提取腦電信號的時域與頻域特征構成特征向量，使用LDA分類器實現異步狀態識別。為增強系統的操控豐富性，設計“第三只手”和機械手的協同控制策略，實現對物品的自由抓取和操控。此外，結合AR技術提高用戶體驗感。通過分析離線數據，在數據窗長為1.5 s時，所設計的異步狀態識別模型對控制狀態的分類準確率可達78.1%，體現了該模型的有效性。在線實驗顯示，用戶在180 s內平均發出指令數為30.8個，即可在5.8 s的時間內完成一個完整動作，通過所構建系統可自主流暢完成機械臂與機械手的協同控制，驗證了所提出系統的實用性。本文為基于SSVEP的BCI實用系統的發展提供了新的研究思路。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：研究的構思和實驗設計由謝平完成，論文撰寫、數據分析與圖片繪制由門延帝完成，數據收集由甄嘉樂與邵謝寧完成，內容審核與修訂由趙靖與陳曉玲完成。
倫理聲明：本研究通過了秦皇島市第一醫院倫理委員會的審批（批文編號：2022A016）。
本文附件見本刊網站的電子版本（biomedeng.cn）。
0 引言
據中國殘疾人聯合會最新數據表明，截止2021年我國殘疾人人數為831.8萬人，其中患有肢體殘疾的人數為407萬人，約占殘疾人數的50%。腦機接口（brain-computer interface，BCI）是將人類的腦電信號（electroencephalogram，EEG）轉化為計算機可以識別的控制指令，進而實現大腦的信號與外部設備之間的傳遞[1]。隨著BCI技術的不斷發展，有研究將之用于實現腦卒中后運動功能障礙患者的康復訓練或智能假肢控制等，通過一定的方式解碼腦電信號獲得控制意圖，利用BCI系統替代或者輔助完成動作[2-4]。對于大多數手臂殘疾者，通常需要一個外部機械臂來代替自己的手臂完成動作[5]，這種外肢體機器人（supernumerary robotic limb，SRL）常被稱為“第三只手”[6]。
腦控“第三只手”不僅給殘疾人帶來便利，對于健康參與者也能夠通過非侵入式腦電信號控制類人機械臂來完成多任務的處理，從而增強人體能力[7-9]。例如，Baldi等[10]通過定義內在運動空間，使用戶能夠利用已參與任務的自然肢體來控制額外機械臂，恢復殘疾用戶的部分肢體功能。Tu等[11]設計了兩個額外機械臂，它們通過背帶固定在用戶背部，幫助用戶完成提起物體、平舉物體等任務，驗證了人類在高空任務時協同控制兩個機械臂的安全性和可靠性。在這些研究中通過“第三只手”擴大人類的可用技能和操作范圍[12-14]，從而更有效地執行任務，并減少工作量。
由此可見，BCI與“第三只手”的結合為人類的生活提供了更大的幫助。在BCI系統中，穩態視覺誘發電位（steady-state visual evoked potential，SSVEP）為通過用戶注視以固定頻率閃爍的目標，引起視覺皮層產生對應頻率及其諧波的電位變化的實驗范式。由于它具有高信噪比、訓練時間少、信息傳輸率（information transfer rate，ITR）高等優點得到廣泛的應用[15-17]，也是本文所研究的腦電范式。
然而傳統SSVEP范式實現方式仍然存在一定的局限。例如，SSVEP的誘發主要通過計算機屏幕呈現視覺刺激，在日常應用中存在移動繁瑣、交互性差等問題，因此本文將引入增強現實（augmented reality，AR）技術來改善此問題[18-20]。在基于SSVEP設計的BCI系統中，根據用戶操作與計算機處理的時序關系分為同步系統和異步系統。在同步系統中，計算機給出特定的時序信號，用戶需要按照系統的時序信號完成操作指令。而異步系統則不同，受試者可以按照自己的意愿在任意時刻開始和停止腦控活動，系統根據用戶的腦電信號動態識別控制態和空閑態[21-23]。而現有BCI系統多采用同步觸發模式，極大地限制了用戶自主控制能力，不適用于實際應用場景。因此需要研究異步SSVEP-BCI系統來實現對機械手的自主控制，以滿足用戶更多的實用需求。
為此，本文設計了一個基于異步SSVEP的腦控“第三只手”系統。首先利用AR眼鏡呈現視覺刺激界面，獲取控制者的SSVEP信號觸發任務指令，控制由機械手和“第三只手”即機械臂組成的執行機構，以實現對人體的輔助與功能增強。通過設計基于腦電時頻特征的SSVEP異步識別算法，實現BCI與輔助機械手和機械臂結合的協同控制，并將SSVEP刺激界面呈現在AR眼鏡中，增加SSVEP系統的便攜性。最后，通過離線和在線實驗驗證本文所提方法的有效性。
1 系統設計
1.1 系統描述
整個系統由刺激呈現、數據處理和執行機構三部分組成，如圖1所示。由于刺激界面對系統的流暢性要求較高，所以刺激呈現與數據處理分別在兩臺計算機上進行以避免系統間的相互影響。通過將刺激界面投影到AR眼鏡上，使用戶既可以看到閃爍刺激又可以與現實世界自由交互。腦電數據通過網絡傳輸到數據處理計算機上，將數據預處理后提取時頻域特征，通過所提出的SSVEP異步狀態識別模型，得到控制狀態數據后進行指令識別。控制指令被發送到執行機構，使機械手與機械臂即“第三只手”完成指定動作。
圖1
系統結構圖
Figure1.
System structure
1.2 刺激界面
視覺刺激界面通過MATLAB R2020a中的Psychtoolbox-3工具包實現[24]，編碼利用采樣正弦編碼[25]方式。編程實現將刺激界面按幀顯示在LCD顯示屏上，屏幕采用美國戴爾的D2421H 23.8 英寸電腦顯示器，分辨率為1 920×1 080，刷新率為60 Hz。AR眼鏡選用由中國Nreal推出的XREAL AR眼鏡，該款眼鏡既能通過無線傳輸，又可以使用有線傳輸。為保證刺激界面投影到AR眼鏡中能維持穩定的頻率，本文將計算機屏幕上的刺激界面通過HDMI接口投影到AR眼鏡上，圖2展示了屏幕中呈現的刺激界面和對應的閃爍圖形。
圖2
視覺刺激界面
Figure2.
Visual stimulator interface
1.3 數據處理流程
腦電數據通過中國Neuracle公司生產的NeuSen W系列無線腦電采集系統獲取，采樣頻率1 000 Hz。實驗數據記錄位于頂枕區的9個電極（Pz、PO5、PO3、POz、PO4、PO6、O1、Oz和O2），相關研究表明這些通道具有更強的SSVEP成分[26]。電極分布符合國際10-20系統，參考電極為位于頭頂的Ref通道，接地電極為位于前額的GND，保持電極阻抗均低于50 kΩ。
獲得的腦電信號在進行基線去除后降采樣到250 Hz，然后分別進行10～81 Hz的帶通濾波和49.7～50.3 Hz的凹陷濾波。通過提取信號的異步狀態特征進行多特征融合，構建SSVEP異步狀態識別模型對特征進行分類。當識別結果為控制狀態時，數據包被送入濾波器組典型相關分析（filter bank canonical correlation analysis，FBCCA）方法中得到控制指令發送給執行機構[27]，數據處理流程如圖3所示。
圖3
數據處理流程
Figure3.
Data processing flow
1.4 執行機構
執行裝置分為機械手和機械臂兩個部分，用來執行BCI系統的輸出指令。其中機械手采用本實驗室自主設計研發的針對手部康復的機械式驅動機械手，型號為Airhand5。該機械手外殼由自主三維建模打印，控制板芯片采用STM32，通信模塊使用HC05藍牙模塊。單根手指有3個自由度，使用人體關節生理約束的外骨骼機構設計和單手指單電機的欠驅動設計，使得該機械手既具備欠驅動結構的輕巧又具備全驅動結構的穩定，并且進行多次迭代更新。機械手佩戴于用戶的左手上，輔助手部殘疾者進行手指運動，完成物體的抓握等操作。
機械臂是一臺中國Elehant Robotics公司生產的ER myCobot 280 Pi，為桌面級小型六軸協作機械臂，末端裝有電機驅動的二指夾爪。機械臂固定在用戶一側的桌面邊緣，將手機與香蕉模型放在桌面的固定位置，機械臂與BCI系統通過TCP/IP進行通信。
2 數據與方法
2.1 受試者與實驗環境
本實驗共有10名受試者進行離線實驗采集與在線測試，包括8名男性和2名女性，年齡在20～25之間，健康狀況良好，視力正常或者矯正為正常。所有受試者均為右利手，有1名受試者參加過BCI的相關試驗或對BCI有一定了解，而另外9名受試者不熟悉BCI及其相關試驗。由于AR-BCI系統中背景光照強度和刺激界面中目標數量的變化會顯著影響SSVEP的響應強度和識別準確率[28-29]，因此本文對光照強度進行一定的控制。離線實驗中，關閉直射的燈光并遮蔽窗戶，使實驗室處于昏暗的狀態；在線實驗時只將燈光關閉，具有自然光照射。實驗前每名受試者均簽署知情同意書，在整個試驗過程中，受試者坐在相對舒適安靜的實驗室中。
2.2 SSVEP離線數據采集流程
采集離線數據進行方法分析與參數優化。離線數據采集流程如圖4所示，每位受試者采集12個組塊（block），每個block包含6個試次（trial），即SSVEP刺激界面包含的6個目標，受試者需要在一個block中遍歷一次。在每個block開始時，有5 s的實驗說明和受試者準備時間，之后以偽隨機的形式對6個刺激的出現順序進行編碼，根據編碼順序，出現視覺提示標識，并收集5 s空閑狀態數據，此時屏幕不閃爍，要求受試者目光注視屏幕。空閑狀態結束后，屏幕開始閃爍，受試者注視提示所對應的目標，并收集5 s控制狀態數據。每個block結束后進行2～3 min休息時間。數據采集過程中受試者全程佩戴AR眼鏡，并減少身體的晃動和主動眨眼。
圖4
數據采集流程
Figure4.
Data acquisition process
2.3 在線實驗流程
搭建在線系統驗證方法的有效性。通過離線分析，在線實驗中數據處理的時間窗口為3 s。在線實驗中，要求受試者在規定的時間內，按照任務的動作邏輯發出控制指令，持續進行操作手機或者操作香蕉的任務。受試者根據系統提示音判斷實驗的開始與停止，通過統計在線實驗中發出指令的次數與正確指令個數，計算系統的在線性能。
2.4 SSVEP異步狀態識別方法
異步狀態的識別為基于SSVEP的BCI系統提供了更加靈活自然的控制方式。本文設計的異步狀態識別模型提取信噪比（signal to noise ratio，SNR）、典型相關分析（canonical correlation analysis，CCA）和功率譜密度（power spectral density，PSD）三類特征[30-32]。
由于SSVEP腦電信號在頻域上具有明顯的刺激頻率峰值及其諧波，并且SSVEP刺激會提高腦電信號的信噪比，這里信噪比定義為頻率幅值與相鄰10個頻率幅值的平均值之比，可以有效地突出對應刺激處的頻率峰值。因此，計算濾波后全部頻段內信號的信噪比與功率譜密度，分別選取最大值作為異步狀態分類的一個特征。
計算典型相關系數時首先構造由正余弦信號組成的參考模板Y，然后將多通道腦電信號X與模板信號進行相關性分析，求得最大相關系數。計算公式如下：
|
|
式中、、、分別表示正余弦參考信號諧波數、刺激頻率、采樣頻率和采樣信號樣本長度。根據典型相關性分析原理，對每段腦電信號與參考信號進行相關性分析，得到六個相關系數，腦電與刺激頻率的相關系數應該大于與其他頻率的相關系數，因此將相關系數的最大值作為腦電信號的一個特征。
將所選取的特征值拼接成為一維特征向量，使用線性判別分類器（linear discriminant analysis，LDA）對融合后的特征向量進行分類[33]，構成SSVEP異步狀態識別模型。通過該模型在線提取用戶的控制意圖。
通過分類模型得到SSVEP異步狀態結果，若為空閑態，BCI系統不會對此腦電信號進行指令識別；若為控制態，則利用FBCCA方法得到最終的刺激結果。該方法通過將原始信號分解為不同頻帶，獲得更多的頻率信息以提高SSVEP目標識別結果準確率。首先將原始信號分解為不同的子帶分量，然后通過式（3）得到不同頻段的相關系數，計算如下：
|
最后將不同頻段的相關系數按照頻段數加權得到最終的相關性，其中加權系數中的a和b的值為表格篩選得到的最優值，如式(4)～(5)所示：
|
|
至此，在線獲取的腦電數據被識別為用戶想要發送的控制指令。
2.5 系統評價指標
在BCI系統中，分類準確度（accuracy，ACC）以及在線系統的ITR為常用的結果評價指標[34]。其中ITR描述在線BCI系統單位時間內可以發出準確指令的能力，計算公式如下：
|
|
|
其中，N為系統可選目標，本文為6；P為目標識別準確率；T為單次目標響應時間為t/n。本文在計算ITR時，將被控設備運行的時間與空閑態的識別作為指令識別的一部分。
3 結果
3.1 異步狀態特征分析
圖5所示為16 Hz刺激下誘發的腦電信號頻譜圖和時域圖，并且與空閑狀態進行對比，時域圖中每個通道分開表示。從圖中可以看出刺激引發的SSVEP在頻域上引起其對應頻率和諧波的譜峰，無刺激狀態下則無明顯峰值，因此刺激狀態下與模板進行相關分析會得到更高的相關系數。
圖5
時頻特征
Figure5.
Time-frequency characteristic
圖6為實驗中11～16 Hz刺激誘發下控制狀態與空閑狀態的信噪比。在各種刺激誘發下，控制狀態時，對應頻率處均會產生更高的信噪比；而空閑狀態時，信噪比不會出現突出的峰值。由此可得，控制狀態下腦電信號在對應誘發頻率及其諧波下信噪比會更高。
圖6
各種刺激下控制狀態與空閑狀態信噪比差異
Figure6.
SNR difference between control state and idle state under each stimulus
圖7所示為1.5 s的數據窗口下SSVEP異步特征的空間分布，不難看出，此時控制態和空閑態在特征空間內具有較強的可分性，說明所提特征可以有效區分SSVEP異步狀態。
圖7
特征空間分布
Figure7.
Feature spatial distribution
3.2 異步狀態識別結果
3.2.1 離線實驗結果
利用離線數據驗證所提SSVEP異步識別方法的有效性，分別計算異步分類準確率和指令識別準確率。由表1和表2可見，隨著時間窗的增加，二者準確率均有所提高。表1所示為基于FBCCA的無訓練SSVEP識別方法在不同時間窗口長度下的識別結果，其中當數據長度為1.5 s時達到83.4%的平均識別準確率，證明所采集數據的正確性，為下一步異步狀態的識別提供了依據。表2顯示當數據窗口長度從1.0 s增加到1.5 s時，異步識別準確率提升約9個百分點，達到78.1%的平均值，表明所設計的異步狀態識別方法可有效提取SSVEP異步特征，并隨著數據的增長不斷提升識別準確率。
表1
指令識別準確率（%）
Table1.
Instruction recognition accuracy (%)
表2
異步狀態分類準確率（%）
Table2.
Asynchronous state classification accuracy (%)
3.2.2 在線實驗結果
在線系統中，受試者可以選擇操控手機和香蕉兩個目標。圖8展示了受試者通過此系統完成抓取手機動作時“第三只手”即機械臂與機械手的協同控制過程，實驗開始時機械臂位于原始位置，開始實驗，用戶通過BCI系統發送抓取手機的指令，機械臂成功抓取手機并展示在用戶面前，然后受試者操控機械手與機械臂夾取的手機進行交互，最后機械臂放下手機并返回初始位置（具體實驗視頻參見附件1）。
圖8
動作完成過程
Figure8.
Action completion process
通過完成預先規定的協同控制動作對在線系統的有效性進行驗證。在線實驗中，要求受試者循環完成機械臂抓取物品、機械手操控物品最后放回物品的動作。在規定時間t內（這里取180 s），統計受試者通過所構建的異步系統發出的指令數n，并根據指令列表計算準確率。表3展示了10名受試者在線實驗的結果，其中受試者S3為ITR最優者，ITR達到48.9 bit/min，準確率為98.6%。說明本文所提出的SSVEP異步分類模型可以識別用戶的控制意圖，并準確識別控制指令，完成對執行機構的控制。所構建的異步在線系統，可以在保證指令識別準確率的情況下，實現用戶的自主控制需求。
表3
異步在線BCI系統性能
Table3.
Performance of asynchronous online BCI system
4 討論
本文構建了一套基于異步SSVEP的腦控“第三只手”系統，通過設計SSVEP異步狀態識別模型，利用控制態和空閑態下誘發的腦電信號時頻差異進行異步狀態的識別，使BCI系統可以在線實時分類使用者的控制意圖，提高系統的實用性。此外，“第三只手”機械臂與機械手結合的協同控制策略，豐富了用戶的控制方式。相比于傳統的屏幕顯示SSVEP刺激與其他輔助系統控制指令所提供的形式（語音與眼動等），AR技術為用戶提供了更加自然、高效的控制方式[35]，本文結合AR眼鏡構建基于SSVEP的控制系統，可為用戶提供更好的觀感和系統便攜性。
通過本文設計的異步狀態識別方法，離線數據表明，在數據窗口長度為1 s時可以達到69.0%的平均識別準確率，并隨著數據長度的增加，準確率得到明顯提升。在線平均ITR為40.2 bit/min，平均準確率為93.0%，相較于現有方法，可以通過較少的特征和算法復雜度，實現較高的識別準確率。應用本文所提方法構建的在線BCI系統可以穩定高效地輸出控制指令。
5 結論
本文提出一種異步的SSVEP控制態和空閑態識別方法，該方法通過提取腦電信號的時域與頻域特征構成特征向量，使用LDA分類器實現異步狀態識別。為增強系統的操控豐富性，設計“第三只手”和機械手的協同控制策略，實現對物品的自由抓取和操控。此外，結合AR技術提高用戶體驗感。通過分析離線數據，在數據窗長為1.5 s時，所設計的異步狀態識別模型對控制狀態的分類準確率可達78.1%，體現了該模型的有效性。在線實驗顯示，用戶在180 s內平均發出指令數為30.8個，即可在5.8 s的時間內完成一個完整動作，通過所構建系統可自主流暢完成機械臂與機械手的協同控制，驗證了所提出系統的實用性。本文為基于SSVEP的BCI實用系統的發展提供了新的研究思路。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：研究的構思和實驗設計由謝平完成，論文撰寫、數據分析與圖片繪制由門延帝完成，數據收集由甄嘉樂與邵謝寧完成，內容審核與修訂由趙靖與陳曉玲完成。
倫理聲明：本研究通過了秦皇島市第一醫院倫理委員會的審批（批文編號：2022A016）。
本文附件見本刊網站的電子版本（biomedeng.cn）。
