運動想象腦-機接口（MI-BCI）作為最常見的主動式腦-機交互范式，仍存在指令集小、正確率低等瓶頸問題，其信息傳輸速率（ITR）與實際應用嚴重受限。本文設計了六指令想象動作，采集了 19 名被試的腦電信號（EEG），研究協同腦-機接口（cBCI）的協同策略對 MI-BCI 分類性能的提升效果，對比了不同群體規模、融合策略的變化對群體分類性能的影響。結果表明，最適的群體規模為 4 人，最佳的融合策略為決策融合，并且在該條件下群體的分類正確率達到了 77%，這比相同群體規模下特征融合策略有所提高（77.31% vs. 56.34%），并且比單用戶的平均水平明顯提高（77.31% vs. 44.90%）。本研究證明了 cBCI 協同策略可有效提升 MI-BCI 分類性能，為 MI-cBCI 研究及其未來應用奠定了基礎。
引用本文： 張力新, 陳小翠, 陳龍, 顧斌, 王仲朋, 明東. 基于運動想象腦-機接口的協同策略研究. 生物醫學工程學雜志, 2021, 38(3): 409-416. doi: 10.7507/1001-5515.202007059 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
引言
腦-機接口（brain-computer interface，BCI）作為一種新型的人機交互方式，是通過檢測中樞神經系統活動并將其轉化為人工輸出來替代、修復、增強、補充或者改善中樞神經系統的正常輸出，從而改變中樞神經系統與內外環境之間進行的交互作用的系統[1]。然而，基于運動想象的腦-機接口（motor imagery brain-computer interface，MI-BCI）信號的產生不依賴于外部事件，可以直觀反映大腦的隨意性活動，與用戶的運動意圖密切相關，可以實現真正意義上的“所思即所動”[2]。MI-BCI 系統發展至今，因范式優勢其應用場景非常廣泛，不僅可以實現日常的交流與自主控制，如字符輸入[3]，假肢、輪椅等[4-5]控制，還被廣泛應用于體育運動訓練和神經恢復等領域，未來甚至可以應用在一些多用戶聯合作業的特殊領域。
盡管 MI-BCI 的發展前景廣闊，但在實際應用中仍面臨著一些問題。首先，MI-BCI 中用戶訓練時間長，因為 MI 誘發的腦電信號（electroencephalogram，EEG）存在較大的個體差異性，并且會有用戶存在“BCI 盲”現象[6-7]，所以為建立一個有效的通用模型，需要提前對用戶進行長時間的訓練。其次，MI-BCI 的系統性能低下，主要體現在 MI-BCI 可識別的指令集小，目前的研究大部分為 2～4 指令[8]；2020 年，尹銳等[9]設計 MI-BCI 的外骨骼控制系統，對想象左、右手兩指令的識別準確率為 82.50%；陳睿等[10]對右手執行 4、10、16 kg 三種不同握力想象任務，對比了極限學習機（extreme learning machine，ELM）和支持向量機（support vector machine，SVM）兩種分類方法，發現 SVM 的分類效果可達 86.30%；駱金晨等[11]設計了左手、右手、腳和舌頭四指令想象動作，采用多特征融合的特征提取方法，使用粒子群 SVM 得到的平均分類正確率為 72.96%；另外，MI-BCI 的分類正確率低，EEG 本身信號微弱，易受干擾，并且 MI 誘發的生理信號空間分辨率低，因此 EEG 較低的信噪比（signal to noise ratio，SNR）造成了 MI-BCI 無法實現精準控制。最后 MI 是一種僅進行心理演練，而無實際運動輸出的范式，因此缺乏對響應時間（response time，RT）、眼電等與任務相關特征的記錄。
針對 MI-BCI 應用中的瓶頸，目前研究存在兩個主要方向。一是實驗范式的創新，通過混合范式增加指令集或者提高分類正確率，克服 MI-BCI 目前存在的不足。McGeady 等[12]采用 MI-P300 混合范式，完成了對輪椅的 11 種指令控制；Ko 等[13]結合穩態視覺誘發電位（steady-state visual evoked potential，SSVEP）組成 MI-SSVEP 混合范式，實現了單通道（C3 或 C4）BCI 在兩類任務中高達 85.60% 的分類正確率；Yi 等[14]采用電刺激代替振蕩刺激的穩態體感誘發電位（steady-state somatosensory evoked potentials，SSSEP）組成 MI-SSSEP 混合范式，證明了基于融合特征的分類正確率顯著高于僅使用一種特征的分類正確率。二是算法的創新，旨在通過算法的優化或創新提高 MI-BCI 分類正確率，縮短用戶訓練時間。Kim 等[15]采用微觀狀態分析降低 MI-BCI 中的錯誤檢測；Wu 等[16]通過基于 sinfomax 的獨立成分分析（independent component analysis，ICA）空間濾波器增加了 MI-BCI 各用戶之間的可遷移性，縮短了 MI-BCI 訓練時間；Lee 等[17]采用基于主成分分析（principal component analysis，PCA）和深度信念網絡（deep belief network，DBN）的特征提取方法，MI-BCI 的分類正確率達到了 96.25%。
近年來，協同腦-機接口（collaborative brain-computer interface，cBCI）作為一種可提高 BCI 性能的群體信息融合策略，自提出后受到了許多研究人員的青睞，其核心是利用集體智慧的原理，擴充用戶維度，通過融合多用戶同一任務下的神經響應信息，提高單試次 EEG 的 SNR，增加與任務相關的有效信息，最終提高整體任務表現。目前 cBCI 的主要應用場景可以劃分為兩種。一是強化基于人體視覺信息的系統決策能力，如 Matran-Fernandez 等[18]設計基于快速序列視覺呈現（rapid serial visual presentation，RSVP）的目標匹配任務，發現 cBCI 的分類正確率比 BCI 高 7.70%。另外，在實際應用中，決策速度和分類正確率同等重要。Bhattacharyya 等[19]模擬軍事哨所的目標檢測任務，采用 cBCI 雙層決策架構有效平衡了決策速度和正確率之間的關系，擴展了時間壓力下 cBCI 的應用范圍。二是強化基于人體動覺信息的系統控制能力，如 Wang 等[20]利用 cBCI 技術改變傳統的神經-肌肉傳輸途徑，提高了運動控制任務的速度（時間縮短 250 ms）和精度（提高了 27%）。Zhou 等[8]通過多用戶共空間模式（multiuser-common spatial pattern，Multi-CSP）算法，實現了 cBCI 可以提前 2 s 達到與 BCI 相同的分類正確率，實現了二維平面的四指令控制。
目前人機交互技術正逐步趨于社會化，群體聯合作業的任務需求日益增加，cBCI 在 BCI 研究中存在著廣闊的應用前景，但關于 MI-BCI 的范式優勢和 cBCI 的協同策略相結合的研究鮮見報道。本文針對 MI-BCI 性能不足的問題，借鑒 cBCI 的集體智慧優勢，提出一種通過協同策略改善 MI-BCI 分類性能的方法。首先設計了基于 MI 的六指令動作，然后根據 cBCI 的不同信息融合方式，嘗試了特征融合和決策融合兩種融合策略，并通過相對增益（relative gain，RG）確定了 MI-cBCI 最適群體規模，分析了最適群體規模下分類正確率在兩種融合策略之間的差異。
1 實驗驗證
1.1 實驗對象
本文的實驗被試為 19 名身體健康、無精神病史、視力正常或矯正后正常的青年志愿者（年齡 22～26 周歲，其中有 10 名女性，所有被試均為右利手），其中有 10 名用戶是第一次接觸 BCI，且沒有接觸過 MI 訓練。實驗經天津大學倫理審查委員會批準，實驗前所有被試均閱讀了實驗相關的說明和注意事項，并簽署了實驗知情同意書。
1.2 實驗設計
本文中所涉及的實驗為離線實驗，為探究 cBCI 對改善單用戶 BCI 系統的性能的影響，實驗過程中均是單用戶分別進行實驗，然后根據融合算法模擬多用戶在線執行動作。本實驗利用 Matlab 中的 Psychtoolbox 工具箱設計了實驗任務界面，選擇了左手、右手、腳三個肢體部位設計了六類想象動作，分別是左手腕伸、右手腕伸、雙手腕伸、雙腳背屈、右手腕伸+左腳背屈復合動作和左手腕伸+右腳背屈復合動作，其中復合肢體動作中對側想象動作同時進行，具體的想象動作如圖 1 所示。手指、手部和臂部運動的事件相關去同步/同步電位（event-related desynchronization/synchronization，ERD/ERS）在皮層功能區的分布均能呈現出明顯的對側占優特性，然而由于下肢運動功能區局限于溝回以里的有限區域內，左/右腳部運動的 ERD/ERS 并沒有對側占優這個特點，所以左/右腳部動作的區別難度極大。因此，將左手腕伸、右手腕伸和雙腳背屈定義為簡單動作，將雙手腕伸、對側肢體左手右腳復合動作以及右手左腳的復合動作定義為復雜動作，復雜肢體動作激發的是多個大腦皮層運動功能區的神經元群體振蕩活動，其反映的是更為復雜的大腦思維模式，可為更深層次的腦認知研究提供基礎[21]。
圖1
具體的想象動作
Figure1.
Specific imagined actions
1.3 實驗流程
實驗范式時序設計如圖 2 所示，實驗任務持續時間為 7 s，其中第 1 s 為任務準備階段，然后是 4 s 動作的持續想象階段，最后是 2 s 的靜息階段，在 4 s 的任務期內六種指令動作隨機出現。肢體想象動作誘發的 ERD 信號需要一段時間恢復到基線水平，因此在肢體想象動作實驗的設計中，兩個單次誘發實驗之間有 3 s 的時間間隔。整個實驗過程分為訓練實驗和正式實驗兩部分。訓練實驗是正式實驗前連續 3 天進行 3 組正式實驗的訓練，方便用戶熟悉具體的實驗流程。正式實驗共包含 12 組，每一組實驗包含 36 個單試次實驗，在一組實驗中六種想象動作均隨機出現 6 次，所有試次任務均為動覺想象任務，即想象肢體執行該工作時肌肉所產生的收縮感。實驗前，受試者安靜地正坐于距屏幕約 80 cm 的靠椅上，保持手和足放松。在實驗進行階段，受試者被要求不能有任何肢體動作，且在執行想象任務過程中盡量減少眨眼，并且任務期內要連續均勻地重復該想象動作 2～3 次，以保證采集到的腦電數據的穩定性。
圖2
實驗范式時序設計
Figure2.
Experimental paradigm timing design
1.4 EEG 采集及預處理
EEG 采集部分應用 64 導腦電采集系統（Synamps2，Neuroscan 公司，美國）及其專用采集軟件（Scan4.5，Neuroscan 公司，美國），數據采集參數設置為采樣率 1 000 Hz，0.5～100 Hz 硬件帶通濾波，50 Hz 工頻陷波。電極采用標準 Ag/AgCl 腦電電極，并按照國際 10-20 系統位置排布，以鼻尖為參考，前額為接地。數據采集過程中使用專用腦電耦合劑（QuikGel，Neuroscan 公司，美國）保持電極與頭皮接觸良好，阻抗控制在 15 kΩ 以內。
為提高單試次 EEG 信噪比，本研究的預處理過程如下：首先采用 3 階巴特沃斯帶通濾波器在 1～40 Hz 頻帶內對數據進行帶通濾波，濾除極低/極高頻干擾；然后進行了 50 Hz 的陷波濾波，主要消除工頻及電器設備的干擾，最后將數據降采樣到 250 Hz。為方便后期對所有導聯的 EEG 信號進行特征提取，選擇共平均參考（common average reference，CAR）空間濾波器對數據進行空間濾波。數據處理過程中首先對預處理后的數據進行分段截取，定義四秒動作提示為任務期，數據窗截取任務期及任務期前后各一秒（即 0～6 s）的數據，以事件標簽為分類標識，每類想象動作包含 72（6*12）個樣本，對數據進行特征提取和分類識別。
2 數據處理
2.1 特征提取
肢體動作的 MI 在感覺運動區可以誘發出明顯的 Mu 節律和 Beta 節律，想象某側肢體運動可導致同側/對側感覺運動皮層的 Mu/Beta 節律幅度升高/降低，本文提取 EEG 在 Alpha（8～13 Hz）和 Beta（14～28 Hz）頻段的 ERD 信號。為探索不同想象動作對 MI 時運動皮層激活狀態的影響，本文利用事件相關譜擾動（event-related spectral perturbation，ERSP）方法對預處理后的 EEG 數據進行時頻分析[22]。
2.2 群體規模
已有研究發現，群體的錯誤率會隨群體規模的增加而減小[23]，但是群體規模的增大會延長群體的響應時間，系統的實用性會明顯降低，因此 MI-cBCI 最適群體規模的研究是必要的。
本文首先對不同指令數下的群體規模與分類正確率進行回歸分析，利用回歸方程預測群體規模的變化對分類正確率的影響。為了確定合適的群體規模，本文使用 RG 表示本條件相對于前一條件為 MI-cBCI 的分類正確率所帶來的增益，只要 RG>0，則代表群體的分類正確率逐步提高，但從 MI-cBCI 的計算成本和實用性考慮，RG 的最大值即為 MI-cBCI 的最適條件。相同指令數下，不同群體規模下的增益公式見式（1）：
 |
其中 
代表群體規模為 
時的平均分類正確率，本文中 
的取值范圍是 0≤
≤10 且 
為偶數，
代表群體規模為 
相對于群體規模為 
所產生的相對增益，當 
= 0 時即為 19 名用戶的平均水平。
2.3 融合算法
為探究六種不同想象動作的指令識別準確率，選擇了 MI 范式下最普遍的數據處理方法，即利用 CSP 提取信號特征，然后通過 SVM 對提取的特征進行分類識別。首先利用 10 折交叉驗證將原始數據分成測試集和訓練集，采用 CSP 算法對訓練集數據進行運算得到各類想象動作模式的空間濾波器，并對訓練集數據進行空間濾波，提取特征，同時將對應于每一個訓練集樣本的特征向量輸入 SVM 來訓練分類器。然后利用訓練好的空間濾波器對測試集數據進行特征提取，并使用訓練好的 SVM 對測試集數據特征進行分類識別，得出最后的分類正確率，再將該單用戶分類準確率用于后續信息融合時的權重參考信息。目前 cBCI 根據信號處理環節中信息融合方式的不同，存在特征融合和決策融合兩種信息融合策略。為了模擬多用戶的在線實驗過程，本文分別設計了特征融合和決策融合兩種策略。
特征融合策略如圖 3a 所示，這里以 X、Y 兩名用戶數據進行特征融合為例。首先將預處理后的數據 
按照十折交叉驗證分為訓練集 
和測試集 
，然后通過 CSP 得到濾波器矩陣 
，根據式（2）：
圖3
融合策略流程圖
a. 特征融合；b. 決策融合
Figure3. Flowchart of fusion strategya. feature fusion; b. decision fusion
 |
得到訓練集特征 
，將同樣的 
用于 
得到測試集特征 
。最后 
訓練 SVM 分類器，對 
進行分類識別，計算用戶 X 的分類正確率 
，按照上述同樣的方法計算用戶 Y 的 
、
和 
。特征融合策略是首先根據式（3）：
 |
對 X、Y 兩名用戶的訓練集特征進行融合，得到融合后的特征 
，同樣的方法得到融合后的測試集特征 
。其次為保證計算效率，對融合后的 
根據式（4）：
 |
進行互信息（mutual information，mi）篩選，選擇任務相關最強的前 8 種特征 
，同樣根據式（4）對 
篩選出相同的特征 
，最后 
重新訓練 SVM 對 
進行分類識別，得到群體分類正確率 ACC。
決策融合策略如圖 3b 所示，這里仍以 X、Y 兩名用戶為例。按照上述同樣的方法分別得到 X 的決策值 
、
和測試集標簽 
，以及 Y 的決策值 
、
和測試集標簽 
。根據式（5）：
 |
對 X、Y 的決策值融合得到融合后的決策值 DV，然后根據 model 將 DV 轉換成對應的預測標簽 
，最后將 
和真實的 
進行比較，得到最終的群體分類正確率 ACC。
3 實驗結果與分析
3.1 時頻分析
在 MI 過程中，大腦運動相關皮層會產生能量變化活動，ERD/ERS 分別代表激活皮質腦電信號能量降低/升高的現象。圖 4 所示為六類想象動作分別在 C3、Cz、C4 導聯的平均 MI-EEG 時頻圖，圖中紅色為 ERS，藍色為 ERD。從圖 4 可見，所有想象動作在時頻域上表現出明顯的能量衰減現象，該現象開始于想象動作提示后 1 s 左右，主要出現在 Alpha 頻帶和 Beta 頻帶。另外，復合肢體想象動作下的 ERD 現象表現出的頻率分布與簡單肢體想象動作是一致的，并且復雜動作比簡單動作產生更為明顯的能量變化，簡單動作中手部較足部更易產生可識別的 ERD 現象，另外含有手部運動的想象動作在 C3、C4 導聯產生的 ERD 現象較 Cz 導聯更為突出。
圖4
不同指令下 C3、Cz、C4 平均時頻圖
Figure4.
Average time-frequency maps on C3, Cz and C4 under different instructions
本文根據時頻結果繪制了 ERD 明顯頻帶的平均能量腦地形圖，并將該頻帶分為 Alpha 頻帶（8～13 Hz）、Low-Beta 頻帶（14～22 Hz）和 High-Beta 頻帶（23～28 Hz），六種想象動作的腦地形圖如圖 5 所示。從圖 5 中可以看出，ERD 存在非常明顯的對側占優現象，右手腕伸想象動作誘發的 ERD 在左側腦區明顯，左手腕伸想象動作誘發的 ERD 在右側腦區明顯。足部想象動作產生的 ERD 現象較弱，復合肢體的想象動作產生的 ERD 現象較強。按照三個頻帶進行縱向比較發現，ERD 現象明顯的頻帶依次為：Alpha 頻帶、Low-Beta 頻帶和 High-Beta 頻帶。
圖5
ERD 明顯頻段腦地形圖
Figure5.
Brain topographic diagrams of ERD obvious band
3.2 群體規模對分類正確率的影響
指令數與想象動作的對應關系見表 1。分類正確率與群體規模回歸分析曲線如圖 6 所示。通過圖 6 可以發現，不同指令數下的群體規模與分類正確率呈正相關，而分類正確率越接近 100%，群體規模的變化對分類正確率的影響就越小；群體規模為 10 人時，達到了群體的最佳分類正確率，若群體規模繼續擴大，群體的分類正確率反而會下降。
表1
指令數與想象動作對應關系表
Table1.
Correspondence table of instruction set and imaginary action
圖6
分類正確率與群體規模回歸分析曲線
Figure6.
Regression analysis curve of accuracy and group size
圖中 n out 19 是代表從 19 名用戶中隨機選擇 n 名組成群體，則有 
種不同的組合方式，對于同一群體規模下的分類正確率，則為所有排列組合情況下的分類正確率的平均值。以 2 人的群體規模為例，19 人共有（
）171 種群體組合方式，則 2 人群體規模下的分類正確率為 171 種組合下的平均分類正確率。
不同指令集下群體規模變化所產生的 RG 折線圖如圖 7 所示。通過圖 7 可以看出，當群體規模為 4 時，分類正確率的 RG 達到最大值，所以后續研究中均以 4 人群體規模為例。
圖7
群體規模變化產生的分類正確率相對增益
Figure7.
Relative gain of classification accuracy with the change of group size
3.3 融合策略對分類正確率的影響
本文對比了最適群體規模下兩種融合策略的分類效果與單用戶平均水平之間的差異。通過圖 8 可以發現，兩種融合策略下的分類正確率都優于 19 名用戶的平均水平，并且融合策略下的標準差明顯減小，系統的穩定性增加。相同指令集下進行縱向比較可以明顯發現，決策融合優于特征融合，這是因為避免了特征融合過程中個體之間的差異性對融合后特征的影響。其中特征融合策略在 4 指令集下分類正確率比單用戶平均水平有所提升（68.18% vs. 51.84%），決策融合下的分類正確率與單用戶平均水平之間的差異隨指令數的增加而增大，在 6 指令下的提升效果最為明顯（77.31% vs. 44.90%）。另外，兩種策略下的差異也隨指令數的增加而增大，在 6 指令下決策融合策略比特征融合策略提升顯著（77.31% vs. 56.34%）。
圖8
分類正確率對比
Figure8.
Comparison of classification accuracy
4 討論
通常認為腳部的想象動作會在中央腦區產生 ERD，同時會在手部的運動功能區產生 ERS 現象，但在本研究中，雙腳的想象動作在 Cz 通道并未產生 ERD 現象，這可能由于腳部想象動作誘發 ERD 現象的頻帶與手部不同。因此，對兩種或多種肢體部位參與的想象動作誘發的時頻特征進行分析時，應該考慮到頻帶對 ERD 現象的影響。另外，左右腳想象動作涉及的皮層控制區位于相同或相鄰區域，僅依靠左/右腳想象動作很難區分，本研究中對側復合肢體誘發的 ERD 現象比簡單動作更加明顯，意味著未來區分左右腳任務時可以附加手部的簡單動作，從而有利于腳部兩種任務狀態的識別。
在行為學研究中存在“群體成員任務能力的相似性是預測群體表現的關鍵因素”這一結論[24]，因此除了探究群體規模和融合策略對群體分類正確率的影響外，還可以探究群體成員的任務水平對群體分類正確率的影響。未來可根據任務水平對群體成員進行篩選，選擇任務水平相近的用戶組成群體，探究不同水平的成員組成群體的任務表現和隨機水平的成員組成群體的任務表現之間的差異。然而在醫療、金融等重大決策領域，群體的組成往往涉及各類水平的成員，那是否可根據各用戶對決策的貢獻度賦予不同的權重，確定一種包含各類水平成員時的群體權重分配規則，從而達到群體的最優決策，還有待進一步研究。
5 結論
本研究將 cBCI 協同策略和 MI 范式優勢相結合，發現 MI-cBCI 不僅增加了系統的指令集還提高了系統的分類正確率，從而提高了 MI-cBCI 的 ITR，取得了理想的效果。本文進一步開發了 cBCI 的特征融合和決策融合兩種多用戶信息融合策略，并對比了兩種策略在分類正確率方面的差異，發現基于投票原則的決策融合策略的融合效果最佳。本研究結果表明，MI-cBCI 的融合策略可以有效改善 MI-BCI 分類正確率低的問題，驗證了 cBCI 融合策略的可行性。總體來說，本文提出了一種可明顯改善 MI-BCI 不足的 MI-cBCI 的最適條件，對后續 MI-cBCI 性能的提高具有重要意義。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
引言
腦-機接口（brain-computer interface，BCI）作為一種新型的人機交互方式，是通過檢測中樞神經系統活動并將其轉化為人工輸出來替代、修復、增強、補充或者改善中樞神經系統的正常輸出，從而改變中樞神經系統與內外環境之間進行的交互作用的系統[1]。然而，基于運動想象的腦-機接口（motor imagery brain-computer interface，MI-BCI）信號的產生不依賴于外部事件，可以直觀反映大腦的隨意性活動，與用戶的運動意圖密切相關，可以實現真正意義上的“所思即所動”[2]。MI-BCI 系統發展至今，因范式優勢其應用場景非常廣泛，不僅可以實現日常的交流與自主控制，如字符輸入[3]，假肢、輪椅等[4-5]控制，還被廣泛應用于體育運動訓練和神經恢復等領域，未來甚至可以應用在一些多用戶聯合作業的特殊領域。
盡管 MI-BCI 的發展前景廣闊，但在實際應用中仍面臨著一些問題。首先，MI-BCI 中用戶訓練時間長，因為 MI 誘發的腦電信號（electroencephalogram，EEG）存在較大的個體差異性，并且會有用戶存在“BCI 盲”現象[6-7]，所以為建立一個有效的通用模型，需要提前對用戶進行長時間的訓練。其次，MI-BCI 的系統性能低下，主要體現在 MI-BCI 可識別的指令集小，目前的研究大部分為 2～4 指令[8]；2020 年，尹銳等[9]設計 MI-BCI 的外骨骼控制系統，對想象左、右手兩指令的識別準確率為 82.50%；陳睿等[10]對右手執行 4、10、16 kg 三種不同握力想象任務，對比了極限學習機（extreme learning machine，ELM）和支持向量機（support vector machine，SVM）兩種分類方法，發現 SVM 的分類效果可達 86.30%；駱金晨等[11]設計了左手、右手、腳和舌頭四指令想象動作，采用多特征融合的特征提取方法，使用粒子群 SVM 得到的平均分類正確率為 72.96%；另外，MI-BCI 的分類正確率低，EEG 本身信號微弱，易受干擾，并且 MI 誘發的生理信號空間分辨率低，因此 EEG 較低的信噪比（signal to noise ratio，SNR）造成了 MI-BCI 無法實現精準控制。最后 MI 是一種僅進行心理演練，而無實際運動輸出的范式，因此缺乏對響應時間（response time，RT）、眼電等與任務相關特征的記錄。
針對 MI-BCI 應用中的瓶頸，目前研究存在兩個主要方向。一是實驗范式的創新，通過混合范式增加指令集或者提高分類正確率，克服 MI-BCI 目前存在的不足。McGeady 等[12]采用 MI-P300 混合范式，完成了對輪椅的 11 種指令控制；Ko 等[13]結合穩態視覺誘發電位（steady-state visual evoked potential，SSVEP）組成 MI-SSVEP 混合范式，實現了單通道（C3 或 C4）BCI 在兩類任務中高達 85.60% 的分類正確率；Yi 等[14]采用電刺激代替振蕩刺激的穩態體感誘發電位（steady-state somatosensory evoked potentials，SSSEP）組成 MI-SSSEP 混合范式，證明了基于融合特征的分類正確率顯著高于僅使用一種特征的分類正確率。二是算法的創新，旨在通過算法的優化或創新提高 MI-BCI 分類正確率，縮短用戶訓練時間。Kim 等[15]采用微觀狀態分析降低 MI-BCI 中的錯誤檢測；Wu 等[16]通過基于 sinfomax 的獨立成分分析（independent component analysis，ICA）空間濾波器增加了 MI-BCI 各用戶之間的可遷移性，縮短了 MI-BCI 訓練時間；Lee 等[17]采用基于主成分分析（principal component analysis，PCA）和深度信念網絡（deep belief network，DBN）的特征提取方法，MI-BCI 的分類正確率達到了 96.25%。
近年來，協同腦-機接口（collaborative brain-computer interface，cBCI）作為一種可提高 BCI 性能的群體信息融合策略，自提出后受到了許多研究人員的青睞，其核心是利用集體智慧的原理，擴充用戶維度，通過融合多用戶同一任務下的神經響應信息，提高單試次 EEG 的 SNR，增加與任務相關的有效信息，最終提高整體任務表現。目前 cBCI 的主要應用場景可以劃分為兩種。一是強化基于人體視覺信息的系統決策能力，如 Matran-Fernandez 等[18]設計基于快速序列視覺呈現（rapid serial visual presentation，RSVP）的目標匹配任務，發現 cBCI 的分類正確率比 BCI 高 7.70%。另外，在實際應用中，決策速度和分類正確率同等重要。Bhattacharyya 等[19]模擬軍事哨所的目標檢測任務，采用 cBCI 雙層決策架構有效平衡了決策速度和正確率之間的關系，擴展了時間壓力下 cBCI 的應用范圍。二是強化基于人體動覺信息的系統控制能力，如 Wang 等[20]利用 cBCI 技術改變傳統的神經-肌肉傳輸途徑，提高了運動控制任務的速度（時間縮短 250 ms）和精度（提高了 27%）。Zhou 等[8]通過多用戶共空間模式（multiuser-common spatial pattern，Multi-CSP）算法，實現了 cBCI 可以提前 2 s 達到與 BCI 相同的分類正確率，實現了二維平面的四指令控制。
目前人機交互技術正逐步趨于社會化，群體聯合作業的任務需求日益增加，cBCI 在 BCI 研究中存在著廣闊的應用前景，但關于 MI-BCI 的范式優勢和 cBCI 的協同策略相結合的研究鮮見報道。本文針對 MI-BCI 性能不足的問題，借鑒 cBCI 的集體智慧優勢，提出一種通過協同策略改善 MI-BCI 分類性能的方法。首先設計了基于 MI 的六指令動作，然后根據 cBCI 的不同信息融合方式，嘗試了特征融合和決策融合兩種融合策略，并通過相對增益（relative gain，RG）確定了 MI-cBCI 最適群體規模，分析了最適群體規模下分類正確率在兩種融合策略之間的差異。
1 實驗驗證
1.1 實驗對象
本文的實驗被試為 19 名身體健康、無精神病史、視力正常或矯正后正常的青年志愿者（年齡 22～26 周歲，其中有 10 名女性，所有被試均為右利手），其中有 10 名用戶是第一次接觸 BCI，且沒有接觸過 MI 訓練。實驗經天津大學倫理審查委員會批準，實驗前所有被試均閱讀了實驗相關的說明和注意事項，并簽署了實驗知情同意書。
1.2 實驗設計
本文中所涉及的實驗為離線實驗，為探究 cBCI 對改善單用戶 BCI 系統的性能的影響，實驗過程中均是單用戶分別進行實驗，然后根據融合算法模擬多用戶在線執行動作。本實驗利用 Matlab 中的 Psychtoolbox 工具箱設計了實驗任務界面，選擇了左手、右手、腳三個肢體部位設計了六類想象動作，分別是左手腕伸、右手腕伸、雙手腕伸、雙腳背屈、右手腕伸+左腳背屈復合動作和左手腕伸+右腳背屈復合動作，其中復合肢體動作中對側想象動作同時進行，具體的想象動作如圖 1 所示。手指、手部和臂部運動的事件相關去同步/同步電位（event-related desynchronization/synchronization，ERD/ERS）在皮層功能區的分布均能呈現出明顯的對側占優特性，然而由于下肢運動功能區局限于溝回以里的有限區域內，左/右腳部運動的 ERD/ERS 并沒有對側占優這個特點，所以左/右腳部動作的區別難度極大。因此，將左手腕伸、右手腕伸和雙腳背屈定義為簡單動作，將雙手腕伸、對側肢體左手右腳復合動作以及右手左腳的復合動作定義為復雜動作，復雜肢體動作激發的是多個大腦皮層運動功能區的神經元群體振蕩活動，其反映的是更為復雜的大腦思維模式，可為更深層次的腦認知研究提供基礎[21]。
圖1
具體的想象動作
Figure1.
Specific imagined actions
1.3 實驗流程
實驗范式時序設計如圖 2 所示，實驗任務持續時間為 7 s，其中第 1 s 為任務準備階段，然后是 4 s 動作的持續想象階段，最后是 2 s 的靜息階段，在 4 s 的任務期內六種指令動作隨機出現。肢體想象動作誘發的 ERD 信號需要一段時間恢復到基線水平，因此在肢體想象動作實驗的設計中，兩個單次誘發實驗之間有 3 s 的時間間隔。整個實驗過程分為訓練實驗和正式實驗兩部分。訓練實驗是正式實驗前連續 3 天進行 3 組正式實驗的訓練，方便用戶熟悉具體的實驗流程。正式實驗共包含 12 組，每一組實驗包含 36 個單試次實驗，在一組實驗中六種想象動作均隨機出現 6 次，所有試次任務均為動覺想象任務，即想象肢體執行該工作時肌肉所產生的收縮感。實驗前，受試者安靜地正坐于距屏幕約 80 cm 的靠椅上，保持手和足放松。在實驗進行階段，受試者被要求不能有任何肢體動作，且在執行想象任務過程中盡量減少眨眼，并且任務期內要連續均勻地重復該想象動作 2～3 次，以保證采集到的腦電數據的穩定性。
圖2
實驗范式時序設計
Figure2.
Experimental paradigm timing design
1.4 EEG 采集及預處理
EEG 采集部分應用 64 導腦電采集系統（Synamps2，Neuroscan 公司，美國）及其專用采集軟件（Scan4.5，Neuroscan 公司，美國），數據采集參數設置為采樣率 1 000 Hz，0.5～100 Hz 硬件帶通濾波，50 Hz 工頻陷波。電極采用標準 Ag/AgCl 腦電電極，并按照國際 10-20 系統位置排布，以鼻尖為參考，前額為接地。數據采集過程中使用專用腦電耦合劑（QuikGel，Neuroscan 公司，美國）保持電極與頭皮接觸良好，阻抗控制在 15 kΩ 以內。
為提高單試次 EEG 信噪比，本研究的預處理過程如下：首先采用 3 階巴特沃斯帶通濾波器在 1～40 Hz 頻帶內對數據進行帶通濾波，濾除極低/極高頻干擾；然后進行了 50 Hz 的陷波濾波，主要消除工頻及電器設備的干擾，最后將數據降采樣到 250 Hz。為方便后期對所有導聯的 EEG 信號進行特征提取，選擇共平均參考（common average reference，CAR）空間濾波器對數據進行空間濾波。數據處理過程中首先對預處理后的數據進行分段截取，定義四秒動作提示為任務期，數據窗截取任務期及任務期前后各一秒（即 0～6 s）的數據，以事件標簽為分類標識，每類想象動作包含 72（6*12）個樣本，對數據進行特征提取和分類識別。
2 數據處理
2.1 特征提取
肢體動作的 MI 在感覺運動區可以誘發出明顯的 Mu 節律和 Beta 節律，想象某側肢體運動可導致同側/對側感覺運動皮層的 Mu/Beta 節律幅度升高/降低，本文提取 EEG 在 Alpha（8～13 Hz）和 Beta（14～28 Hz）頻段的 ERD 信號。為探索不同想象動作對 MI 時運動皮層激活狀態的影響，本文利用事件相關譜擾動（event-related spectral perturbation，ERSP）方法對預處理后的 EEG 數據進行時頻分析[22]。
2.2 群體規模
已有研究發現，群體的錯誤率會隨群體規模的增加而減小[23]，但是群體規模的增大會延長群體的響應時間，系統的實用性會明顯降低，因此 MI-cBCI 最適群體規模的研究是必要的。
本文首先對不同指令數下的群體規模與分類正確率進行回歸分析，利用回歸方程預測群體規模的變化對分類正確率的影響。為了確定合適的群體規模，本文使用 RG 表示本條件相對于前一條件為 MI-cBCI 的分類正確率所帶來的增益，只要 RG>0，則代表群體的分類正確率逐步提高，但從 MI-cBCI 的計算成本和實用性考慮，RG 的最大值即為 MI-cBCI 的最適條件。相同指令數下，不同群體規模下的增益公式見式（1）：
|
其中 代表群體規模為 時的平均分類正確率，本文中 的取值范圍是 0≤≤10 且 為偶數， 代表群體規模為 相對于群體規模為 所產生的相對增益，當 = 0 時即為 19 名用戶的平均水平。
2.3 融合算法
為探究六種不同想象動作的指令識別準確率，選擇了 MI 范式下最普遍的數據處理方法，即利用 CSP 提取信號特征，然后通過 SVM 對提取的特征進行分類識別。首先利用 10 折交叉驗證將原始數據分成測試集和訓練集，采用 CSP 算法對訓練集數據進行運算得到各類想象動作模式的空間濾波器，并對訓練集數據進行空間濾波，提取特征，同時將對應于每一個訓練集樣本的特征向量輸入 SVM 來訓練分類器。然后利用訓練好的空間濾波器對測試集數據進行特征提取，并使用訓練好的 SVM 對測試集數據特征進行分類識別，得出最后的分類正確率，再將該單用戶分類準確率用于后續信息融合時的權重參考信息。目前 cBCI 根據信號處理環節中信息融合方式的不同，存在特征融合和決策融合兩種信息融合策略。為了模擬多用戶的在線實驗過程，本文分別設計了特征融合和決策融合兩種策略。
特征融合策略如圖 3a 所示，這里以 X、Y 兩名用戶數據進行特征融合為例。首先將預處理后的數據 按照十折交叉驗證分為訓練集 和測試集 ，然后通過 CSP 得到濾波器矩陣 ，根據式（2）：
圖3
融合策略流程圖
a. 特征融合；b. 決策融合
Figure3. Flowchart of fusion strategya. feature fusion; b. decision fusion
|
得到訓練集特征 ，將同樣的 用于 得到測試集特征 。最后 訓練 SVM 分類器，對 進行分類識別，計算用戶 X 的分類正確率 ，按照上述同樣的方法計算用戶 Y 的 、 和 。特征融合策略是首先根據式（3）：
|
對 X、Y 兩名用戶的訓練集特征進行融合，得到融合后的特征 ，同樣的方法得到融合后的測試集特征 。其次為保證計算效率，對融合后的 根據式（4）：
|
進行互信息（mutual information，mi）篩選，選擇任務相關最強的前 8 種特征 ，同樣根據式（4）對 篩選出相同的特征 ，最后 重新訓練 SVM 對 進行分類識別，得到群體分類正確率 ACC。
決策融合策略如圖 3b 所示，這里仍以 X、Y 兩名用戶為例。按照上述同樣的方法分別得到 X 的決策值 、 和測試集標簽 ，以及 Y 的決策值 、 和測試集標簽 。根據式（5）：
|
對 X、Y 的決策值融合得到融合后的決策值 DV，然后根據 model 將 DV 轉換成對應的預測標簽 ，最后將 和真實的 進行比較，得到最終的群體分類正確率 ACC。
3 實驗結果與分析
3.1 時頻分析
在 MI 過程中，大腦運動相關皮層會產生能量變化活動，ERD/ERS 分別代表激活皮質腦電信號能量降低/升高的現象。圖 4 所示為六類想象動作分別在 C3、Cz、C4 導聯的平均 MI-EEG 時頻圖，圖中紅色為 ERS，藍色為 ERD。從圖 4 可見，所有想象動作在時頻域上表現出明顯的能量衰減現象，該現象開始于想象動作提示后 1 s 左右，主要出現在 Alpha 頻帶和 Beta 頻帶。另外，復合肢體想象動作下的 ERD 現象表現出的頻率分布與簡單肢體想象動作是一致的，并且復雜動作比簡單動作產生更為明顯的能量變化，簡單動作中手部較足部更易產生可識別的 ERD 現象，另外含有手部運動的想象動作在 C3、C4 導聯產生的 ERD 現象較 Cz 導聯更為突出。
圖4
不同指令下 C3、Cz、C4 平均時頻圖
Figure4.
Average time-frequency maps on C3, Cz and C4 under different instructions
本文根據時頻結果繪制了 ERD 明顯頻帶的平均能量腦地形圖，并將該頻帶分為 Alpha 頻帶（8～13 Hz）、Low-Beta 頻帶（14～22 Hz）和 High-Beta 頻帶（23～28 Hz），六種想象動作的腦地形圖如圖 5 所示。從圖 5 中可以看出，ERD 存在非常明顯的對側占優現象，右手腕伸想象動作誘發的 ERD 在左側腦區明顯，左手腕伸想象動作誘發的 ERD 在右側腦區明顯。足部想象動作產生的 ERD 現象較弱，復合肢體的想象動作產生的 ERD 現象較強。按照三個頻帶進行縱向比較發現，ERD 現象明顯的頻帶依次為：Alpha 頻帶、Low-Beta 頻帶和 High-Beta 頻帶。
圖5
ERD 明顯頻段腦地形圖
Figure5.
Brain topographic diagrams of ERD obvious band
3.2 群體規模對分類正確率的影響
指令數與想象動作的對應關系見表 1。分類正確率與群體規模回歸分析曲線如圖 6 所示。通過圖 6 可以發現，不同指令數下的群體規模與分類正確率呈正相關，而分類正確率越接近 100%，群體規模的變化對分類正確率的影響就越小；群體規模為 10 人時，達到了群體的最佳分類正確率，若群體規模繼續擴大，群體的分類正確率反而會下降。
表1
指令數與想象動作對應關系表
Table1.
Correspondence table of instruction set and imaginary action
圖6
分類正確率與群體規模回歸分析曲線
Figure6.
Regression analysis curve of accuracy and group size
圖中 n out 19 是代表從 19 名用戶中隨機選擇 n 名組成群體，則有 種不同的組合方式，對于同一群體規模下的分類正確率，則為所有排列組合情況下的分類正確率的平均值。以 2 人的群體規模為例，19 人共有（）171 種群體組合方式，則 2 人群體規模下的分類正確率為 171 種組合下的平均分類正確率。
不同指令集下群體規模變化所產生的 RG 折線圖如圖 7 所示。通過圖 7 可以看出，當群體規模為 4 時，分類正確率的 RG 達到最大值，所以后續研究中均以 4 人群體規模為例。
圖7
群體規模變化產生的分類正確率相對增益
Figure7.
Relative gain of classification accuracy with the change of group size
3.3 融合策略對分類正確率的影響
本文對比了最適群體規模下兩種融合策略的分類效果與單用戶平均水平之間的差異。通過圖 8 可以發現，兩種融合策略下的分類正確率都優于 19 名用戶的平均水平，并且融合策略下的標準差明顯減小，系統的穩定性增加。相同指令集下進行縱向比較可以明顯發現，決策融合優于特征融合，這是因為避免了特征融合過程中個體之間的差異性對融合后特征的影響。其中特征融合策略在 4 指令集下分類正確率比單用戶平均水平有所提升（68.18% vs. 51.84%），決策融合下的分類正確率與單用戶平均水平之間的差異隨指令數的增加而增大，在 6 指令下的提升效果最為明顯（77.31% vs. 44.90%）。另外，兩種策略下的差異也隨指令數的增加而增大，在 6 指令下決策融合策略比特征融合策略提升顯著（77.31% vs. 56.34%）。
圖8
分類正確率對比
Figure8.
Comparison of classification accuracy
4 討論
通常認為腳部的想象動作會在中央腦區產生 ERD，同時會在手部的運動功能區產生 ERS 現象，但在本研究中，雙腳的想象動作在 Cz 通道并未產生 ERD 現象，這可能由于腳部想象動作誘發 ERD 現象的頻帶與手部不同。因此，對兩種或多種肢體部位參與的想象動作誘發的時頻特征進行分析時，應該考慮到頻帶對 ERD 現象的影響。另外，左右腳想象動作涉及的皮層控制區位于相同或相鄰區域，僅依靠左/右腳想象動作很難區分，本研究中對側復合肢體誘發的 ERD 現象比簡單動作更加明顯，意味著未來區分左右腳任務時可以附加手部的簡單動作，從而有利于腳部兩種任務狀態的識別。
在行為學研究中存在“群體成員任務能力的相似性是預測群體表現的關鍵因素”這一結論[24]，因此除了探究群體規模和融合策略對群體分類正確率的影響外，還可以探究群體成員的任務水平對群體分類正確率的影響。未來可根據任務水平對群體成員進行篩選，選擇任務水平相近的用戶組成群體，探究不同水平的成員組成群體的任務表現和隨機水平的成員組成群體的任務表現之間的差異。然而在醫療、金融等重大決策領域，群體的組成往往涉及各類水平的成員，那是否可根據各用戶對決策的貢獻度賦予不同的權重，確定一種包含各類水平成員時的群體權重分配規則，從而達到群體的最優決策，還有待進一步研究。
5 結論
本研究將 cBCI 協同策略和 MI 范式優勢相結合，發現 MI-cBCI 不僅增加了系統的指令集還提高了系統的分類正確率，從而提高了 MI-cBCI 的 ITR，取得了理想的效果。本文進一步開發了 cBCI 的特征融合和決策融合兩種多用戶信息融合策略，并對比了兩種策略在分類正確率方面的差異，發現基于投票原則的決策融合策略的融合效果最佳。本研究結果表明，MI-cBCI 的融合策略可以有效改善 MI-BCI 分類正確率低的問題，驗證了 cBCI 融合策略的可行性。總體來說，本文提出了一種可明顯改善 MI-BCI 不足的 MI-cBCI 的最適條件，對后續 MI-cBCI 性能的提高具有重要意義。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
