腦卒中（stroke）是由于腦部血液供應突然中斷或腦血管破裂，導致腦細胞損傷進而損害患者運動和認知能力的一種急性腦血管疾病。融合腦—機接口（BCI）和虛擬現實（VR）的新型康復訓練模式，不僅能促進腦網絡功能激活，而且能為患者提供沉浸感強、趣味性強的情境反饋。本文設計了融合多感官刺激反饋、BCI和VR的手部康復訓練系統，通過虛擬場景的任務引導患者運動想象，獲取患者運動意圖，進而在虛擬場景下進行人機交互；同時，融入觸覺反饋進一步增加患者本體感受，從而實現基于視、聽、觸覺多感官刺激反饋的手功能康復訓練。本研究通過對比分析加入觸覺反饋前后的腦電信號數據內不同頻段功率譜密度的差異，發現加入觸覺反饋后運動腦區被明顯激活，運動腦區的功率譜密度在高γ頻段有顯著提升。研究結果說明，患者在融合多感官刺激的VR—BCI手功能增強康復系統中進行康復訓練，能夠加速感覺傳導通路和運動傳導通路的雙向促通，從而加速康復進程。
引用本文： 邵謝寧, 張藝瀅, 張棟, 門延帝, 王子龍, 陳曉玲, 謝平. 融合多感官刺激的虛擬現實—腦機接口手功能增強康復系統. 生物醫學工程學雜志, 2024, 41(4): 656-663. doi: 10.7507/1001-5515.202312055 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
0 引言
腦卒中（stroke） 是一種較為常見的腦血管疾病[1]。據《中國腦卒中防治報告（2023）》顯示，我國40歲及以上人群腦卒中人數達1 242萬，且發病人群呈年輕化。發生腦卒中后，約75%的患者留下后遺癥、40%的患者重度殘疾，因此幫助該類患者進行有效的康復訓練，促進其肢體運動功能恢復具有十分重要的意義[2]。研究表明，大腦具有可塑性和神經網絡重構機制，即可通過對腦卒中患者進行長期的康復訓練，使患者肢體的運動功能慢慢得到恢復[3-5]。
腦—機接口（brain-computer interface，BCI）可以通過獲取大腦神經活動進而控制外部設備，外部設備也會相應地給大腦發送反饋信息，實現大腦意圖和實際行動之間的雙向聯系[6-7]。基于運動想象（motor imagery，MI）的BCI康復訓練能改善腦卒中患者的肢體功能，使得多個腦區間功能連接增強，促進腦功能網絡活動[8]；而虛擬現實（virtual reality，VR）具有沉浸感強、真實感強的特點；將BCI與VR技術相結合，可構建基于VR的BCI技術（VR-BCI）[9]。VR-BCI，是一種BCI應用新模式，其在康復領域的應用已逐步展開。與傳統BCI簡單的反饋模式相比，VR-BCI能為BCI用戶提供更積極主動、更豐富多彩、更具激勵性的情境反饋[10-11]。但是，VR-BCI在感官反饋層面主要以聽覺（auditory，A）和視覺（visual，V）感官反饋為主，缺少其他感官的融入。如果在沉浸感較強的VR場景中，與虛擬物體進行交互時，增加觸覺（haptic，H）反饋，可以增強患者本體感受，增強康復效果[12]。
本文通過搭建基于多感官刺激反饋（multi sensory stimulation feedback，MSTF）的VR-BCI手功能康復訓練系統，利用BCI技術實現基于運動想象的人機交互訓練模式，在具備虛擬沉浸感的康復訓練中融入觸覺反饋[13-14]，期望為患者提供聽、視、觸覺（A-V-H）多感官刺激反饋，以增強刺激患者本體感受，加速感覺傳導通路和運動傳導通路的雙向促通，誘發患者主動參與的積極性，進而通過提供更為自然逼真的訓練環境，更好地輔助患者完成手部康復訓練，加速患者康復進程。
1 基于VR-BCI和多感官刺激反饋的康復系統構建
為了增強患者的本體感受，融合A-V-H多感官刺激反饋，本文構建了基于多感官刺激反饋的VR-BCI手功能康復訓練系統，其由VR頭戴式顯示器VIVE XR（HTC Inc. ，中國）、體感識別傳感器Leapmotion（Ultraleap Inc. ，美國）、觸覺手套Tact Gloves（BHaptic Inc. ，韓國）、腦電數據采集設備NeuSen W（博睿康科技股份有限公司，中國）、數據處理終端組成，如圖1所示。其中，VIVE XR、Leapmotion和Tact Gloves可以為受試者提供本體感覺更加逼真的人機交互環境，腦電數據采集設備則采集受試者腦電信號，數據處理終端對腦電信號進行實時預處理、特征提取和VR場景的渲染及邏輯交互。為了滿足患者康復的便利性，整套系統均使用無線傳輸的方式進行數據傳輸。
圖1
系統結構圖
Figure1.
System architecture diagram
本文所設計的康復系統基于運動想象試驗范式，通過虛擬場景任務中的視、聽覺（A-V）雙感官刺激引發患者運動想象，運動想象識別結果將觸發場景中的虛擬手，進而帶動患者手部進行交互訓練，引導受試者完成運動任務。而在運動任務執行期間，當虛擬手與場景中的虛擬物體進行交互時，例如抓取物體等，通過Tact Gloves提供的反饋信息，可以與任務完成提示等A-V雙感官信息構成多感官刺激反饋，更好地激活大腦的運動功能區，提高患者的訓練積極性和自信心，加速康復進程。
1.1 上肢人機交互實現
為了提供體感和觸覺傳感官通路，豐富患者在康復過程中的體驗感和真實性，使用Leapmotion傳感器對上肢運動進行追蹤并映射到VR場景中，而使用Tact Gloves可以通過震動在患者手部產生觸覺。
Leapmotion通過雙目攝像頭對上肢進行識別且實時解算上肢（包含小臂、手掌、手指及手指關節）相對于傳感器本身的空間位置，將小臂、手掌、手指及手指關節的三維坐標點送入VR場景中的虛擬上肢所對應的節點中，從而實現VR場景中上肢實時位姿的映射。Tact Gloves的每個指尖都搭載1個線性諧振執行器，通過神經擬態算法來模擬觸摸、抓握、按壓、握手等交互觸覺，通過藍牙連接進行觸覺交互控制，當VR場景中虛擬上肢與虛擬物體產生交互事件時，控制Tact Gloves產生相對應的觸覺。
1.2 VR環境開發
VR技術可以提高康復過程的有效性和趣味性，為患者提供更加真實、沉浸感更強的康復環境，提供A-V雙感官通路[15-16]。
本文使用互動內容創作和運營平臺軟件Unity3D （2022. 3. 8f1c1，Unity Technologies Inc.，美國）進行虛擬場景設計，可以實現有趣的交互邏輯，例如抓握蘋果移動、對物體按照大小或顏色進行排序等。開放統一應用編程接口（OpenXR）是VR平臺上設備與應用程序之間的標準，其可以滿足不同頭戴式顯示器運行同一個Unity3D程序的兼容性問題。本文所設計開發的VR康復系統使用基于OpenXR標準的解決方案SteamVR（2. 2. 3，Valve Corporation，美國），對VR設備進行設備地面校準和視角校準，并利用SteamVR 插件（plugin）串流至VR頭戴式顯示器，從而實現自定義開發的虛擬場景在VR頭戴式顯示器中運行。
1.3 數據處理終端
數據處理終端作為整個系統的核心控制部分和數據處理部分，其主要作用是實時采集腦電數據，以及數據處理分析、控制外部設備、Unity3D程序渲染及運行。
為了滿足多用戶使用、多編程語言之間的邏輯控制，本文設計開發了基于Unity3D的模塊化BCI試驗平臺。該試驗平臺是數據處理終端的基礎系統框架，對功能模塊進行模塊化設計，從而達到系統解耦設計，使得康復系統平臺對編程語言有較高的兼容性。
整個平臺采用四層架構設計，分別是應用層、展現層、處理層、數據層，其中包括一些其他的認證系統、日志系統、數據管理系統。應用層，主要負責基礎業務邏輯，采用的是基于Windows 的用戶界面框架（Windows presentation foundation，WPF）；展現層，主要負責用戶視覺交互；處理層，通過外部接口可以初始化外部腦電交互設備，從而控制數據記錄。在康復訓練中，處理層可以實現對多通道腦電數據基線校正、去除工頻干擾、獨立成分分析（independent component analysis，ICA）去除眼電偽跡、降采樣、帶通濾波、小波包頻段提取等預處理操作，還可以通過小波包多尺度分解和特征頻段功率譜密度對多通道腦電數據進行特征提取，再經分類后將其結果反饋到VR康復場景中控制諸如物體、虛擬肢體、虛擬人物在虛擬場景中的動作，最終形成實時交互反饋。數據層，為每位用戶提供訓練數據存儲和數據分析，以及試驗項目的存儲。
2 試驗設計與數據處理
2.1 受試者選取及試驗范式設計
本文共采集了10名健康青年受試者的腦電數據，均采集自秦皇島市第一醫院，本研究獲得秦皇島市第一醫院倫理委員會批準（審批編號：2022A016），且獲得10名受試者腦電數據的使用授權。所有受試者均自愿參與試驗并簽訂了試驗知情同意書，且之前均未參加過類似任務試驗，因此可以避免預期訓練效果對本研究結論的影響。受試者基本信息如下：6名男性，4名女性，每人2試次，共計20試次，年齡范圍為20～26歲，均為右利手；視力、聽力無明顯障礙；既往無重要臟器疾病史、無腦部腫瘤或其他顱腦疾患、無精神病史。
為了驗證本文設計的基于多感官刺激反饋的虛擬康復系統的有效性，本文對多感官刺激反饋進行組合，得出僅含A-V的雙感官刺激反饋以及融合A-V-H的多感官刺激反饋兩種刺激條件，如圖2所示。試驗內容由運動想象和運動任務組成，在虛擬場景中受試者可以看到真實上肢在虛擬場景中的映射，在VR頭戴式顯示器正前方（水平視場角140°，垂直視場角120°）的手部可被識別并映射，而虛擬場景中映射的上肢可以和虛擬物體進行碰撞、抓握、移動等交互方式。在本文所設計的虛擬場景中，在受試者正前方有一個木桌，木桌上左側右側區域各有一個盤子，受試者運動想象的結果將觸發虛擬手抓握蘋果至對應方向的盤子中，如圖2中試驗過程圖所示。
圖2
A-V-H多感官刺激和A-V雙感官刺激反饋試驗范式
Figure2.
A-V-H multi-sensory stimulation and A-V bi-sensory stimulation feedback experimental paradigm
如圖2所示，整個試驗由10 min靜息態、12 min A-V雙感官刺激反饋試驗和12 min A-V-H多感官刺激反饋試驗組成。試驗開始，首先是30 s的試驗介紹，介紹完畢后休息20 s；然后進行25次的左手運動想象與左手運動任務、25次的右手運動想象與右手運動任務，左右手方向隨機。具體而言，A-V雙感官刺激反饋試驗在運動想象開始時，虛擬場景中的蘋果會按照預定方向移動到盤子中，同時有語音提示，5 s后結束運動想象；當單次運動想象結束且識別結果正確時，將進行與本次運動想象同方向的8 s運動抓握任務，場景中虛擬手會根據識別結果移動，當真實手到達虛擬手的位置時，虛擬手再次移動，以此循環指引受試者完成動作，從而實現虛實結合的人機交互。與A-V雙感官刺激反饋試驗不同，A-V-H多感官刺激反饋試驗在運動任務期間，即單次運動想象結束且識別結果正確時，開始進行運動抓握任務，當受試者的真實手與VR中的虛擬手達成映射后，當抓握虛擬蘋果時，會在真實手部產生觸覺反饋。
2.2 腦電數據采集及預處理
采集受試者大腦皮層64通道腦電數據，采樣率1 000 Hz。對采集到的64通道腦電信號使用腦電數據分析插件eeglab 2024（University of California， 美國）進行預處理：使用64通道定位文件對電極定位；將運動腦區相關電極（Fz、F1、F2、F3、F4、F5、F6、F7、F8、FCz、FC1、FC2、FC3、FC4、FC5、FC6、Cz、C1、C2、C3、C4、C5、C6）以外的通道剔除；首先使用自適應陷波濾波器去除50 Hz工頻及其諧波信號，基于ICA去除心電和眼電信號，最后使用帶通濾波器提取0.4～200.0 Hz腦電信號；根據腦電信號中的任務標記截取任務相關數據并進行分段處理；對每位受試者兩個試次的數據分別預處理后，合并數據進行后續的分析。
2.3 腦電信號特征提取及模式識別
為獲取運動想象后的結果，即運動意圖，需要對于采集到的腦電信號進行空域濾波（spatial filter）[17]，這樣既能同步利用腦電信號的空間相關性，又可以對信號噪聲進行消除，并且可以實現局部皮層神經活動的定位。本文采用目前最常用的空域濾波技術共空間模式（common spatial pattern，CSP）來提取腦電數據的特征[18]。
假設X1和X2分別為兩分類想象運動任務下的多通道誘發響應時—空信號矩陣，其維數均為N·T，N為腦電通道數，T為每個通道所采集的樣本數[19]。X1和X2取值如式(1)所示：
 |
其中，S1和S2分別代表兩種類型任務，SM代表兩種類型任務下所共同擁有的源信號[20]；假設S1是由
個源所構成的，S2是由M2個源所構成，則C1和C2便是由S1和S2相關的M1和M2個共空間模式組成的，CM表示的是與SM相應的共空間模式[21]。投影矩陣W是所對應的空間濾波器，如式(2)所示：
 |
其中，P為特征值進行降序排列后的白化值矩陣，B為特征向量矩陣。對于測試數據Xi來說，其特征向量fi的提取方式如式（3）所示：
 |
其中，方差（variance，VAR）（以符號VAR表示），求和（sum）函數（以符號sum表示），提取到腦電數據的共空間特征后，選用支持向量機（support vector machine，SVM）分類器進行分類[22]，進而獲取到運動想象的結果，將得到的結果與真實標簽對比，如果結果相符繼續進行同方向的運動抓握任務[23-24]。
2.4 統計學分析
為了探究A-V-H多感官刺激反饋與A-V雙感官刺激反饋下大腦節律差異是否具有統計學意義，采用配對樣本t檢驗分析方法，對A-V-H多感官刺激反饋與A-V雙感官刺激反饋下腦節律的差異進行統計學分析，使用統計分析軟件SPSS 27（International Business Machines Corporation, 美國），采用雙尾檢驗，檢驗水準為0. 05。
3 結果
本文從系統功能實現、大腦激活特性、腦節律特性和腦節律差異是否具有統計學意義等方面對多感官刺激反饋下手功能增強康復系統進行驗證與分析。
3.1 多感官刺激反饋下系統功能實現
本研究招募的10名受試者在融合A-V-H多感官刺激反饋的VR-BCI手功能增強康復系統下進行2輪次試驗，共計20人次。根據受試者反饋，在基于運動想象范式的VR-BCI系統下體驗到自然良好的人機交互過程，在VR場景中通過更加自然生動的導向提示來進行運動想象，使用Leapmotion實現的體感反饋直接與VR場景中的虛擬物體進行交互，融合A-V-H多感官刺激模式下，受試者獲得較好的體驗感、沉浸感和趣味性。
3.2 多感官刺激反饋條件下大腦激活特性分析
由前文1. 2小節的試驗范式可知，本文運動任務范式由25次左手抓握任務和25次右手抓握任務組成，單個受試者單個條件下抓握任務共50次。本研究對受試者在運動想象后時長為8 s的運動抓握任務的腦電數據提取功率譜密度，分別對A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗的腦電數據進行分析，從而探究增加觸覺刺激條件下對腦區激活程度的影響。針對采集25次左手抓握的腦電數據和25次右手抓握的腦電數據，本文提取δ頻段（0. 5～4. 0 Hz）、θ頻段（4～8 Hz）、α頻段（8～14 Hz）、β頻段（14～30 Hz）、γ頻段（30～150 Hz）的功率譜密度，將64通道中與運動腦區相關的12個通道數據繪制腦地形圖，發現10名受試者的腦電數據在γ頻段有規律性變化。如圖3所示，為A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗下左右手運動任務在γ頻段（30～150 Hz）下大腦激活特性圖。
圖3
激活特性腦地形圖
Figure3.
Brain topography of activation characteristics
圖3中，左側為A-V雙感官刺激反饋試驗下左右手運動任務大腦運動功能區激活程度，右側為A-V-H多感官刺激反饋試驗下左右手運動任務大腦運動功能區激活程度，可以看出在左右手運動任務中大腦運動功能區明顯激活，特別在右手運動任務中激活程度更明顯。
3.3 多感官刺激反饋條件下腦節律特性分析
對受試者在A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗下左右手運動任務腦電數據進行分析，計算γ頻段（30～150 Hz）和進一步細分的低γ頻段（30～70 Hz）、高γ頻段（70～150 Hz）的功率譜密度[25]，將左手任務與右手任務所對應的腦電數據計算得出的功率譜密度繪制成圖，如圖4所示，圓形大小代表功率譜密度的強度。
圖4
不同運動任務下有觸覺和無觸覺反饋條件下功率譜密度
Figure4.
Power spectral density with or without haptic feedback conditions for different motor tasks
在γ頻段功率譜密度結果中，右手任務下A-V-H多感官刺激反饋試驗比A-V雙感官刺激反饋試驗的功率譜密度值有提升，特別是部分通道（FC3、FC4、C3、C5、C6）提升幅度較高；左手任務下融合A-V-H的多感官刺激反饋比A-V雙感官刺激反饋的功率譜密度值在部分通道有提升，但在C6通道呈抑制狀態。將γ頻段分為：低γ頻段、高γ頻段；在低γ頻段功率譜密度結果中，左右手運動任務下A-V-H多感官刺激反饋試驗比A-V雙感官刺激反饋試驗的功率譜密度值有提升；在高γ頻段功率譜密度結果中，左右手運動任務下A-V-H多感官刺激反饋試驗比A-V雙感官刺激反饋試驗的功率譜密度值有明顯提升，特別是部分通道（FC3、FC4、C5、C6）提升幅度明顯。
3.4 多感官刺激反饋下腦節律差異統計學分析
為定量分析A-V雙感官刺激和A-V-H多感官刺激條件下健康受試者在特定運動任務下大腦運動功能區不同頻段節律特性的差異是否具有統計學意義，分別計算左右手運動任務下低γ頻段、高γ頻段、γ頻段的功率譜密度，利用配對樣本t檢驗分析大腦運動功能區激活情況。如圖5所示，不同運動任務下，A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗下功率譜密度的差異具有統計學意義。
圖5
不同運動任務下有觸覺和無觸覺反饋條件下功率譜密度的統計學差異
Figure5.
Statistical differences in power spectral density with or without haptic feedback conditions for different motor tasks
如圖5所示，給出了A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗下γ頻段、低γ頻段、高γ頻段中的功率譜密度的差異比較。在左手運動任務中，僅在高γ頻段A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗在功率譜密度上的差異具有統計學意義（高γ頻段左手運動任務下：［MD = 4.468（1.306，29.920），P = 0.049］），γ頻段、低γ頻段上的差異不具有統計學意義（γ頻段左手運動任務下：［MD = 9.571（3.082，77.693），P = 0.057］，低γ頻段左手運動任務下：［MD = 4.968（1.539，47.784），P = 0.062］）。在右手運動任務中，γ頻段、低γ頻段、高γ頻段A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗在功率譜密度上的差異具有統計學意義（γ頻段右手運動任務下：［MD = 13.046（4.005，70.198），P = 0.046］，低γ頻段右手運動任務下：［MD = 7.212（1.788，42.653），P = 0.037］，高γ頻段右手運動任務下：［MD = 5.807（2.080，27.556），P = 0.042］）。
4 討論
本文設計的VR-BCI虛擬康復系統利用VR頭戴式顯示器提供A-V雙感官刺激反饋[26]，并利用Tact Gloves手套融入觸覺感官刺激反饋，實現了融合A-V-H多感官刺激反饋，較好地充實了患者的本體感覺[27]，在常規VR-BCI系統的基礎上，Leapmotion可以提供手部體感反饋，觸覺反饋的引入使得患者在康復時擁有更加真實的交互體驗，可進一步增強康復效果，加速損傷神經自我修復[28]。
通過前文3.2小節中左右手運動任務下A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗的功率譜密度分析表明，A-V-H多感官刺激反饋試驗中觸覺反饋的加入對受試者大腦運動功能區的γ頻段有明顯激活，特別是高γ頻段顯著激活。目前，γ頻段振蕩可認為反映了大腦皮層的激活程度，根據大腦皮層區域的不同[29]，在大腦運動功能區的γ頻段振蕩與信息的注意加工（注意，即能把個體的外部世界和內部世界聯系起來，個體通過利用注意讓現實里的信息進入大腦世界）、感官感知密切相關[30-31]，也就是說，γ頻段振蕩與反饋條件（聽覺、視覺、觸覺、體感反饋）更加完善的訓練環境有關，而不同γ頻段振蕩是不同空間尺度下神經連接的特征，它們可能與信息集成的不同功能有關，而觸覺反饋的加入會在高γ頻段具有更強的激活程度和神經連接。
通過前文3.3小節中左右手運動任務下兩個試驗中腦節律特性分析表明，左右手運動任務對大腦運動功能區的激活程度并不一致。在左手運動任務下A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗僅高γ頻段的功率譜密度上的差異具有統計學意義，而在右手運動任務下γ頻段、低γ頻段、高γ頻段的功率譜密度的差異均具有統計學意義，這可能與受試者慣用手均為右手有關，右手運動任務下多感官反饋更有利于激活受試者大腦運動功能區，從而有利于達到重塑運動功能、加快康復進程的目的。
在手功能增強康復過程中，多感官刺激是感覺傳導通路的輸入，而手部運動則是運動傳導通路的輸出。基于此，在前文3.4小節中腦節律差異統計學分析表明，多感官刺激下，豐富且貼近真實的環境相比單一的環境對促通運動傳導通路有更積極的效果。腦卒中患者康復過程中需要運動傳導通路和感覺傳導通路的雙向促通，而本文主要針對多感官的刺激對運動傳導通路的影響進行具體分析，但對感覺傳導通路的分析不足是本文潛在的局限之一，也是下一步研究的方向。
5 結論
本文融合VR技術和BCI技術，設計了基于VR和多感官刺激反饋的VR-BCI手功能康復系統，搭建了相應的VR試驗范式，實現了基于運動想象觸發的虛實結合人機交互，能為用戶提供更多本體感知和反饋信息。通過對比分析不同運動任務下，A-V-H多感官刺激反饋與A-V雙感官刺激反饋時腦電數據的功率譜密度，發現A-V-H多感官刺激反饋條件下功率譜密度在高γ頻段有顯著提升，說明對大腦運動功能區明顯激活。因此，相較于僅A-V的雙感官刺激反饋，融合A-V-H的多感官刺激反饋的康復環境對大腦運動功能區的激活更有利。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：邵謝寧負責實驗設計、系統搭建、數據采集和論文寫作，張藝瀅負責實驗設計及作圖，張棟負責數據分析，門延帝負責系統搭建，王子龍負責數據分析以及作圖，陳曉玲、謝平負責實驗設計。
倫理聲明：本研究通過了秦皇島市第一醫院倫理委員會的審批（批號：2022A016）。
0 引言
腦卒中（stroke） 是一種較為常見的腦血管疾病[1]。據《中國腦卒中防治報告（2023）》顯示，我國40歲及以上人群腦卒中人數達1 242萬，且發病人群呈年輕化。發生腦卒中后，約75%的患者留下后遺癥、40%的患者重度殘疾，因此幫助該類患者進行有效的康復訓練，促進其肢體運動功能恢復具有十分重要的意義[2]。研究表明，大腦具有可塑性和神經網絡重構機制，即可通過對腦卒中患者進行長期的康復訓練，使患者肢體的運動功能慢慢得到恢復[3-5]。
腦—機接口（brain-computer interface，BCI）可以通過獲取大腦神經活動進而控制外部設備，外部設備也會相應地給大腦發送反饋信息，實現大腦意圖和實際行動之間的雙向聯系[6-7]。基于運動想象（motor imagery，MI）的BCI康復訓練能改善腦卒中患者的肢體功能，使得多個腦區間功能連接增強，促進腦功能網絡活動[8]；而虛擬現實（virtual reality，VR）具有沉浸感強、真實感強的特點；將BCI與VR技術相結合，可構建基于VR的BCI技術（VR-BCI）[9]。VR-BCI，是一種BCI應用新模式，其在康復領域的應用已逐步展開。與傳統BCI簡單的反饋模式相比，VR-BCI能為BCI用戶提供更積極主動、更豐富多彩、更具激勵性的情境反饋[10-11]。但是，VR-BCI在感官反饋層面主要以聽覺（auditory，A）和視覺（visual，V）感官反饋為主，缺少其他感官的融入。如果在沉浸感較強的VR場景中，與虛擬物體進行交互時，增加觸覺（haptic，H）反饋，可以增強患者本體感受，增強康復效果[12]。
本文通過搭建基于多感官刺激反饋（multi sensory stimulation feedback，MSTF）的VR-BCI手功能康復訓練系統，利用BCI技術實現基于運動想象的人機交互訓練模式，在具備虛擬沉浸感的康復訓練中融入觸覺反饋[13-14]，期望為患者提供聽、視、觸覺（A-V-H）多感官刺激反饋，以增強刺激患者本體感受，加速感覺傳導通路和運動傳導通路的雙向促通，誘發患者主動參與的積極性，進而通過提供更為自然逼真的訓練環境，更好地輔助患者完成手部康復訓練，加速患者康復進程。
1 基于VR-BCI和多感官刺激反饋的康復系統構建
為了增強患者的本體感受，融合A-V-H多感官刺激反饋，本文構建了基于多感官刺激反饋的VR-BCI手功能康復訓練系統，其由VR頭戴式顯示器VIVE XR（HTC Inc. ，中國）、體感識別傳感器Leapmotion（Ultraleap Inc. ，美國）、觸覺手套Tact Gloves（BHaptic Inc. ，韓國）、腦電數據采集設備NeuSen W（博睿康科技股份有限公司，中國）、數據處理終端組成，如圖1所示。其中，VIVE XR、Leapmotion和Tact Gloves可以為受試者提供本體感覺更加逼真的人機交互環境，腦電數據采集設備則采集受試者腦電信號，數據處理終端對腦電信號進行實時預處理、特征提取和VR場景的渲染及邏輯交互。為了滿足患者康復的便利性，整套系統均使用無線傳輸的方式進行數據傳輸。
圖1
系統結構圖
Figure1.
System architecture diagram
本文所設計的康復系統基于運動想象試驗范式，通過虛擬場景任務中的視、聽覺（A-V）雙感官刺激引發患者運動想象，運動想象識別結果將觸發場景中的虛擬手，進而帶動患者手部進行交互訓練，引導受試者完成運動任務。而在運動任務執行期間，當虛擬手與場景中的虛擬物體進行交互時，例如抓取物體等，通過Tact Gloves提供的反饋信息，可以與任務完成提示等A-V雙感官信息構成多感官刺激反饋，更好地激活大腦的運動功能區，提高患者的訓練積極性和自信心，加速康復進程。
1.1 上肢人機交互實現
為了提供體感和觸覺傳感官通路，豐富患者在康復過程中的體驗感和真實性，使用Leapmotion傳感器對上肢運動進行追蹤并映射到VR場景中，而使用Tact Gloves可以通過震動在患者手部產生觸覺。
Leapmotion通過雙目攝像頭對上肢進行識別且實時解算上肢（包含小臂、手掌、手指及手指關節）相對于傳感器本身的空間位置，將小臂、手掌、手指及手指關節的三維坐標點送入VR場景中的虛擬上肢所對應的節點中，從而實現VR場景中上肢實時位姿的映射。Tact Gloves的每個指尖都搭載1個線性諧振執行器，通過神經擬態算法來模擬觸摸、抓握、按壓、握手等交互觸覺，通過藍牙連接進行觸覺交互控制，當VR場景中虛擬上肢與虛擬物體產生交互事件時，控制Tact Gloves產生相對應的觸覺。
1.2 VR環境開發
VR技術可以提高康復過程的有效性和趣味性，為患者提供更加真實、沉浸感更強的康復環境，提供A-V雙感官通路[15-16]。
本文使用互動內容創作和運營平臺軟件Unity3D （2022. 3. 8f1c1，Unity Technologies Inc.，美國）進行虛擬場景設計，可以實現有趣的交互邏輯，例如抓握蘋果移動、對物體按照大小或顏色進行排序等。開放統一應用編程接口（OpenXR）是VR平臺上設備與應用程序之間的標準，其可以滿足不同頭戴式顯示器運行同一個Unity3D程序的兼容性問題。本文所設計開發的VR康復系統使用基于OpenXR標準的解決方案SteamVR（2. 2. 3，Valve Corporation，美國），對VR設備進行設備地面校準和視角校準，并利用SteamVR 插件（plugin）串流至VR頭戴式顯示器，從而實現自定義開發的虛擬場景在VR頭戴式顯示器中運行。
1.3 數據處理終端
數據處理終端作為整個系統的核心控制部分和數據處理部分，其主要作用是實時采集腦電數據，以及數據處理分析、控制外部設備、Unity3D程序渲染及運行。
為了滿足多用戶使用、多編程語言之間的邏輯控制，本文設計開發了基于Unity3D的模塊化BCI試驗平臺。該試驗平臺是數據處理終端的基礎系統框架，對功能模塊進行模塊化設計，從而達到系統解耦設計，使得康復系統平臺對編程語言有較高的兼容性。
整個平臺采用四層架構設計，分別是應用層、展現層、處理層、數據層，其中包括一些其他的認證系統、日志系統、數據管理系統。應用層，主要負責基礎業務邏輯，采用的是基于Windows 的用戶界面框架（Windows presentation foundation，WPF）；展現層，主要負責用戶視覺交互；處理層，通過外部接口可以初始化外部腦電交互設備，從而控制數據記錄。在康復訓練中，處理層可以實現對多通道腦電數據基線校正、去除工頻干擾、獨立成分分析（independent component analysis，ICA）去除眼電偽跡、降采樣、帶通濾波、小波包頻段提取等預處理操作，還可以通過小波包多尺度分解和特征頻段功率譜密度對多通道腦電數據進行特征提取，再經分類后將其結果反饋到VR康復場景中控制諸如物體、虛擬肢體、虛擬人物在虛擬場景中的動作，最終形成實時交互反饋。數據層，為每位用戶提供訓練數據存儲和數據分析，以及試驗項目的存儲。
2 試驗設計與數據處理
2.1 受試者選取及試驗范式設計
本文共采集了10名健康青年受試者的腦電數據，均采集自秦皇島市第一醫院，本研究獲得秦皇島市第一醫院倫理委員會批準（審批編號：2022A016），且獲得10名受試者腦電數據的使用授權。所有受試者均自愿參與試驗并簽訂了試驗知情同意書，且之前均未參加過類似任務試驗，因此可以避免預期訓練效果對本研究結論的影響。受試者基本信息如下：6名男性，4名女性，每人2試次，共計20試次，年齡范圍為20～26歲，均為右利手；視力、聽力無明顯障礙；既往無重要臟器疾病史、無腦部腫瘤或其他顱腦疾患、無精神病史。
為了驗證本文設計的基于多感官刺激反饋的虛擬康復系統的有效性，本文對多感官刺激反饋進行組合，得出僅含A-V的雙感官刺激反饋以及融合A-V-H的多感官刺激反饋兩種刺激條件，如圖2所示。試驗內容由運動想象和運動任務組成，在虛擬場景中受試者可以看到真實上肢在虛擬場景中的映射，在VR頭戴式顯示器正前方（水平視場角140°，垂直視場角120°）的手部可被識別并映射，而虛擬場景中映射的上肢可以和虛擬物體進行碰撞、抓握、移動等交互方式。在本文所設計的虛擬場景中，在受試者正前方有一個木桌，木桌上左側右側區域各有一個盤子，受試者運動想象的結果將觸發虛擬手抓握蘋果至對應方向的盤子中，如圖2中試驗過程圖所示。
圖2
A-V-H多感官刺激和A-V雙感官刺激反饋試驗范式
Figure2.
A-V-H multi-sensory stimulation and A-V bi-sensory stimulation feedback experimental paradigm
如圖2所示，整個試驗由10 min靜息態、12 min A-V雙感官刺激反饋試驗和12 min A-V-H多感官刺激反饋試驗組成。試驗開始，首先是30 s的試驗介紹，介紹完畢后休息20 s；然后進行25次的左手運動想象與左手運動任務、25次的右手運動想象與右手運動任務，左右手方向隨機。具體而言，A-V雙感官刺激反饋試驗在運動想象開始時，虛擬場景中的蘋果會按照預定方向移動到盤子中，同時有語音提示，5 s后結束運動想象；當單次運動想象結束且識別結果正確時，將進行與本次運動想象同方向的8 s運動抓握任務，場景中虛擬手會根據識別結果移動，當真實手到達虛擬手的位置時，虛擬手再次移動，以此循環指引受試者完成動作，從而實現虛實結合的人機交互。與A-V雙感官刺激反饋試驗不同，A-V-H多感官刺激反饋試驗在運動任務期間，即單次運動想象結束且識別結果正確時，開始進行運動抓握任務，當受試者的真實手與VR中的虛擬手達成映射后，當抓握虛擬蘋果時，會在真實手部產生觸覺反饋。
2.2 腦電數據采集及預處理
采集受試者大腦皮層64通道腦電數據，采樣率1 000 Hz。對采集到的64通道腦電信號使用腦電數據分析插件eeglab 2024（University of California， 美國）進行預處理：使用64通道定位文件對電極定位；將運動腦區相關電極（Fz、F1、F2、F3、F4、F5、F6、F7、F8、FCz、FC1、FC2、FC3、FC4、FC5、FC6、Cz、C1、C2、C3、C4、C5、C6）以外的通道剔除；首先使用自適應陷波濾波器去除50 Hz工頻及其諧波信號，基于ICA去除心電和眼電信號，最后使用帶通濾波器提取0.4～200.0 Hz腦電信號；根據腦電信號中的任務標記截取任務相關數據并進行分段處理；對每位受試者兩個試次的數據分別預處理后，合并數據進行后續的分析。
2.3 腦電信號特征提取及模式識別
為獲取運動想象后的結果，即運動意圖，需要對于采集到的腦電信號進行空域濾波（spatial filter）[17]，這樣既能同步利用腦電信號的空間相關性，又可以對信號噪聲進行消除，并且可以實現局部皮層神經活動的定位。本文采用目前最常用的空域濾波技術共空間模式（common spatial pattern，CSP）來提取腦電數據的特征[18]。
假設X1和X2分別為兩分類想象運動任務下的多通道誘發響應時—空信號矩陣，其維數均為N·T，N為腦電通道數，T為每個通道所采集的樣本數[19]。X1和X2取值如式(1)所示：
|
其中，S1和S2分別代表兩種類型任務，SM代表兩種類型任務下所共同擁有的源信號[20]；假設S1是由個源所構成的，S2是由M2個源所構成，則C1和C2便是由S1和S2相關的M1和M2個共空間模式組成的，CM表示的是與SM相應的共空間模式[21]。投影矩陣W是所對應的空間濾波器，如式(2)所示：
|
其中，P為特征值進行降序排列后的白化值矩陣，B為特征向量矩陣。對于測試數據Xi來說，其特征向量fi的提取方式如式（3）所示：
|
其中，方差（variance，VAR）（以符號VAR表示），求和（sum）函數（以符號sum表示），提取到腦電數據的共空間特征后，選用支持向量機（support vector machine，SVM）分類器進行分類[22]，進而獲取到運動想象的結果，將得到的結果與真實標簽對比，如果結果相符繼續進行同方向的運動抓握任務[23-24]。
2.4 統計學分析
為了探究A-V-H多感官刺激反饋與A-V雙感官刺激反饋下大腦節律差異是否具有統計學意義，采用配對樣本t檢驗分析方法，對A-V-H多感官刺激反饋與A-V雙感官刺激反饋下腦節律的差異進行統計學分析，使用統計分析軟件SPSS 27（International Business Machines Corporation, 美國），采用雙尾檢驗，檢驗水準為0. 05。
3 結果
本文從系統功能實現、大腦激活特性、腦節律特性和腦節律差異是否具有統計學意義等方面對多感官刺激反饋下手功能增強康復系統進行驗證與分析。
3.1 多感官刺激反饋下系統功能實現
本研究招募的10名受試者在融合A-V-H多感官刺激反饋的VR-BCI手功能增強康復系統下進行2輪次試驗，共計20人次。根據受試者反饋，在基于運動想象范式的VR-BCI系統下體驗到自然良好的人機交互過程，在VR場景中通過更加自然生動的導向提示來進行運動想象，使用Leapmotion實現的體感反饋直接與VR場景中的虛擬物體進行交互，融合A-V-H多感官刺激模式下，受試者獲得較好的體驗感、沉浸感和趣味性。
3.2 多感官刺激反饋條件下大腦激活特性分析
由前文1. 2小節的試驗范式可知，本文運動任務范式由25次左手抓握任務和25次右手抓握任務組成，單個受試者單個條件下抓握任務共50次。本研究對受試者在運動想象后時長為8 s的運動抓握任務的腦電數據提取功率譜密度，分別對A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗的腦電數據進行分析，從而探究增加觸覺刺激條件下對腦區激活程度的影響。針對采集25次左手抓握的腦電數據和25次右手抓握的腦電數據，本文提取δ頻段（0. 5～4. 0 Hz）、θ頻段（4～8 Hz）、α頻段（8～14 Hz）、β頻段（14～30 Hz）、γ頻段（30～150 Hz）的功率譜密度，將64通道中與運動腦區相關的12個通道數據繪制腦地形圖，發現10名受試者的腦電數據在γ頻段有規律性變化。如圖3所示，為A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗下左右手運動任務在γ頻段（30～150 Hz）下大腦激活特性圖。
圖3
激活特性腦地形圖
Figure3.
Brain topography of activation characteristics
圖3中，左側為A-V雙感官刺激反饋試驗下左右手運動任務大腦運動功能區激活程度，右側為A-V-H多感官刺激反饋試驗下左右手運動任務大腦運動功能區激活程度，可以看出在左右手運動任務中大腦運動功能區明顯激活，特別在右手運動任務中激活程度更明顯。
3.3 多感官刺激反饋條件下腦節律特性分析
對受試者在A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗下左右手運動任務腦電數據進行分析，計算γ頻段（30～150 Hz）和進一步細分的低γ頻段（30～70 Hz）、高γ頻段（70～150 Hz）的功率譜密度[25]，將左手任務與右手任務所對應的腦電數據計算得出的功率譜密度繪制成圖，如圖4所示，圓形大小代表功率譜密度的強度。
圖4
不同運動任務下有觸覺和無觸覺反饋條件下功率譜密度
Figure4.
Power spectral density with or without haptic feedback conditions for different motor tasks
在γ頻段功率譜密度結果中，右手任務下A-V-H多感官刺激反饋試驗比A-V雙感官刺激反饋試驗的功率譜密度值有提升，特別是部分通道（FC3、FC4、C3、C5、C6）提升幅度較高；左手任務下融合A-V-H的多感官刺激反饋比A-V雙感官刺激反饋的功率譜密度值在部分通道有提升，但在C6通道呈抑制狀態。將γ頻段分為：低γ頻段、高γ頻段；在低γ頻段功率譜密度結果中，左右手運動任務下A-V-H多感官刺激反饋試驗比A-V雙感官刺激反饋試驗的功率譜密度值有提升；在高γ頻段功率譜密度結果中，左右手運動任務下A-V-H多感官刺激反饋試驗比A-V雙感官刺激反饋試驗的功率譜密度值有明顯提升，特別是部分通道（FC3、FC4、C5、C6）提升幅度明顯。
3.4 多感官刺激反饋下腦節律差異統計學分析
為定量分析A-V雙感官刺激和A-V-H多感官刺激條件下健康受試者在特定運動任務下大腦運動功能區不同頻段節律特性的差異是否具有統計學意義，分別計算左右手運動任務下低γ頻段、高γ頻段、γ頻段的功率譜密度，利用配對樣本t檢驗分析大腦運動功能區激活情況。如圖5所示，不同運動任務下，A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗下功率譜密度的差異具有統計學意義。
圖5
不同運動任務下有觸覺和無觸覺反饋條件下功率譜密度的統計學差異
Figure5.
Statistical differences in power spectral density with or without haptic feedback conditions for different motor tasks
如圖5所示，給出了A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗下γ頻段、低γ頻段、高γ頻段中的功率譜密度的差異比較。在左手運動任務中，僅在高γ頻段A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗在功率譜密度上的差異具有統計學意義（高γ頻段左手運動任務下：［MD = 4.468（1.306，29.920），P = 0.049］），γ頻段、低γ頻段上的差異不具有統計學意義（γ頻段左手運動任務下：［MD = 9.571（3.082，77.693），P = 0.057］，低γ頻段左手運動任務下：［MD = 4.968（1.539，47.784），P = 0.062］）。在右手運動任務中，γ頻段、低γ頻段、高γ頻段A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗在功率譜密度上的差異具有統計學意義（γ頻段右手運動任務下：［MD = 13.046（4.005，70.198），P = 0.046］，低γ頻段右手運動任務下：［MD = 7.212（1.788，42.653），P = 0.037］，高γ頻段右手運動任務下：［MD = 5.807（2.080，27.556），P = 0.042］）。
4 討論
本文設計的VR-BCI虛擬康復系統利用VR頭戴式顯示器提供A-V雙感官刺激反饋[26]，并利用Tact Gloves手套融入觸覺感官刺激反饋，實現了融合A-V-H多感官刺激反饋，較好地充實了患者的本體感覺[27]，在常規VR-BCI系統的基礎上，Leapmotion可以提供手部體感反饋，觸覺反饋的引入使得患者在康復時擁有更加真實的交互體驗，可進一步增強康復效果，加速損傷神經自我修復[28]。
通過前文3.2小節中左右手運動任務下A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗的功率譜密度分析表明，A-V-H多感官刺激反饋試驗中觸覺反饋的加入對受試者大腦運動功能區的γ頻段有明顯激活，特別是高γ頻段顯著激活。目前，γ頻段振蕩可認為反映了大腦皮層的激活程度，根據大腦皮層區域的不同[29]，在大腦運動功能區的γ頻段振蕩與信息的注意加工（注意，即能把個體的外部世界和內部世界聯系起來，個體通過利用注意讓現實里的信息進入大腦世界）、感官感知密切相關[30-31]，也就是說，γ頻段振蕩與反饋條件（聽覺、視覺、觸覺、體感反饋）更加完善的訓練環境有關，而不同γ頻段振蕩是不同空間尺度下神經連接的特征，它們可能與信息集成的不同功能有關，而觸覺反饋的加入會在高γ頻段具有更強的激活程度和神經連接。
通過前文3.3小節中左右手運動任務下兩個試驗中腦節律特性分析表明，左右手運動任務對大腦運動功能區的激活程度并不一致。在左手運動任務下A-V-H多感官刺激反饋試驗與A-V雙感官刺激反饋試驗僅高γ頻段的功率譜密度上的差異具有統計學意義，而在右手運動任務下γ頻段、低γ頻段、高γ頻段的功率譜密度的差異均具有統計學意義，這可能與受試者慣用手均為右手有關，右手運動任務下多感官反饋更有利于激活受試者大腦運動功能區，從而有利于達到重塑運動功能、加快康復進程的目的。
在手功能增強康復過程中，多感官刺激是感覺傳導通路的輸入，而手部運動則是運動傳導通路的輸出。基于此，在前文3.4小節中腦節律差異統計學分析表明，多感官刺激下，豐富且貼近真實的環境相比單一的環境對促通運動傳導通路有更積極的效果。腦卒中患者康復過程中需要運動傳導通路和感覺傳導通路的雙向促通，而本文主要針對多感官的刺激對運動傳導通路的影響進行具體分析，但對感覺傳導通路的分析不足是本文潛在的局限之一，也是下一步研究的方向。
5 結論
本文融合VR技術和BCI技術，設計了基于VR和多感官刺激反饋的VR-BCI手功能康復系統，搭建了相應的VR試驗范式，實現了基于運動想象觸發的虛實結合人機交互，能為用戶提供更多本體感知和反饋信息。通過對比分析不同運動任務下，A-V-H多感官刺激反饋與A-V雙感官刺激反饋時腦電數據的功率譜密度，發現A-V-H多感官刺激反饋條件下功率譜密度在高γ頻段有顯著提升，說明對大腦運動功能區明顯激活。因此，相較于僅A-V的雙感官刺激反饋，融合A-V-H的多感官刺激反饋的康復環境對大腦運動功能區的激活更有利。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：邵謝寧負責實驗設計、系統搭建、數據采集和論文寫作，張藝瀅負責實驗設計及作圖，張棟負責數據分析，門延帝負責系統搭建，王子龍負責數據分析以及作圖，陳曉玲、謝平負責實驗設計。
倫理聲明：本研究通過了秦皇島市第一醫院倫理委員會的審批（批號：2022A016）。
