多模式腦—機接口和多模式腦功能成像是目前和未來的發展趨勢。本研究針對基于腦電-近紅外光譜（EEG-NIRS）的多模態腦—機接口，為同時采集運動區的腦活動，設計了一種 EEG 和 NIRS 聯合采集的頭盔并進行實驗驗證。根據 10-20 系統或 10-20 擴展系統、NIRS 探頭和 EEG 電極直徑和間距，以 C3 或 C4 為基準電極對近紅外探頭進行對準，把 EEG 電極置于 NIRS 電極之間，同時測量同一功能腦區 NIRS 變化和與之對應的 EEG 變化；采用螺紋旋緊的方式耦合近紅外探頭夾持器和近紅外探頭。為驗證該多模態 EEG-NIRS 聯合采集頭盔的可行性和有效性，在涉及右手握力和握速運動想象共 6 個任務期間，采集了 6 個健康被試運動區的 NIRS 和 EEG 信號。這些信號在一定程度上可能反映了握力和握速運動想象相關的腦活動。實驗表明本文設計的 EEG 和 NIRS 聯合采集頭盔可行并有效，不僅能夠為基于 EEG-NIRS 的多模態運動想象腦—機接口提供支持，也可望為 EEG-NIRS 多模態腦功能成像研究提供支持。
引用本文： 熊馨, 伏云發, 張夏冰, 李松, 徐保磊, 尹旭賢. 一種多模態腦電和近紅外光譜聯合采集頭盔設計及實驗研究. 生物醫學工程學雜志, 2018, 35(2): 290-296. doi: 10.7507/1001-5515.201611025 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
引言
在幾種腦信號中，從時間分辨率上來說，最高的是微電極陣列，其次是皮層腦電（electrocorticography，ECoG）、腦電（electroencephalogram，EEG）和腦磁（magnetoencephalograph，MEG），再次是近紅外光譜（near infrared spectroscopy，NIRS）、功能磁共振（functional magnetic resonance imaging，fMRI），時間分辨率最低的是正電子發射型計算機斷層顯像（positron emission computed tomography，PET）；從空間分辨率來說，最高的仍然是微電極陣列，其次是 fMRI 和 ECoG，再次是 PET 和 MEG，最后是 NIRS 和 EEG，空間分辨率最低的是 EEG[1-2]。但是微電極陣列和 ECoG 是有創采集方法；fMRI 和 MEG 昂貴且不具有便攜性[3]；PET 則是將生物生命代謝中必須的物質（如葡萄糖、蛋白質、核酸、脂肪酸），標記上短壽命的放射性核素（如 18F、11C）注入人體后，通過觀測該物質在代謝中的聚集，來反映生命代謝活動的情況，它的時間分辨率很低，尚沒有將其用于腦－機接口。
而與微電極陣列和 ECoG 相比，EEG 和 NIRS 均為無創采集方法，不昂貴且攜帶方便。EEG 是通過在頭皮上放置電極，記錄腦細胞群自發性、節律性的電活動，時間分辨率很高。NIRS 是一種較新的腦功能成像方法，通過向頭皮射入安全的近紅外光并從頭皮接受傳出的近紅外光，來評估大腦活動時皮層組織含氧血紅蛋白和脫氧血紅蛋白的濃度變化。NIRS 的特點如下：首先，NIRS 間接地反映大腦活動的代謝信號，滯后于神經活動 6～8 s，因而時間分辨率遠低于 EEG；其次，與 EEG 相比，NIRS 有強大的抗電磁干擾能力（如眼電、肌電，工頻干擾、周外的電磁干擾等），信號更穩定[4-8]；再次，因為 NIRS 的探測點位于相鄰探頭之間，探測的是相鄰探頭中間位置之下皮層處的血氧代謝變化，而 EEG 電極探測的往往是多個鄰近腦區的神經元放電，因而 NIRS 的空間分辨率強于 EEG。所以，可以考慮把成像原理不同的 EEG 和 NIRS 結合起來，同時采集這兩種腦信號，將不同信號的信息內容進行互補或融合，在一定程度上克服單模態/單模式腦功能成像的局限性[9-10]。
采用多模態/多模式腦功能成像方法來研究人類大腦[11-15]，以及開發多模態/多模式腦－機接口系統[16-20]，是目前和未來的一個發展趨。目前已有研究把 EEG 和 NIRS 兩種采集手段相結合[21-25]，將其用于腦－機接口系統中，可以實現基于 EEG-NIRS 的多模態腦－機接口[26-28]。然而，目前 EEG-NIRS 頭盔的設計多數是 EEG 電極和 NIRS 探頭分別放置并定位于不同的功能腦區，不便于兩種信號的對比和融合利用。因此，本文根據 10-20 系統或 10-20 擴展系統、NIRS 探頭和 EEG 電極直徑和間距，提出并設計一種多模態 EEG 和 NIRS 聯合采集的頭盔，以期同時采集相同腦區的活動信息；此外，利用該頭盔，通過同時采集健康被試運動區的 NIRS 和 EEG 信號來驗證該頭盔的可行性和有效性。本頭盔可望為基于 EEG-NIRS 的多模態運動想象腦—機接口提供支持，也可望為 EEG-NIRS 多模態腦功能成像研究提供支持。
1 多模態腦電和近紅外光譜聯合采集頭盔設計
1.1 腦電電極和近紅外探頭位置的配準
腦電電極和近紅外探頭位置的配準需要對應到相同的腦區。如圖 1 所示，根據 10-20 系統及 10-20 擴展系統放置 EEG 電極[29]，這樣也便于與已有基于腦電的腦功能認知研究成果相比較（電極放置與腦區劃分對應）。然后以腦電電極為基準，近紅外發射探頭和接收探頭位于腦電電極之間，或者說位于腦電電極兩側，其所探測的區域為這兩個探頭連線中心之下 2～3 cm 處，實際為腦電電極下 2～3 cm 處的大腦皮層區域，因此近紅外探頭的測量結果與腦電電極的測量結果來自相同腦區，應具有緊密的相關性。
圖1
腦電電極和近紅外探頭位置配準示意圖
圖中標號 1、2、3 分別為腦電電極以及近紅外發射探頭和接收探頭
Figure1. The schematic diagram for position registration of EEG electrodes and near infrared probesthe label 1, 2, and 3 indicate EEG electrode, and emitting probe and receiving probe of near infrared, respectively
1.2 近紅外裝置部分的設計
近紅外裝置設計為由夾持器卡槽和夾持具兩部分構成，如圖 2 所示。圖 2a 夾持器卡槽用于嵌入到覆蓋頭皮的柔性材料上，近紅外夾持具用于耦合固定近紅外探頭。圖 2b 的上部為近紅外探頭結構，由套筒、套筒蓋、彈簧、光纖、光纖探頭和夾持具六個部分組成。光纖 1 和光纖探頭 5 結合在一起，彈簧 3 的底端與光纖探頭 5 上端相連；光纖 1、光纖探頭 5 和彈簧 3 一起放入套筒 2 內部，套筒 2 底部開有圓孔，直徑為套筒直徑的 1/10～9/10，使得光纖探頭 5 的細長部分可以從套筒 2 底部圓孔處伸出；套筒蓋 6 嵌套在套筒頂部，彈簧 3 的頂端與套筒蓋 6 相接觸，套筒蓋 6 上有圓孔，可供光纖穿過；套筒 2 的底端有夾持具 4，采用螺紋的方式，用于與近紅外探頭夾持器耦合。圖 2b 下部的夾持具 7 采用螺紋的方式，用于與近紅外探頭的夾持具 4 耦合；卡槽 8 用于把近紅外探頭夾持器嵌入在柔性材料上；通孔 9 用于插入近紅外探頭。近紅外探頭的夾持具 4 和近紅外探頭夾持器的夾持具 7 為互補關系，采用螺紋旋緊的方式耦合。
圖2
近紅外裝置
a. 螺紋旋緊式卡槽在頭皮柔性材料上的示意圖：1 為柔性材料，2 為近紅外夾持具；b. 螺紋旋緊式卡槽與近紅外探頭耦合示意圖：圖中 1～6 為近紅外探頭的組成部分，其中 1 為光纖，2 為套筒，3 為彈簧，4 為夾持具，5 為光纖探頭，6 為套筒蓋；圖中 7～9 為近紅外探頭夾持器的組成部分，其中 7 為夾持具，8 為卡槽，9 為通孔
Figure2. Near infrared devicea. the diagram for clamp holder with a threaded screw on the flexible material of the scalp: label 1 for a flexible material and label 2 for near infrared gripper; b. the diagram for he clamp holder and near infrared probe coupled by tightening a screw: labels 1–6 are the components of the near infrared probe: label 1 for the optical fiber, 2 for the sleeve, 3 for the spring, 4 for the gripper, 5 for the optical fiber probe, and 6 for the sleeve cover; labels 7–9 are the components of clamp holder of the near infrared probe: label 7 for a clamp, 8 for the card slot, and 9 for through-hole
2 多模態腦電和近紅外光譜聯合采集實驗
根據前面多模態 EEG-NIRS 聯合采集頭盔設計方法，進行了多模態 EEG-NIRS 聯合采集實驗。為了采集握力和握速運動想象期間運動區的 EEG-NIRS 信號，實驗中 EEG 電極和 NIRS 探頭的定位如圖 3a 所示。實線圓圈表示近紅外光發射探頭，而虛線圓圈表示近紅外光接收探頭。發射和接收探頭之間的位置是測量通道。發射探頭和接收探頭之間的距離固定為 30 mm。電極、發射和接收探頭三者位置確定方式如下：以 C4 電極為例，光探頭的位置如圖 3b 所示，以 C4 為基準電極，紅色圓孔位置即為近紅外光探頭的基準位置，其中心位置為相鄰兩個電極的中心點，直徑為 1.5 cm；接收探頭的位置如圖 3c 所示，藍色圓孔位置即為近紅外接收探頭的基準位置，依賴于紅色圓孔，其位置分別位于紅色圓孔上下各 3 cm 處，圓孔的直徑 1.5 cm。在本實驗中，NIRS 通道 21 對應腦電通道 C3，NIRS 通道 7 對應腦電通道 C4。圖 3d 為實驗中 EEG 電極和 NIRS 探頭的實際位置[8]。
圖3
實驗裝置
a. 實驗中 EEG 電極和 NIRS 探頭的定位；b. 光探頭（紅色圓孔）位置示意圖；c. 接收探頭（藍色圓孔）位置示意圖；d. 實驗中 EEG 電極和 NIRS 探頭的實際位置
Figure3. Experimental setupa. the positioning of the EEG electrode and the NIRS probe in the experiment; b. the diagram for the position of the optical probe (the red marker hole); c. the diagram for the position of the receiving probes (the blue marker holes); d. the actual position of the EEG electrodes and the NIRS probes in the experiment
本次實驗研究中，腦電和近紅外光譜的聯合實驗數據采集已經使二者的時間同步。同步方法是：采用 E-Prime 作為刺激軟件對 EEG 和 NIRS 采集設備同時發送刺激信號。NIRS 的刺激信號采用串口發送。實驗進行時需要在 NIRS 端進行刺激信號源的設定。EEG 的刺激信號采用并口發送。實驗的硬件連接示意圖如圖 4 所示。實驗中 EEG 采集系統采用 Neuroscan；NIRS 采集系統采用 ETG-4000。
圖4
刺激方案硬件連接示意圖
Figure4.
Diagram of hard connection about stimulus scheme
在該實驗中，6 名健康被試［3 男 3 女；年齡 24～33（26.8 ± 3.3）歲）］接受了 EEG 和 NIRS 數據的同時采集。實驗中要求被試完成 6 種想象任務，即右手 0.5 Hz（慢速）、1.0 Hz（正常）、2.0 Hz（快速）握速自定節奏想象運動，以及右手 20%（小）、50%（中）、80%（大）最大自愿握力想象運動。所有被試均為右利手，均沒有感覺運動障礙或心理疾病等影響腦功能的病史，在實驗前簽署了實驗研究知情同意書，并做了運動想象能力測試問卷調查表。本實驗由中科院沈陽自動化研究所倫理道德委員會批準。
握力和握速任務各包括 3 個試驗過程，每個試驗過程需要進行 30 次試驗。握力任務與握速任務的試驗過程類似，區別僅在于呈現給被試的刺激圖片不同。握力任務的每個試驗的時序圖如圖 5 所示。每個試驗開始時刻會有蜂鳴提示，同時屏幕正中央出現“+”，提示被試本次實驗已經開始，該狀態持續 2 s；開始提示結束后“+”消失，同時屏幕正中央會出現實際/想象握力圖片，提示被試接下來進行實際/想象握力，該狀態持續 1.5 s；提示圖片消失之后屏幕正中央會出現“*”，提示被試開始進行之前圖片所提示的實際/想象握力，該狀態持續 3 s；任務結束之后會進入休息狀態，被試在該時間內可以眨眼休息，但不能進行其他肢體運動，該狀態持續時間為 6～8 s。
圖5
時序圖
Figure5.
Sequence diagram
對于 NIRS 數據，原始的光強數據通過 NIRS-SPM 轉化為濃度數據（HbO/Hb），然后進行 0.1 Hz 低通濾波和線性去趨勢化處理。握力想象 20%、50%、80% 的最大自愿握力（maximum voluntary grip force，MVGF）的事件編號分別為 F1、F2、F3；握速想象 0.5 Hz、1.0 Hz 和 2.0 Hz 的事件編號分別為 F4、F5、F6。根據事件編號提取不同類型的數據段，以［–2，0］ s 作為基線對數據段進行基線校準后取均值。對于 EEG 數據，通過 EEGLAB 進行分析，對其 250 Hz 下采樣并工頻陷波處理，然后進行 0.05～45.00 Hz 帶通濾波，之后提取感興趣時間段［–4，4］，剔除受電和肌電污染的數據段，最后利用 2 Hz 的低通濾波提取慢波電位。最后采用疊加平均技術計算每個握力和握速運動想象任務平均的運動相關皮層電位。
3 結果和討論
對于本文設計的多模態 EEG-NIRS 聯合采集頭盔，進行了預實驗和正式實驗，實驗過程表明該頭盔定位操作簡單。圖 6 為握力和握速想象運動調制 NIRS。圖 6 左為典型被試 S1 在 NIRS 通道 7 三種握力想象任務對應的平均 HbO 和 Hb 濃度隨時間的演化曲線。在握力想象任務準備期間（–2，0）s，想象 50% MVGF 的 HbO 呈正向變化，而 20% MVGF 和 80% MVGF 的 HbO 呈負向變化；在握力想象任務執行期間（0，10）s，三種任務的 HbO 負向變化并達負峰值，然后正向變化；三種握力想象的 HbO 繼續正向變化并分別在握力想象任務結束（t = 10 s）后 6～8 s 達正峰值。此外，Hb 的變化趨勢和 HbO 基本保持反向關系。
圖 6 右為典型被試 S1 在 NIRS 通道 7 三種握速想象任務對應的平均 HbO 和 Hb 濃度隨時間的演化曲線。在握速想象任務準備期間（–2，0）s，1.0 Hz、2.0 Hz 握速想象的 HbO 呈負向變化；在想象任務執行期間（0，10）s 達到負峰值（1.0 Hz 的負峰值絕對值大于 2.0 Hz 的），負峰值后開始正向變化；握速想象結束（t = 10 s）后 8～10 s 抵達正峰值。慢速 0.5 Hz 運動想象的 HbO 在（–5，0）s 內出現負峰值，負峰值后開始緩慢正向變化，在想象運動結束后約 10 s 達到正峰值。Hb 與 HbO 的演化有很大的不同，變化趨勢大致相反，幅度也不一樣。
圖6
握力（左）和握速（右）想象運動調制 NIRS
Figure6.
Imagined hand clenching force (left) and speed (righ) modulated NIRS
圖7
握力（左）和握速（右）想象運動調制 EEG
Figure7.
Imagined hand clenching force (left) and speed (right) modulated EEG
圖 7 為握力和握速想象運動調制 EEG。圖 7 左和右圖分別為典型被試 S1 在 EEG 的 C3 通道三種握力和握速想象任務對應的平均 EEG 隨時間的演化曲線。從圖 7 中可以看出，準備電位在想象動作開始前至少 500 ms 緩慢地朝負電位增加，代表想象指定運動的計劃階段。運動電位在想象動作開始前 150 ms，陡峭地接近負電位，可能與指定運動的執行有關。運動監測電位在運動開始后從負電位變向正電位，可能與指定運動的精度有關。
圖 6 與圖 7 對比可以看出，圖 6 左中，在三種握力想象任務下，HbO 濃度在 10 s 左右達到負峰值，Hb 濃度在 15 s 左右達到正峰值；圖 6 右中，在三種握速想象任務下，HbO 濃度在 8 s 左右達到負峰值，Hb 濃度在 9 s 左右達到正峰值；圖 7 左中，在三種握力想象任務下，EEG 在 250 ms 左右達到正峰值，電壓幅值分別為 2.3、4.7、5.9 μV；圖 7 右中，在三種握速想象任務下，EEG 在 500 ms 左右達到正峰值，電壓幅值分別為 1.9、4.0、8.2 μV。這種對比，再次說明了 EEG 的時間分辨率高，反映神經活動是毫秒級的；而 NIRS 反映的是大腦皮層血液的代謝活動，滯后神經活動 6～8 s。對同一個腦功能區同時測量 EEG 和 NIRS，融合兩種測量方法的信息，為研究多模態腦功能成像提供了支持。
為得到可靠的結果，需要充分訓練被試，同時在被試參與實驗的過程中，避免緊張、注意力集中等因素造成的全局性生理變化，減少頭皮部分的生理噪聲干擾。將來進一步的實驗需要多采集一些被試的數據，做進一步的分析。圖 6 和圖 7 分別表明了在執行握力和握速想象任務中平均 HbO 和 Hb 濃度的時間變化及 EEG 信號的變化，而探索同時采集的 EEG 和 NIRS 數據的融合方法也是我們下一步的研究內容。
基于前面的設計并通過上述實驗，驗證了該頭盔進行 NIRS 和 EEG 聯合采集數據是可行和有效的，可以同步測量 EEG 變化和與之對應的 NIRS 變化。完全集成的無線可穿戴 EEG-NIRS 多模式采集系統將更有利于臨床應用和日常生活[30]。
4 結論
基于 EEG-NIRS 的多模態腦功能成像及多模態腦－機接口是目前和未來的一個發展方向。為解決利用 EEG 和 NIRS 同時采集相同腦區活動信息的問題，本文提出并設計了一種多模態 EEG-NIRS 聯合采集的頭盔，并利用該頭盔采集運動區的腦活動，實驗表明此種多模態 EEG-NIRS 聯合采集的頭盔是可行和有效的。同步采集的 EEG-NIRS 信號在一定程度上可能反映了握力和握速運動想象相關的腦活動，可望為基于 EEG-NIRS 的多模態運動想象腦—機接口和多模態腦功能成像研究提供支持。
但本論文設計的頭盔尚需要在當前基礎上對 NIRS 的夾持器或卡槽裝置進行適合被試舒適性的設計，力圖實用和新型，以期設計出一款具有原創或者創新性的頭盔。
我們未來的工作包括：① EEG-NIRS 頭盔的模塊化或一體化；② 深入分析 EEG-NIRS 信號的融合方法，構建多模態 EEG-NIRS 運動想象腦－機接口系統；③ 多模態 EEG-NIRS 腦功能成像和模式識別研究。
引言
在幾種腦信號中，從時間分辨率上來說，最高的是微電極陣列，其次是皮層腦電（electrocorticography，ECoG）、腦電（electroencephalogram，EEG）和腦磁（magnetoencephalograph，MEG），再次是近紅外光譜（near infrared spectroscopy，NIRS）、功能磁共振（functional magnetic resonance imaging，fMRI），時間分辨率最低的是正電子發射型計算機斷層顯像（positron emission computed tomography，PET）；從空間分辨率來說，最高的仍然是微電極陣列，其次是 fMRI 和 ECoG，再次是 PET 和 MEG，最后是 NIRS 和 EEG，空間分辨率最低的是 EEG[1-2]。但是微電極陣列和 ECoG 是有創采集方法；fMRI 和 MEG 昂貴且不具有便攜性[3]；PET 則是將生物生命代謝中必須的物質（如葡萄糖、蛋白質、核酸、脂肪酸），標記上短壽命的放射性核素（如 18F、11C）注入人體后，通過觀測該物質在代謝中的聚集，來反映生命代謝活動的情況，它的時間分辨率很低，尚沒有將其用于腦－機接口。
而與微電極陣列和 ECoG 相比，EEG 和 NIRS 均為無創采集方法，不昂貴且攜帶方便。EEG 是通過在頭皮上放置電極，記錄腦細胞群自發性、節律性的電活動，時間分辨率很高。NIRS 是一種較新的腦功能成像方法，通過向頭皮射入安全的近紅外光并從頭皮接受傳出的近紅外光，來評估大腦活動時皮層組織含氧血紅蛋白和脫氧血紅蛋白的濃度變化。NIRS 的特點如下：首先，NIRS 間接地反映大腦活動的代謝信號，滯后于神經活動 6～8 s，因而時間分辨率遠低于 EEG；其次，與 EEG 相比，NIRS 有強大的抗電磁干擾能力（如眼電、肌電，工頻干擾、周外的電磁干擾等），信號更穩定[4-8]；再次，因為 NIRS 的探測點位于相鄰探頭之間，探測的是相鄰探頭中間位置之下皮層處的血氧代謝變化，而 EEG 電極探測的往往是多個鄰近腦區的神經元放電，因而 NIRS 的空間分辨率強于 EEG。所以，可以考慮把成像原理不同的 EEG 和 NIRS 結合起來，同時采集這兩種腦信號，將不同信號的信息內容進行互補或融合，在一定程度上克服單模態/單模式腦功能成像的局限性[9-10]。
采用多模態/多模式腦功能成像方法來研究人類大腦[11-15]，以及開發多模態/多模式腦－機接口系統[16-20]，是目前和未來的一個發展趨。目前已有研究把 EEG 和 NIRS 兩種采集手段相結合[21-25]，將其用于腦－機接口系統中，可以實現基于 EEG-NIRS 的多模態腦－機接口[26-28]。然而，目前 EEG-NIRS 頭盔的設計多數是 EEG 電極和 NIRS 探頭分別放置并定位于不同的功能腦區，不便于兩種信號的對比和融合利用。因此，本文根據 10-20 系統或 10-20 擴展系統、NIRS 探頭和 EEG 電極直徑和間距，提出并設計一種多模態 EEG 和 NIRS 聯合采集的頭盔，以期同時采集相同腦區的活動信息；此外，利用該頭盔，通過同時采集健康被試運動區的 NIRS 和 EEG 信號來驗證該頭盔的可行性和有效性。本頭盔可望為基于 EEG-NIRS 的多模態運動想象腦—機接口提供支持，也可望為 EEG-NIRS 多模態腦功能成像研究提供支持。
1 多模態腦電和近紅外光譜聯合采集頭盔設計
1.1 腦電電極和近紅外探頭位置的配準
腦電電極和近紅外探頭位置的配準需要對應到相同的腦區。如圖 1 所示，根據 10-20 系統及 10-20 擴展系統放置 EEG 電極[29]，這樣也便于與已有基于腦電的腦功能認知研究成果相比較（電極放置與腦區劃分對應）。然后以腦電電極為基準，近紅外發射探頭和接收探頭位于腦電電極之間，或者說位于腦電電極兩側，其所探測的區域為這兩個探頭連線中心之下 2～3 cm 處，實際為腦電電極下 2～3 cm 處的大腦皮層區域，因此近紅外探頭的測量結果與腦電電極的測量結果來自相同腦區，應具有緊密的相關性。
圖1
腦電電極和近紅外探頭位置配準示意圖
圖中標號 1、2、3 分別為腦電電極以及近紅外發射探頭和接收探頭
Figure1. The schematic diagram for position registration of EEG electrodes and near infrared probesthe label 1, 2, and 3 indicate EEG electrode, and emitting probe and receiving probe of near infrared, respectively
1.2 近紅外裝置部分的設計
近紅外裝置設計為由夾持器卡槽和夾持具兩部分構成，如圖 2 所示。圖 2a 夾持器卡槽用于嵌入到覆蓋頭皮的柔性材料上，近紅外夾持具用于耦合固定近紅外探頭。圖 2b 的上部為近紅外探頭結構，由套筒、套筒蓋、彈簧、光纖、光纖探頭和夾持具六個部分組成。光纖 1 和光纖探頭 5 結合在一起，彈簧 3 的底端與光纖探頭 5 上端相連；光纖 1、光纖探頭 5 和彈簧 3 一起放入套筒 2 內部，套筒 2 底部開有圓孔，直徑為套筒直徑的 1/10～9/10，使得光纖探頭 5 的細長部分可以從套筒 2 底部圓孔處伸出；套筒蓋 6 嵌套在套筒頂部，彈簧 3 的頂端與套筒蓋 6 相接觸，套筒蓋 6 上有圓孔，可供光纖穿過；套筒 2 的底端有夾持具 4，采用螺紋的方式，用于與近紅外探頭夾持器耦合。圖 2b 下部的夾持具 7 采用螺紋的方式，用于與近紅外探頭的夾持具 4 耦合；卡槽 8 用于把近紅外探頭夾持器嵌入在柔性材料上；通孔 9 用于插入近紅外探頭。近紅外探頭的夾持具 4 和近紅外探頭夾持器的夾持具 7 為互補關系，采用螺紋旋緊的方式耦合。
圖2
近紅外裝置
a. 螺紋旋緊式卡槽在頭皮柔性材料上的示意圖：1 為柔性材料，2 為近紅外夾持具；b. 螺紋旋緊式卡槽與近紅外探頭耦合示意圖：圖中 1～6 為近紅外探頭的組成部分，其中 1 為光纖，2 為套筒，3 為彈簧，4 為夾持具，5 為光纖探頭，6 為套筒蓋；圖中 7～9 為近紅外探頭夾持器的組成部分，其中 7 為夾持具，8 為卡槽，9 為通孔
Figure2. Near infrared devicea. the diagram for clamp holder with a threaded screw on the flexible material of the scalp: label 1 for a flexible material and label 2 for near infrared gripper; b. the diagram for he clamp holder and near infrared probe coupled by tightening a screw: labels 1–6 are the components of the near infrared probe: label 1 for the optical fiber, 2 for the sleeve, 3 for the spring, 4 for the gripper, 5 for the optical fiber probe, and 6 for the sleeve cover; labels 7–9 are the components of clamp holder of the near infrared probe: label 7 for a clamp, 8 for the card slot, and 9 for through-hole
2 多模態腦電和近紅外光譜聯合采集實驗
根據前面多模態 EEG-NIRS 聯合采集頭盔設計方法，進行了多模態 EEG-NIRS 聯合采集實驗。為了采集握力和握速運動想象期間運動區的 EEG-NIRS 信號，實驗中 EEG 電極和 NIRS 探頭的定位如圖 3a 所示。實線圓圈表示近紅外光發射探頭，而虛線圓圈表示近紅外光接收探頭。發射和接收探頭之間的位置是測量通道。發射探頭和接收探頭之間的距離固定為 30 mm。電極、發射和接收探頭三者位置確定方式如下：以 C4 電極為例，光探頭的位置如圖 3b 所示，以 C4 為基準電極，紅色圓孔位置即為近紅外光探頭的基準位置，其中心位置為相鄰兩個電極的中心點，直徑為 1.5 cm；接收探頭的位置如圖 3c 所示，藍色圓孔位置即為近紅外接收探頭的基準位置，依賴于紅色圓孔，其位置分別位于紅色圓孔上下各 3 cm 處，圓孔的直徑 1.5 cm。在本實驗中，NIRS 通道 21 對應腦電通道 C3，NIRS 通道 7 對應腦電通道 C4。圖 3d 為實驗中 EEG 電極和 NIRS 探頭的實際位置[8]。
圖3
實驗裝置
a. 實驗中 EEG 電極和 NIRS 探頭的定位；b. 光探頭（紅色圓孔）位置示意圖；c. 接收探頭（藍色圓孔）位置示意圖；d. 實驗中 EEG 電極和 NIRS 探頭的實際位置
Figure3. Experimental setupa. the positioning of the EEG electrode and the NIRS probe in the experiment; b. the diagram for the position of the optical probe (the red marker hole); c. the diagram for the position of the receiving probes (the blue marker holes); d. the actual position of the EEG electrodes and the NIRS probes in the experiment
本次實驗研究中，腦電和近紅外光譜的聯合實驗數據采集已經使二者的時間同步。同步方法是：采用 E-Prime 作為刺激軟件對 EEG 和 NIRS 采集設備同時發送刺激信號。NIRS 的刺激信號采用串口發送。實驗進行時需要在 NIRS 端進行刺激信號源的設定。EEG 的刺激信號采用并口發送。實驗的硬件連接示意圖如圖 4 所示。實驗中 EEG 采集系統采用 Neuroscan；NIRS 采集系統采用 ETG-4000。
圖4
刺激方案硬件連接示意圖
Figure4.
Diagram of hard connection about stimulus scheme
在該實驗中，6 名健康被試［3 男 3 女；年齡 24～33（26.8 ± 3.3）歲）］接受了 EEG 和 NIRS 數據的同時采集。實驗中要求被試完成 6 種想象任務，即右手 0.5 Hz（慢速）、1.0 Hz（正常）、2.0 Hz（快速）握速自定節奏想象運動，以及右手 20%（小）、50%（中）、80%（大）最大自愿握力想象運動。所有被試均為右利手，均沒有感覺運動障礙或心理疾病等影響腦功能的病史，在實驗前簽署了實驗研究知情同意書，并做了運動想象能力測試問卷調查表。本實驗由中科院沈陽自動化研究所倫理道德委員會批準。
握力和握速任務各包括 3 個試驗過程，每個試驗過程需要進行 30 次試驗。握力任務與握速任務的試驗過程類似，區別僅在于呈現給被試的刺激圖片不同。握力任務的每個試驗的時序圖如圖 5 所示。每個試驗開始時刻會有蜂鳴提示，同時屏幕正中央出現“+”，提示被試本次實驗已經開始，該狀態持續 2 s；開始提示結束后“+”消失，同時屏幕正中央會出現實際/想象握力圖片，提示被試接下來進行實際/想象握力，該狀態持續 1.5 s；提示圖片消失之后屏幕正中央會出現“*”，提示被試開始進行之前圖片所提示的實際/想象握力，該狀態持續 3 s；任務結束之后會進入休息狀態，被試在該時間內可以眨眼休息，但不能進行其他肢體運動，該狀態持續時間為 6～8 s。
圖5
時序圖
Figure5.
Sequence diagram
對于 NIRS 數據，原始的光強數據通過 NIRS-SPM 轉化為濃度數據（HbO/Hb），然后進行 0.1 Hz 低通濾波和線性去趨勢化處理。握力想象 20%、50%、80% 的最大自愿握力（maximum voluntary grip force，MVGF）的事件編號分別為 F1、F2、F3；握速想象 0.5 Hz、1.0 Hz 和 2.0 Hz 的事件編號分別為 F4、F5、F6。根據事件編號提取不同類型的數據段，以［–2，0］ s 作為基線對數據段進行基線校準后取均值。對于 EEG 數據，通過 EEGLAB 進行分析，對其 250 Hz 下采樣并工頻陷波處理，然后進行 0.05～45.00 Hz 帶通濾波，之后提取感興趣時間段［–4，4］，剔除受電和肌電污染的數據段，最后利用 2 Hz 的低通濾波提取慢波電位。最后采用疊加平均技術計算每個握力和握速運動想象任務平均的運動相關皮層電位。
3 結果和討論
對于本文設計的多模態 EEG-NIRS 聯合采集頭盔，進行了預實驗和正式實驗，實驗過程表明該頭盔定位操作簡單。圖 6 為握力和握速想象運動調制 NIRS。圖 6 左為典型被試 S1 在 NIRS 通道 7 三種握力想象任務對應的平均 HbO 和 Hb 濃度隨時間的演化曲線。在握力想象任務準備期間（–2，0）s，想象 50% MVGF 的 HbO 呈正向變化，而 20% MVGF 和 80% MVGF 的 HbO 呈負向變化；在握力想象任務執行期間（0，10）s，三種任務的 HbO 負向變化并達負峰值，然后正向變化；三種握力想象的 HbO 繼續正向變化并分別在握力想象任務結束（t = 10 s）后 6～8 s 達正峰值。此外，Hb 的變化趨勢和 HbO 基本保持反向關系。
圖 6 右為典型被試 S1 在 NIRS 通道 7 三種握速想象任務對應的平均 HbO 和 Hb 濃度隨時間的演化曲線。在握速想象任務準備期間（–2，0）s，1.0 Hz、2.0 Hz 握速想象的 HbO 呈負向變化；在想象任務執行期間（0，10）s 達到負峰值（1.0 Hz 的負峰值絕對值大于 2.0 Hz 的），負峰值后開始正向變化；握速想象結束（t = 10 s）后 8～10 s 抵達正峰值。慢速 0.5 Hz 運動想象的 HbO 在（–5，0）s 內出現負峰值，負峰值后開始緩慢正向變化，在想象運動結束后約 10 s 達到正峰值。Hb 與 HbO 的演化有很大的不同，變化趨勢大致相反，幅度也不一樣。
圖6
握力（左）和握速（右）想象運動調制 NIRS
Figure6.
Imagined hand clenching force (left) and speed (righ) modulated NIRS
圖7
握力（左）和握速（右）想象運動調制 EEG
Figure7.
Imagined hand clenching force (left) and speed (right) modulated EEG
圖 7 為握力和握速想象運動調制 EEG。圖 7 左和右圖分別為典型被試 S1 在 EEG 的 C3 通道三種握力和握速想象任務對應的平均 EEG 隨時間的演化曲線。從圖 7 中可以看出，準備電位在想象動作開始前至少 500 ms 緩慢地朝負電位增加，代表想象指定運動的計劃階段。運動電位在想象動作開始前 150 ms，陡峭地接近負電位，可能與指定運動的執行有關。運動監測電位在運動開始后從負電位變向正電位，可能與指定運動的精度有關。
圖 6 與圖 7 對比可以看出，圖 6 左中，在三種握力想象任務下，HbO 濃度在 10 s 左右達到負峰值，Hb 濃度在 15 s 左右達到正峰值；圖 6 右中，在三種握速想象任務下，HbO 濃度在 8 s 左右達到負峰值，Hb 濃度在 9 s 左右達到正峰值；圖 7 左中，在三種握力想象任務下，EEG 在 250 ms 左右達到正峰值，電壓幅值分別為 2.3、4.7、5.9 μV；圖 7 右中，在三種握速想象任務下，EEG 在 500 ms 左右達到正峰值，電壓幅值分別為 1.9、4.0、8.2 μV。這種對比，再次說明了 EEG 的時間分辨率高，反映神經活動是毫秒級的；而 NIRS 反映的是大腦皮層血液的代謝活動，滯后神經活動 6～8 s。對同一個腦功能區同時測量 EEG 和 NIRS，融合兩種測量方法的信息，為研究多模態腦功能成像提供了支持。
為得到可靠的結果，需要充分訓練被試，同時在被試參與實驗的過程中，避免緊張、注意力集中等因素造成的全局性生理變化，減少頭皮部分的生理噪聲干擾。將來進一步的實驗需要多采集一些被試的數據，做進一步的分析。圖 6 和圖 7 分別表明了在執行握力和握速想象任務中平均 HbO 和 Hb 濃度的時間變化及 EEG 信號的變化，而探索同時采集的 EEG 和 NIRS 數據的融合方法也是我們下一步的研究內容。
基于前面的設計并通過上述實驗，驗證了該頭盔進行 NIRS 和 EEG 聯合采集數據是可行和有效的，可以同步測量 EEG 變化和與之對應的 NIRS 變化。完全集成的無線可穿戴 EEG-NIRS 多模式采集系統將更有利于臨床應用和日常生活[30]。
4 結論
基于 EEG-NIRS 的多模態腦功能成像及多模態腦－機接口是目前和未來的一個發展方向。為解決利用 EEG 和 NIRS 同時采集相同腦區活動信息的問題，本文提出并設計了一種多模態 EEG-NIRS 聯合采集的頭盔，并利用該頭盔采集運動區的腦活動，實驗表明此種多模態 EEG-NIRS 聯合采集的頭盔是可行和有效的。同步采集的 EEG-NIRS 信號在一定程度上可能反映了握力和握速運動想象相關的腦活動，可望為基于 EEG-NIRS 的多模態運動想象腦—機接口和多模態腦功能成像研究提供支持。
但本論文設計的頭盔尚需要在當前基礎上對 NIRS 的夾持器或卡槽裝置進行適合被試舒適性的設計，力圖實用和新型，以期設計出一款具有原創或者創新性的頭盔。
我們未來的工作包括：① EEG-NIRS 頭盔的模塊化或一體化；② 深入分析 EEG-NIRS 信號的融合方法，構建多模態 EEG-NIRS 運動想象腦－機接口系統；③ 多模態 EEG-NIRS 腦功能成像和模式識別研究。
