情緒識別是指通過分析語音、表情、生理指標等多種信號，來判斷和識別個體當前的情緒狀態。將腦電（EEG）信號和虛擬現實（VR）技術用于情緒識別研究，有助于更準確地了解人類情緒變化，從而應用于心理治療、教育培訓等領域，提升人們的生活質量。然而聯合EEG信號和VR環境的情緒識別研究尚缺乏綜述文獻的全面梳理總結，為此本文總結歸納了近五年相關研究，首先介紹了VR和EEG信號情緒識別的相關理論；其次重點分析了VR環境中EEG信號情緒識別的情緒誘發、特征提取和分類識別的方法；總結了該研究的應用方向；最后對未來的發展趨勢進行展望。通過本文綜述，期望可為相關領域的研究工作者提供參考。
引用本文： 楊文陽, 徐可欣. 聯合虛擬現實環境和腦電信號的情緒識別研究進展. 生物醫學工程學雜志, 2024, 41(2): 389-397. doi: 10.7507/1001-5515.202310045 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
0 引言
情緒，是個體對事物的主觀認知體驗及相應的行為反應。理解和管理情緒對于個人的心理健康和社會適應具有重要意義。隨著心理健康觀念的逐步普及，社會上對機體情緒的關注也日益廣泛，情緒識別已成為了研究的熱點。腦電（electroencephalogram，EEG）信號是通過采集腦部神經元的電活動并記錄所得的一種生理信號，具有客觀、時間分辨率好、數據采集和傳輸快、獲取成本低等優勢，常應用于情緒識別領域[1]。虛擬現實（virtual reality，VR）技術，利用計算機生成的視聽、觸覺和運動等感官輸入，可以模擬復雜、現實和不現實的情境。通過VR技術，用戶使用頭戴式顯示器、手柄、手套等設備，能夠在虛擬世界中感受到真實世界的各種情緒和體驗[2]。隨著VR技術的發展以及EEG信號采集設備的廣泛應用，虛擬移動、腦機接口等多通道交互技術研究也獲得越來越多的關注和重視[3]。將VR技術與EEG信號、機器學習方法相結合，可以實時地捕捉用戶在VR環境中的情緒狀態。例如，Hofmann等[4]通過運用VR技術呈現的環境向參與者施加情緒刺激，并在實驗中通過提取和處理參與者的EEG信號來進行情緒分類。此外，通過分析EEG信號，可以識別出與不同情緒狀態相關的特征模式，便于更深入地了解用戶在VR環境中實時的情緒狀態，從而實現更加智能化、個性化的虛擬體驗和互動。這類研究不僅可以應用于娛樂、游戲和教育培訓等領域，還在商業、醫療、人機交互等領域有著廣闊的應用前景。
本文以EEG信號、VR、情緒識別等作為關鍵詞分別在知網、愛思唯爾、施普林格、科學引文索引等數據庫進行文獻檢索。從2017年開始，相關領域的發文量穩步增長，在2021年發文量達到了13篇。隨后，在2022年開始，發文量略微下降，但仍然保持在較高水平，這表明該領域仍然是一個研究熱點。本文對近五年內沉浸式虛擬環境中EEG信號的情緒識別相關文獻進行梳理，系統地歸納沉浸式虛擬環境中EEG信號的情緒識別所涉及的關鍵思路和方法，簡要回顧了該領域的研究現狀、存在的問題和未來研究方向，以便相關研究人員把握研究熱點和發展趨勢，促使研究人員在該領域取得更加前沿的創新成果。
1 相關背景
1.1 情緒量化模型分類
人類擁有多種情緒，通過情緒建模，研究者能夠更深入地理解情緒的本質和影響，推動人類與機器之間更加智能和情感化的交互。目前，一般采用離散情緒模型和連續情緒模型來描述情緒。
1.1.1 離散情緒模型
離散情緒模型認為，情緒空間是由離散、有限的不同類別情緒組成，每個類別表示著一個具體的情緒狀態。Ekman[5]在20世紀70年代提出的情緒模型包含了六種基本情緒，分別是高興、悲傷、驚訝、恐懼、憤怒和厭惡。Xie等[6]表明，在VR和二維屏幕模式下誘發相同離散情緒，其差異具有統計學意義，而VR模式下大腦激活更為強烈。離散模型簡潔直觀，但無法定量分析，能描述的情緒狀態有限。因此，學者們傾向于用連續情緒模型來描述情緒。
1.1.2 連續情緒模型
連續情緒模型認為，每種情緒可以在空間中被表示為一個點，該點的位置反映了情緒在不同維度上的特征。在情緒的二維分類模型中具有代表性的是Russell[7]提出的環形情緒分類模型，如圖1所示。Russell[7]認為，情緒是由喚醒度和效價兩個維度構成：效價，描述了情緒的愉悅程度，從上到下的縱軸表示情緒由積極變為消極狀態；喚醒度，描述了情緒狀態的強度；然而，二維情緒模型可能會導致不同的情緒位于同一區域而難以區分。為了彌補該模型的不足，Russell[7]在二維模型的基礎上擴展了支配度維度，該維度描述了當前情緒主體在某種情緒下的自主感和控制感。有些研究中還會添加喜好度這一維度，喜好度有助于了解人們對于特定情緒狀態的偏好程度，從而幫助研究者更好地理解情緒。
圖1
基于Russell的環形情緒分類模型
Figure1.
Russell's circular emotion classification model
1.2 虛擬現實環境中腦電信號的情緒識別流程
本節主要介紹通過VR技術來誘發情緒以及利用EEG信號進行情緒識別的流程。目前，由于還沒有大規模的公開數據集可供研究者使用，研究者通常自行設計VR場景誘發受試者的情緒，與此同時采集受試者的EEG信號以供研究。
在VR環境中，受試者的EEG信號易受到運動偽跡的干擾，因此需要對原始信號進行預處理。偽跡的去除方法主要包括：濾波、人工去燥、精細去噪等。對于那些不易通過濾波去除的偽跡需采用精細去噪，一般是通過獨立成分分析（independent component analysis，ICA）等多種方法提取出真實的EEG信號。Ricci等[8]在研究EEG信號與基于VR的飛機艙環境舒適感之間關系時，用0.75～60.00 Hz帶通濾波器加上50.00 Hz的凹陷波濾波器對EEG信號進行濾波，去除與其他電極之間的交互作用相關的信號成分，再通過ICA去除偽跡，得到了較好的去偽跡效果。在對EEG信號進行預處理后還需進行特征提取，最后進行情緒分類識別。隨后，在識別出受試者在VR環境中的的情緒狀態后，設計者可以根據數據反饋適時調整VR環境。即，通過分析VR環境中任何受試者所看到的事物、聽到的聲音、交互的對象等，選擇性增加個性化條件變化，對VR環境中的內容進行干預。如圖2所示，是VR環境中基于EEG信號的情緒識別的基本思路框圖。
圖2
VR環境中基于EEG信號的情緒識別
Figure2.
Emotion recognition based on EEG signals in VR environment
2 情緒誘發
情緒誘發方法主要分為主動誘發和被動誘發兩類[9]。主動誘發，是個體通過自身思考或行動來引發情緒。例如，讓受試者擺出相應的表情或通過回憶和想象特定的情境事件來激發情緒，但這種方法難以保證受試者能找到對應的情景事件，以及誘發出情緒的強度和持續時間，因此在情緒識別研究中多采用被動誘發的方法。常用的被動誘發方法是使用語音、圖像等外部刺激，來引發受試者不同的情緒。然而，這些傳統誘發方法與VR誘發方法相比，在誘發效果和可控性方面有一定的局限性。而利用VR技術，人們可以更直接地感受到環境中的聲音、光線、動態等刺激，從而更容易產生情緒反應。目前，最常用的VR誘發方法為VR全景視頻。例如，Zhang等[10]通過構建與歌曲情感和內容相吻合的VR全景視頻幫助聲樂表演者提升其演唱效果，并將其與傳統主動想象的情緒誘發方法進行對比，結果表明借助VR技術的訓練手段可以達到更好的情緒誘發效果。Sofian等[11]讓受試者使用自我評估人體模型完成情緒的自我評估，根據所獲得的喚醒度和效價水平的指示，選取能有效誘發不同情緒的視頻，然后使用VR頭戴設備誘發情緒，用支持向量機（support vector machine，SVM）對處理后的EEG信號進行情緒識別，該研究在個體間的識別準確度取得良好效果。除了運用VR視頻來進行情緒誘發外，還可結合聽覺、視覺、嗅覺和互動元素來設計逼真的VR場景，從而更加全面地刺激和改善受試者的情緒狀態。通過VR場景誘發情緒狀態，還可以用于情緒調節和情緒訓練，進而更好地滿足個性化的情緒變化需求。例如，聶瑋等[12]通過分析受試者調查問卷和不同VR環境中誘發的EEG信號，發現當全景綠視率達到60%時，受試者愉悅度最高，表明通過改變全景綠視率環境可以調節受試者的愉悅度。
3 腦電信號的情緒特征提取及分類識別方法
3.1 腦電信號的情緒特征提取
在預處理后的EEG信號中存在大量與情緒無關的冗余信息，因此還需要進行特征提取。常用的分析方法包括時域、頻域、時頻域和空間域分析。在情緒識別研究中，運用時域特征的優勢在于計算速度快，適用于在線情緒識別，但無法捕捉到EEG信號的頻率信息及時變性。常用的時域分析方法包括信號統計量、分形維數、赫斯特（Hurst）指數等。但目前對于時域特征的分析缺乏統一的規范和標準。有研究者使用香農熵和Hurst指數分析記錄了二維環境和VR條件下的EEG信號的信息量和記憶效果。分析結果表明，VR條件下觀看視頻的EEG信號的信息和記憶效果顯著增加[13]。
與時域分析相比，頻域特征的優勢在于可以反映EEG信號在不同頻率范圍內的能量分布和頻率特性，從而揭示情緒表達在特定頻率帶上的差異或相關性，為情緒識別研究提供重要的信號指標；但其對于實時應用需要較高的計算復雜度。頻域分析提取頻域特征時，首先用傅里葉變換等方法將EEG信號從時域轉換到頻域，然后根據實際需求，提取不同情緒對應的頻段信息。典型的頻域特征包括功率譜密度（power spectral density，PSD）、頻帶能量、微分熵（differential entropy，DE）等。王晨[14]提取受試者在傳統屏幕和VR動態場景下EEG信號的α和β波段的PSD特征，發現在VR動態場景下可以帶給人最積極的體驗，但是也會增大受試者的認知負荷，大腦活動也變得更加活躍和頻繁。Peng等[15]利用半監督學習將未標記EEG信號數據引入模型訓練，發現γ頻段、左右顳葉、前額葉和（中央）頂葉與情緒發生的相關性更強。Raheel等[16]結合了觸覺和傳統多媒體剪輯的方式來觀察受試者的情緒反應，并從每個EEG通道的五個不同波段中提取頻域特征，再用機器學習算法進行情緒四分類研究，結果表明與時域特征相比，頻域特征更適合于對多種感覺介質的情緒分類。
傳統的時域特征或頻域特征只能提供有限的信號描述，而時頻域特征可以同時考慮EEG信號在時域和頻域上的動態變化特征，有助于提高情緒識別的準確度，但其計算復雜度更高。常用的時頻域分析法有短時傅里葉變換（short-time Fourier transform，STFT）、小波變換（wavelet transform，WT）等。其中，WT可以同時在時域和頻域上進行多尺度的細化分析，適用于非平穩信號，并且能夠捕捉到信號在不同頻率上的瞬時變化。Cao等[17]利用WT對三類情緒標簽下的EEG信號進行分解，提取了四個不同頻帶的時頻信息，并計算它們在時頻域的統計特性，利用具有時頻域特征的長短時記憶（long short-term memory，LSTM）網絡提取深層特征的序列信息，結合歸一化指數函數對情緒進行分類，獲得了較好的分類效果。
在情緒識別任務中，為充分利用多維信號中各通道之間的空間相關性。還可采用空間域分析法，最常用的算法是共空間模式（common spatial pattern，CSP）及其變體。毛玲等[18]用CSP對離線EEG信號數據進行訓練，獲得了一組空間濾波器矩陣，然后運用訓練好的分類器在線對EEG信號進行采集和分類，并實時轉換為飛行控制指令，結果表明在VR環境中能夠讓受試者產生更具激勵性的EEG信號響應。針對CSP方法缺乏頻域信息等問題，莫云[19]使用濾波器組方法彌補了CSP的頻域信息，同時使用對數帶通功率代替對數方差特征，該方法融合了空域和頻域信息，不僅提升了分類性能，還縮短了特征提取所需的時間。空間域的優勢在于，可以提供大量的信息，能夠捕捉到EEG信號在空間上的分布情況，從而更全面地反映情緒特征。但它需要較多的EEG信號采集通道，會增加實驗的復雜性和成本。其次，空間域特征在處理大規模數據時可能會出現維度災難的問題，導致特征提取和分析的困難。
在不同的應用場景需要根據實際情況運用不同的特征提取方法。例如，一些情緒分類任務可能更關注頻域特征，而情緒識別任務可能更側重于時頻域特征的變化。如果特征值維數過高，可以考慮進行降維處理以減少計算負荷和特征冗余。常用的降維方法包括主成分分析（principal component analysis，PCA）、線性判別分析（linear discriminant analysis，LDA）等，它們可以將高維特征映射到更低維度的特征空間中，同時盡量保持特征的區分性。降維處理會損失一部分信息，但可能有利于提高后續分類和識別過程的效率。
3.2 腦電信號的情緒分類識別
分類識別是EEG信號情緒識別研究的關鍵環節，在選取包含情緒信息量最大的特征后，要選擇合適的分類器對EEG信號進行情緒識別。本節將從傳統的淺分類器和基于深度學習的分類器兩個方面對情緒識別方法進行對比總結。
3.2.1 傳統的淺分類器
傳統的淺分類器主要基于特征工程和機器學習技術，不需要調整復雜的參數。常用的分類算法有SVM、樸素貝葉斯（naive Bayes，NB） 、LDA、 K-最近鄰（k-nearest neighbors，KNN） 、決策樹（decision tree，DT）、隨機森林（random forest，RF）等。
SVM在EEG信號情緒識別中具有較高的性能，能夠處理高維數據和非線性問題，適用于少樣本情況，并且對于樣本數量的增加不會導致過擬合。Hou等[20]在基于氣味誘發的EEG信號情緒識別研究中，采用平均頻帶劃分法提取PSD特征，然后同時使用SVM、反向傳播神經網絡（back propagation neural network，BPNN）等算法分別進行情緒二分類和五分類實驗，結果表明SVM分類器在分類準確度上表現最佳。
KNN算法簡單易實現、無需訓練過程、適用于多類別問題。但其計算復雜度較高，對于大規模數據集的處理效率較低，在不平衡數據集和特征維度較高的情況下可能會受到影響，其精度可能會由于有噪聲或不相關的特征的存在而嚴重降低。Suhaimi等[21]讓受試者觀察VR營造的周圍區域的同時采集其EEG信號，然后使用KNN和SVM方法對受試者的心理狀態進行分析，平均準確度均達到了82%。
RF利用DT的集成可以克服單個DT的過擬合問題，有效提高整體模型的準確度和魯棒性。王發旺等[22]基于上海交通大學情感腦電數據集探索了跨受試者情緒識別模型，分別使用KNN、SVM、深度置信網絡（deep belief networks，DBN）、二次判別分析（ quadratic discriminate analysis，QDA）和RF進行情緒三分類實驗，結果表明，RF對負性和中性情緒的識別率較高。
綜上，對本文參考文獻中出現的傳統淺分類器在VR環境中EEG信號情緒識別研究中存在的優缺點及魯棒性進行整理比較，如表1所示。
表1
傳統的淺分類算法比較
Table1.
Comparison of traditional shallow classification algorithms
3.2.2 基于深度學習的分類器
隨著數據量的增加，淺層分類器的性能會下降，而深度學習方法憑借其強大的表達能力、對大規模數據的適應性和自動學習特征的能力，能夠在一定程度上提升模型的性能。因此深度學習方法在情緒識別研究中更受歡迎。常用的深度學習方法包括多層感知器、卷積神經網絡（convolutional neural network，CNN）、循環神經網絡（recurrent neural network，RNN）等網絡結構。
CNN能夠自動學習時間和空間上的特征，并從原始EEG信號中提取關鍵的特征表示，但對于長期依賴關系的建模可能存在困難。?mer等[23]直接將原始EEG信號輸入CNN分類器中，結果表明三種情緒分類準確度的平均值為88.84%。相比于圖像數據，EEG信號的特點是具有時序性和動態性，CNN處理長序列數據時，會面臨內存消耗和計算復雜度的問題。相比于CNN網絡結構，RNN網絡結構可以逐個時間點處理序列數據，不需要一次性加載全部數據，效率更高。為解決RNN在訓練過程中存在梯度消失和無法有效地利用早期歷史信息的問題，現已提出了一些改進的RNN結構，如LSTM和門控循環單元（gated recurrent unit，GRU）。LSTM，通過記憶和更新信息的方式，可以在有效處理時間序列數據的同時保留過去的信息，因此其非常適合在VR環境中記錄的連續和稀疏數據。Algarni等[24]從數據集中提取特征并通過二進制灰狼優化器進行特征選擇，然后采用雙向LSTM（bidirectional LSTM，BLSTM）網絡，同時從過去和未來的上下文中獲取信息，有效提高了情緒識別的準確度。雖然BLSTM能有效提升準確度，但其面臨著計算開銷大和參數量大的問題，對于VR環境的實時性需求，要在使用過程中進行權衡。相比于LSTM，GRU具有更簡化的結構，使其計算效率更高，更容易訓練和調整，對于在VR環境中需要進行實時反饋的應用更有優勢。Kalpana等[25]分別采用RNN、LSTM和GRU來進行EEG信號的情緒三分類實驗，其中LSTM的分類效果最佳，GRU的識別準確度比LSTM稍低，結果表明在處理大序列時，選擇LSTM算法較好，但當需要更少的內存和需要更快的結果時，可以使用GRU算法。
如果僅使用單一的神經網絡算法進行情緒分類識別，可能會導致EEG信號的時間和空間域信息無法充分利用。趙丹丹等[26]提取DE特征作為初步特征，輸入到CNN-GRU模型中進行深度特征提取，結合歸一化指數函數進行分類，并在上海交通大學情感腦電數據集上驗證，該混合模型得到的平均準確度比單獨使用CNN或GRU算法的平均準確度分別高出5.57%與13.82%，證實了混合神經網絡在情緒分類上適用性和有效性。對本文提及的研究中使用的識別方法及其準確度進行整理，如表2所示。
表2
基于EEG信號的情緒識別結果綜述
Table2.
A review of emotion recognition based on EEG signals
4 虛擬現實環境聯合腦電信號的情緒識別的應用
VR環境是受試者在不能進入真實場景的情形下，成本最低、最逼真、最安全的訓練場景。在VR環境中可以實時地捕捉和分析受試者的EEG信號所反映的情緒狀態，并采取干預措施，給予受試者個性化的VR反饋，從而提高他們的情緒體驗。在醫療康復、教育培訓、游戲娛樂、人機交互和用戶體驗等方面，利用VR技術和EEG信號進行情緒識別的研究正在以驚人的速度融入人們的生活。
4.1 醫療康復領域
利用VR技術和EEG信號可以實現針對運動康復的個性化訓練和評估。Tan等[27]利用VR技術構建了與輕度認知障礙患者普遍相關的特定場景，并對不同場景下患者的EEG信號進行實時檢測并分析，然后采用特定的刺激場景強化記憶康復訓練，在極大程度上提高了康復效果。此外，還可結合VR技術和EEG信號用于心理健康治療，通過分析EEG信號，可以了解患者的情緒狀態和心理狀況，輔助心理咨詢和治療。例如，當受試者處于緊張或焦慮的情緒狀態時，VR系統可以提供冥想、呼吸練習或情緒管理技巧的指導，以幫助患者緩解情緒壓力。
4.2 教育培訓領域
VR學習環境在教育培訓領域的應用前景日趨廣闊。目前，基于EEG信號的教育應用研究較多關注提升專注力的神經反饋訓練，也有研究通過分析EEG信號來監督學生學習時的狀態，包括對學習風格的判別、學習時的情緒變化、注意力水平檢測等。利用EEG信號識別學生的情緒狀態，可以客觀地幫助教育者更好地了解學生的學習需求和情緒狀態，從而提供更加個性化的虛擬學習體驗，提高學生的學習效果和滿意度。例如，Liu等[28]利用VR技術構建了五個不同墻壁顏色的虛擬教室，同時分析了大學生在不同教室中學習的主觀評價和EEG信號。研究結果表明，在冷色墻壁環境中的愉悅程度最高，而在暖色墻壁環境下的注意力和學習表現更好，白墻教室的主觀評價最低。據此，可以通過適當的調整虛擬環境來提升學習狀態。為解決傳統課堂學習中老師難以掌握學生的情緒狀態和真實物理世界難以實現一些學習場景的問題，楊曉哲等[29]提出了VR技術和EEG信號結合的聯動系統，學生只要進入該系統中，所有學習行為都被完全置身于一個數字化的虛擬空間，同時也會檢測學生的EEG信號，然后利用神經網絡算法模型識別出學生的情緒狀態，并根據不同的學習目的對虛擬環境進行逆向設計，給予學生正確的反饋，從而達到提高學生學習效率，幫助教師教學的目的。
4.3 游戲娛樂領域
在游戲娛樂領域，EEG信號可以用于實時捕捉玩家在VR游戲應用中的情緒狀態。通過監測EEG信號的變化，可以識別用戶的興奮、緊張、焦慮等情緒，然后根據情緒的變化來調整游戲場景、音效或難度，以提供更加個性化和沉浸式的娛樂體驗。例如，Yokota等[30]通過測量受試者玩VR射擊游戲時的EEG信號，研究了反饋結果引起的情緒程度與錯誤相關的EEG電位之間的關系。陸鈺鑫[31]通過分析受試者在玩VR射擊游戲時EEG信號的β波、θ波能量，探究VR游戲類型對玩家情緒認知的影響，結果表明受試者在體驗星際類VR射擊游戲時比體驗地面類VR射擊游戲時情緒更好，但伴隨的眩暈感也更強。
4.4 人機交互和用戶體驗領域
在人機交互和用戶體驗領域，準確識別用戶的情緒狀態可以自適應調整虛擬環境的內容和交互方式，提供更加個性化和互動性強的用戶體驗。例如，Armin等[32]運用VR、EEG信號和機器學習方法研究了大腦活動與照明特性之間的關系。他們首先創建了一個可以精確調整照明設置的虛擬室內環境，然后利用機器學習方法對受試者在不同照明環境下的EEG信號進行分析，成功對受試者的照明偏好進行了高度準確的分類。通過上述研究，他們能夠根據期望的理想情緒和功能來調節室內空間的照明條件。另外，還可以將EEG信號的情緒識別用在未來市場洞察中，從顧客的真實感受中進行分析從而幫助企業做出正確的決策。如Schnack等[33]利用VR技術搭建了一個便利店，通過分析EEG信號，比較了運動跟蹤式步行和“即時瞬間移動”技術下購物者的情緒狀態、購買行為指標和店鋪復蓋率。研究結果表明，身體行走缺失對情緒狀態和購物結果沒有影響。Byoungho等[34]通過分析消費者在商店網站和VR商店中的購物時的EEG信號，發現在VR環境中更能喚起消費者積極的情緒，更能吸引消費者。這些發現為VR購物環境設計提供了新的見解。
5 未來展望
情緒識別領域的發展受益于VR技術和EEG信號的結合。VR技術在理論和應用方面都取得了顯著進展，特別是與EEG信號解碼算法的進一步結合，為情緒識別帶來了更高的可操作性和發展潛力。人們可以期待VR結合EEG信號的情緒識別研究在未來取得更大的突破，為人們提供更好的情緒管理和心理健康支持，創造更大的社會效益。本文經過分析，總結了未來發展或將面臨以下更多挑戰。
5.1 優化算法并結合多模態方法，提高情緒識別的精度。
EEG信號是一種具有很強個體差異的信號，這會導致情緒識別算法在不同個體間的適應性有限，影響情緒識別的精度。近年來，遷移學習的方法已被用來緩解EEG信號的個體差異。如，Li等[35]提出了一種多源遷移學習方法。他們結合了源選擇和風格遷移映射，成功地減少了EEG信號差異，與未遷移方法相比，在上海交通大學情感腦電數據集上的三分類準確度提高了12.72 %。郭苗苗等[36]提出全局域適應與相關子域自適應串聯系統來實現跨受試者的情感識別。其在多對一的跨受試者遷移實驗中，識別率達到（84.05±5.91）%，泛化能力顯著提高。多模態信號在情緒識別領域的應用也是一個潛在的研究方向。通過EEG信號和眼電信號、肌電信號等多種生理信號的融合，可以全面地評估情緒狀態。這種綜合考慮不同信號的方法可能有助于提高情緒識別的準確度和可靠性[37]。
此外，混合神經網絡的出現，為后續的研究者提供了新的方向。通過混合神經網絡的融合策略，可以根據具體的情況進行定制和調整，適應不同EEG信號的情緒識別任務，以提高情緒識別的準確度和魯棒性，加強對情緒較小變化的感知能力。為此，研究人員需進一步研究適應性強的情緒識別算法，這將有助于解釋和應用復雜的情緒模式。
5.2 優化硬件設備和模型結構，解決實時性問題
與VR技術結合的多領域應用，可能需要更高的硬件和軟件要求。在VR環境中，EEG信號情緒識別的實時性至關重要，如基于情緒的用戶體驗設計和智能輔助駕駛，都需要快速的實時響應能力。這意味著采集的EEG信號需要及時傳輸給分析系統，快速的信號處理算法需要實時地生成情緒分類結果。這對于結合VR技術的高精度和高度互動的應用來說尚面臨較大挑戰。如果處理延遲較長，可能導致情緒分析結果與用戶當前的體驗和反應失去同步性。為解決延遲性問題，可以使用更快捷的信號采集裝置和高帶寬的傳輸方式，以減少數據采集和傳輸的延遲，從而便于將算法移植到可穿戴設備上，實現實時情緒識別[38]。此外，還可以采用近似實時的方法，例如減少采樣率或利用增量學習等方式，在保持一定準確度的情況下減少分析的時間。
5.3 缺乏權威公開的數據集，需構建完整的虛擬現實環境中腦電信號情緒識別數據集
由于VR和EEG信號相結合進行情緒識別任務的研究領域相對較新，目前還沒有大規模的公開數據集可供研究者使用。因此研究者在設計實驗時往往自行采集數據，導致不同研究團隊使用的數據存在差異，難以進行直接的比較和驗證。因此非常有必要建立權威、公開的VR環境中情緒EEG數據集，并建立統一的實驗數據采集范式，包括刺激材料、任務設計、EEG信號采集等方面的統一標準，從而促進研究成果的共享和比較，推動該領域的發展。此外，相對于傳統的問卷調查和其他方法，深度學習算法在VR環境中的EEG信號情緒識別研究探索較少，當前的研究局限于小樣本和特定情境下的實驗，未來需要更多大樣本、多情境的研究來驗證和推廣這些發現，以確保該研究在實際應用中的可行性和有效性。
5.4 采用多維度刺激構建虛擬現實環境，提升沉浸感和舒適度
目前，情緒識別研究大多局限于讓參與者觀看VR視頻來誘發情緒，這種方法難以根據參與者的實際情緒狀態進行實時調整。因此，建議后續研究可以開展更多的交互式VR場景，增加多維度的刺激，比如觸覺、嗅覺等，使參與者更加身臨其境，以增強情緒的誘發效果，提升干預措施的有效性。雖然VR技術能夠給人身臨其境之感，但一些受試者在VR場景中會不同程度地感到惡心、眩暈、疲勞或頭痛，這些均會直接影響情緒識別結果。為了提升舒適度，需要注意設計合適的場景和運動模式，并在實驗前對參與者進行訓練，減少不適感的發生，從而更好地激發受試者的情緒，提高情緒識別的準確度和可靠性。
6 總結
本文梳理了近五年在VR環境中EEG信號情緒識別方面的相關研究。首先，介紹了與VR技術和EEG信號情緒識別相關的理論基礎；其次，概述了VR環境中EEG信號的情緒識別流程；然后，重點分析了當前基于EEG信號的情緒識別方法，以及在VR環境中利用EEG信號進行情緒識別的應用；最后，對該領域存在的問題進行展望。目前的研究表明，在VR環境中能夠激發出受試者更強烈的情緒，并且可以實時根據用戶的情緒識別結果調整虛擬環境的設置。通過實時調整虛擬環境設置、提供個性化的情緒干預措施，能夠有效調節受試者的情緒。然而，情緒調節的有效性受到多種因素的影響，包括個體差異、EEG信號的準確度及實時性、干預手段的設計和實施方式等。因此，建議今后的研究關注上述問題，以提高情緒調節效果的穩定性和普適性。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：楊文陽負責提出論文主題、設計思路、結構，文章部分內容撰寫和修改；徐可欣負責文獻查新、研讀、文章部分內容整理和審閱修改工作。
0 引言
情緒，是個體對事物的主觀認知體驗及相應的行為反應。理解和管理情緒對于個人的心理健康和社會適應具有重要意義。隨著心理健康觀念的逐步普及，社會上對機體情緒的關注也日益廣泛，情緒識別已成為了研究的熱點。腦電（electroencephalogram，EEG）信號是通過采集腦部神經元的電活動并記錄所得的一種生理信號，具有客觀、時間分辨率好、數據采集和傳輸快、獲取成本低等優勢，常應用于情緒識別領域[1]。虛擬現實（virtual reality，VR）技術，利用計算機生成的視聽、觸覺和運動等感官輸入，可以模擬復雜、現實和不現實的情境。通過VR技術，用戶使用頭戴式顯示器、手柄、手套等設備，能夠在虛擬世界中感受到真實世界的各種情緒和體驗[2]。隨著VR技術的發展以及EEG信號采集設備的廣泛應用，虛擬移動、腦機接口等多通道交互技術研究也獲得越來越多的關注和重視[3]。將VR技術與EEG信號、機器學習方法相結合，可以實時地捕捉用戶在VR環境中的情緒狀態。例如，Hofmann等[4]通過運用VR技術呈現的環境向參與者施加情緒刺激，并在實驗中通過提取和處理參與者的EEG信號來進行情緒分類。此外，通過分析EEG信號，可以識別出與不同情緒狀態相關的特征模式，便于更深入地了解用戶在VR環境中實時的情緒狀態，從而實現更加智能化、個性化的虛擬體驗和互動。這類研究不僅可以應用于娛樂、游戲和教育培訓等領域，還在商業、醫療、人機交互等領域有著廣闊的應用前景。
本文以EEG信號、VR、情緒識別等作為關鍵詞分別在知網、愛思唯爾、施普林格、科學引文索引等數據庫進行文獻檢索。從2017年開始，相關領域的發文量穩步增長，在2021年發文量達到了13篇。隨后，在2022年開始，發文量略微下降，但仍然保持在較高水平，這表明該領域仍然是一個研究熱點。本文對近五年內沉浸式虛擬環境中EEG信號的情緒識別相關文獻進行梳理，系統地歸納沉浸式虛擬環境中EEG信號的情緒識別所涉及的關鍵思路和方法，簡要回顧了該領域的研究現狀、存在的問題和未來研究方向，以便相關研究人員把握研究熱點和發展趨勢，促使研究人員在該領域取得更加前沿的創新成果。
1 相關背景
1.1 情緒量化模型分類
人類擁有多種情緒，通過情緒建模，研究者能夠更深入地理解情緒的本質和影響，推動人類與機器之間更加智能和情感化的交互。目前，一般采用離散情緒模型和連續情緒模型來描述情緒。
1.1.1 離散情緒模型
離散情緒模型認為，情緒空間是由離散、有限的不同類別情緒組成，每個類別表示著一個具體的情緒狀態。Ekman[5]在20世紀70年代提出的情緒模型包含了六種基本情緒，分別是高興、悲傷、驚訝、恐懼、憤怒和厭惡。Xie等[6]表明，在VR和二維屏幕模式下誘發相同離散情緒，其差異具有統計學意義，而VR模式下大腦激活更為強烈。離散模型簡潔直觀，但無法定量分析，能描述的情緒狀態有限。因此，學者們傾向于用連續情緒模型來描述情緒。
1.1.2 連續情緒模型
連續情緒模型認為，每種情緒可以在空間中被表示為一個點，該點的位置反映了情緒在不同維度上的特征。在情緒的二維分類模型中具有代表性的是Russell[7]提出的環形情緒分類模型，如圖1所示。Russell[7]認為，情緒是由喚醒度和效價兩個維度構成：效價，描述了情緒的愉悅程度，從上到下的縱軸表示情緒由積極變為消極狀態；喚醒度，描述了情緒狀態的強度；然而，二維情緒模型可能會導致不同的情緒位于同一區域而難以區分。為了彌補該模型的不足，Russell[7]在二維模型的基礎上擴展了支配度維度，該維度描述了當前情緒主體在某種情緒下的自主感和控制感。有些研究中還會添加喜好度這一維度，喜好度有助于了解人們對于特定情緒狀態的偏好程度，從而幫助研究者更好地理解情緒。
圖1
基于Russell的環形情緒分類模型
Figure1.
Russell's circular emotion classification model
1.2 虛擬現實環境中腦電信號的情緒識別流程
本節主要介紹通過VR技術來誘發情緒以及利用EEG信號進行情緒識別的流程。目前，由于還沒有大規模的公開數據集可供研究者使用，研究者通常自行設計VR場景誘發受試者的情緒，與此同時采集受試者的EEG信號以供研究。
在VR環境中，受試者的EEG信號易受到運動偽跡的干擾，因此需要對原始信號進行預處理。偽跡的去除方法主要包括：濾波、人工去燥、精細去噪等。對于那些不易通過濾波去除的偽跡需采用精細去噪，一般是通過獨立成分分析（independent component analysis，ICA）等多種方法提取出真實的EEG信號。Ricci等[8]在研究EEG信號與基于VR的飛機艙環境舒適感之間關系時，用0.75～60.00 Hz帶通濾波器加上50.00 Hz的凹陷波濾波器對EEG信號進行濾波，去除與其他電極之間的交互作用相關的信號成分，再通過ICA去除偽跡，得到了較好的去偽跡效果。在對EEG信號進行預處理后還需進行特征提取，最后進行情緒分類識別。隨后，在識別出受試者在VR環境中的的情緒狀態后，設計者可以根據數據反饋適時調整VR環境。即，通過分析VR環境中任何受試者所看到的事物、聽到的聲音、交互的對象等，選擇性增加個性化條件變化，對VR環境中的內容進行干預。如圖2所示，是VR環境中基于EEG信號的情緒識別的基本思路框圖。
圖2
VR環境中基于EEG信號的情緒識別
Figure2.
Emotion recognition based on EEG signals in VR environment
2 情緒誘發
情緒誘發方法主要分為主動誘發和被動誘發兩類[9]。主動誘發，是個體通過自身思考或行動來引發情緒。例如，讓受試者擺出相應的表情或通過回憶和想象特定的情境事件來激發情緒，但這種方法難以保證受試者能找到對應的情景事件，以及誘發出情緒的強度和持續時間，因此在情緒識別研究中多采用被動誘發的方法。常用的被動誘發方法是使用語音、圖像等外部刺激，來引發受試者不同的情緒。然而，這些傳統誘發方法與VR誘發方法相比，在誘發效果和可控性方面有一定的局限性。而利用VR技術，人們可以更直接地感受到環境中的聲音、光線、動態等刺激，從而更容易產生情緒反應。目前，最常用的VR誘發方法為VR全景視頻。例如，Zhang等[10]通過構建與歌曲情感和內容相吻合的VR全景視頻幫助聲樂表演者提升其演唱效果，并將其與傳統主動想象的情緒誘發方法進行對比，結果表明借助VR技術的訓練手段可以達到更好的情緒誘發效果。Sofian等[11]讓受試者使用自我評估人體模型完成情緒的自我評估，根據所獲得的喚醒度和效價水平的指示，選取能有效誘發不同情緒的視頻，然后使用VR頭戴設備誘發情緒，用支持向量機（support vector machine，SVM）對處理后的EEG信號進行情緒識別，該研究在個體間的識別準確度取得良好效果。除了運用VR視頻來進行情緒誘發外，還可結合聽覺、視覺、嗅覺和互動元素來設計逼真的VR場景，從而更加全面地刺激和改善受試者的情緒狀態。通過VR場景誘發情緒狀態，還可以用于情緒調節和情緒訓練，進而更好地滿足個性化的情緒變化需求。例如，聶瑋等[12]通過分析受試者調查問卷和不同VR環境中誘發的EEG信號，發現當全景綠視率達到60%時，受試者愉悅度最高，表明通過改變全景綠視率環境可以調節受試者的愉悅度。
3 腦電信號的情緒特征提取及分類識別方法
3.1 腦電信號的情緒特征提取
在預處理后的EEG信號中存在大量與情緒無關的冗余信息，因此還需要進行特征提取。常用的分析方法包括時域、頻域、時頻域和空間域分析。在情緒識別研究中，運用時域特征的優勢在于計算速度快，適用于在線情緒識別，但無法捕捉到EEG信號的頻率信息及時變性。常用的時域分析方法包括信號統計量、分形維數、赫斯特（Hurst）指數等。但目前對于時域特征的分析缺乏統一的規范和標準。有研究者使用香農熵和Hurst指數分析記錄了二維環境和VR條件下的EEG信號的信息量和記憶效果。分析結果表明，VR條件下觀看視頻的EEG信號的信息和記憶效果顯著增加[13]。
與時域分析相比，頻域特征的優勢在于可以反映EEG信號在不同頻率范圍內的能量分布和頻率特性，從而揭示情緒表達在特定頻率帶上的差異或相關性，為情緒識別研究提供重要的信號指標；但其對于實時應用需要較高的計算復雜度。頻域分析提取頻域特征時，首先用傅里葉變換等方法將EEG信號從時域轉換到頻域，然后根據實際需求，提取不同情緒對應的頻段信息。典型的頻域特征包括功率譜密度（power spectral density，PSD）、頻帶能量、微分熵（differential entropy，DE）等。王晨[14]提取受試者在傳統屏幕和VR動態場景下EEG信號的α和β波段的PSD特征，發現在VR動態場景下可以帶給人最積極的體驗，但是也會增大受試者的認知負荷，大腦活動也變得更加活躍和頻繁。Peng等[15]利用半監督學習將未標記EEG信號數據引入模型訓練，發現γ頻段、左右顳葉、前額葉和（中央）頂葉與情緒發生的相關性更強。Raheel等[16]結合了觸覺和傳統多媒體剪輯的方式來觀察受試者的情緒反應，并從每個EEG通道的五個不同波段中提取頻域特征，再用機器學習算法進行情緒四分類研究，結果表明與時域特征相比，頻域特征更適合于對多種感覺介質的情緒分類。
傳統的時域特征或頻域特征只能提供有限的信號描述，而時頻域特征可以同時考慮EEG信號在時域和頻域上的動態變化特征，有助于提高情緒識別的準確度，但其計算復雜度更高。常用的時頻域分析法有短時傅里葉變換（short-time Fourier transform，STFT）、小波變換（wavelet transform，WT）等。其中，WT可以同時在時域和頻域上進行多尺度的細化分析，適用于非平穩信號，并且能夠捕捉到信號在不同頻率上的瞬時變化。Cao等[17]利用WT對三類情緒標簽下的EEG信號進行分解，提取了四個不同頻帶的時頻信息，并計算它們在時頻域的統計特性，利用具有時頻域特征的長短時記憶（long short-term memory，LSTM）網絡提取深層特征的序列信息，結合歸一化指數函數對情緒進行分類，獲得了較好的分類效果。
在情緒識別任務中，為充分利用多維信號中各通道之間的空間相關性。還可采用空間域分析法，最常用的算法是共空間模式（common spatial pattern，CSP）及其變體。毛玲等[18]用CSP對離線EEG信號數據進行訓練，獲得了一組空間濾波器矩陣，然后運用訓練好的分類器在線對EEG信號進行采集和分類，并實時轉換為飛行控制指令，結果表明在VR環境中能夠讓受試者產生更具激勵性的EEG信號響應。針對CSP方法缺乏頻域信息等問題，莫云[19]使用濾波器組方法彌補了CSP的頻域信息，同時使用對數帶通功率代替對數方差特征，該方法融合了空域和頻域信息，不僅提升了分類性能，還縮短了特征提取所需的時間。空間域的優勢在于，可以提供大量的信息，能夠捕捉到EEG信號在空間上的分布情況，從而更全面地反映情緒特征。但它需要較多的EEG信號采集通道，會增加實驗的復雜性和成本。其次，空間域特征在處理大規模數據時可能會出現維度災難的問題，導致特征提取和分析的困難。
在不同的應用場景需要根據實際情況運用不同的特征提取方法。例如，一些情緒分類任務可能更關注頻域特征，而情緒識別任務可能更側重于時頻域特征的變化。如果特征值維數過高，可以考慮進行降維處理以減少計算負荷和特征冗余。常用的降維方法包括主成分分析（principal component analysis，PCA）、線性判別分析（linear discriminant analysis，LDA）等，它們可以將高維特征映射到更低維度的特征空間中，同時盡量保持特征的區分性。降維處理會損失一部分信息，但可能有利于提高后續分類和識別過程的效率。
3.2 腦電信號的情緒分類識別
分類識別是EEG信號情緒識別研究的關鍵環節，在選取包含情緒信息量最大的特征后，要選擇合適的分類器對EEG信號進行情緒識別。本節將從傳統的淺分類器和基于深度學習的分類器兩個方面對情緒識別方法進行對比總結。
3.2.1 傳統的淺分類器
傳統的淺分類器主要基于特征工程和機器學習技術，不需要調整復雜的參數。常用的分類算法有SVM、樸素貝葉斯（naive Bayes，NB） 、LDA、 K-最近鄰（k-nearest neighbors，KNN） 、決策樹（decision tree，DT）、隨機森林（random forest，RF）等。
SVM在EEG信號情緒識別中具有較高的性能，能夠處理高維數據和非線性問題，適用于少樣本情況，并且對于樣本數量的增加不會導致過擬合。Hou等[20]在基于氣味誘發的EEG信號情緒識別研究中，采用平均頻帶劃分法提取PSD特征，然后同時使用SVM、反向傳播神經網絡（back propagation neural network，BPNN）等算法分別進行情緒二分類和五分類實驗，結果表明SVM分類器在分類準確度上表現最佳。
KNN算法簡單易實現、無需訓練過程、適用于多類別問題。但其計算復雜度較高，對于大規模數據集的處理效率較低，在不平衡數據集和特征維度較高的情況下可能會受到影響，其精度可能會由于有噪聲或不相關的特征的存在而嚴重降低。Suhaimi等[21]讓受試者觀察VR營造的周圍區域的同時采集其EEG信號，然后使用KNN和SVM方法對受試者的心理狀態進行分析，平均準確度均達到了82%。
RF利用DT的集成可以克服單個DT的過擬合問題，有效提高整體模型的準確度和魯棒性。王發旺等[22]基于上海交通大學情感腦電數據集探索了跨受試者情緒識別模型，分別使用KNN、SVM、深度置信網絡（deep belief networks，DBN）、二次判別分析（ quadratic discriminate analysis，QDA）和RF進行情緒三分類實驗，結果表明，RF對負性和中性情緒的識別率較高。
綜上，對本文參考文獻中出現的傳統淺分類器在VR環境中EEG信號情緒識別研究中存在的優缺點及魯棒性進行整理比較，如表1所示。
表1
傳統的淺分類算法比較
Table1.
Comparison of traditional shallow classification algorithms
3.2.2 基于深度學習的分類器
隨著數據量的增加，淺層分類器的性能會下降，而深度學習方法憑借其強大的表達能力、對大規模數據的適應性和自動學習特征的能力，能夠在一定程度上提升模型的性能。因此深度學習方法在情緒識別研究中更受歡迎。常用的深度學習方法包括多層感知器、卷積神經網絡（convolutional neural network，CNN）、循環神經網絡（recurrent neural network，RNN）等網絡結構。
CNN能夠自動學習時間和空間上的特征，并從原始EEG信號中提取關鍵的特征表示，但對于長期依賴關系的建模可能存在困難。?mer等[23]直接將原始EEG信號輸入CNN分類器中，結果表明三種情緒分類準確度的平均值為88.84%。相比于圖像數據，EEG信號的特點是具有時序性和動態性，CNN處理長序列數據時，會面臨內存消耗和計算復雜度的問題。相比于CNN網絡結構，RNN網絡結構可以逐個時間點處理序列數據，不需要一次性加載全部數據，效率更高。為解決RNN在訓練過程中存在梯度消失和無法有效地利用早期歷史信息的問題，現已提出了一些改進的RNN結構，如LSTM和門控循環單元（gated recurrent unit，GRU）。LSTM，通過記憶和更新信息的方式，可以在有效處理時間序列數據的同時保留過去的信息，因此其非常適合在VR環境中記錄的連續和稀疏數據。Algarni等[24]從數據集中提取特征并通過二進制灰狼優化器進行特征選擇，然后采用雙向LSTM（bidirectional LSTM，BLSTM）網絡，同時從過去和未來的上下文中獲取信息，有效提高了情緒識別的準確度。雖然BLSTM能有效提升準確度，但其面臨著計算開銷大和參數量大的問題，對于VR環境的實時性需求，要在使用過程中進行權衡。相比于LSTM，GRU具有更簡化的結構，使其計算效率更高，更容易訓練和調整，對于在VR環境中需要進行實時反饋的應用更有優勢。Kalpana等[25]分別采用RNN、LSTM和GRU來進行EEG信號的情緒三分類實驗，其中LSTM的分類效果最佳，GRU的識別準確度比LSTM稍低，結果表明在處理大序列時，選擇LSTM算法較好，但當需要更少的內存和需要更快的結果時，可以使用GRU算法。
如果僅使用單一的神經網絡算法進行情緒分類識別，可能會導致EEG信號的時間和空間域信息無法充分利用。趙丹丹等[26]提取DE特征作為初步特征，輸入到CNN-GRU模型中進行深度特征提取，結合歸一化指數函數進行分類，并在上海交通大學情感腦電數據集上驗證，該混合模型得到的平均準確度比單獨使用CNN或GRU算法的平均準確度分別高出5.57%與13.82%，證實了混合神經網絡在情緒分類上適用性和有效性。對本文提及的研究中使用的識別方法及其準確度進行整理，如表2所示。
表2
基于EEG信號的情緒識別結果綜述
Table2.
A review of emotion recognition based on EEG signals
4 虛擬現實環境聯合腦電信號的情緒識別的應用
VR環境是受試者在不能進入真實場景的情形下，成本最低、最逼真、最安全的訓練場景。在VR環境中可以實時地捕捉和分析受試者的EEG信號所反映的情緒狀態，并采取干預措施，給予受試者個性化的VR反饋，從而提高他們的情緒體驗。在醫療康復、教育培訓、游戲娛樂、人機交互和用戶體驗等方面，利用VR技術和EEG信號進行情緒識別的研究正在以驚人的速度融入人們的生活。
4.1 醫療康復領域
利用VR技術和EEG信號可以實現針對運動康復的個性化訓練和評估。Tan等[27]利用VR技術構建了與輕度認知障礙患者普遍相關的特定場景，并對不同場景下患者的EEG信號進行實時檢測并分析，然后采用特定的刺激場景強化記憶康復訓練，在極大程度上提高了康復效果。此外，還可結合VR技術和EEG信號用于心理健康治療，通過分析EEG信號，可以了解患者的情緒狀態和心理狀況，輔助心理咨詢和治療。例如，當受試者處于緊張或焦慮的情緒狀態時，VR系統可以提供冥想、呼吸練習或情緒管理技巧的指導，以幫助患者緩解情緒壓力。
4.2 教育培訓領域
VR學習環境在教育培訓領域的應用前景日趨廣闊。目前，基于EEG信號的教育應用研究較多關注提升專注力的神經反饋訓練，也有研究通過分析EEG信號來監督學生學習時的狀態，包括對學習風格的判別、學習時的情緒變化、注意力水平檢測等。利用EEG信號識別學生的情緒狀態，可以客觀地幫助教育者更好地了解學生的學習需求和情緒狀態，從而提供更加個性化的虛擬學習體驗，提高學生的學習效果和滿意度。例如，Liu等[28]利用VR技術構建了五個不同墻壁顏色的虛擬教室，同時分析了大學生在不同教室中學習的主觀評價和EEG信號。研究結果表明，在冷色墻壁環境中的愉悅程度最高，而在暖色墻壁環境下的注意力和學習表現更好，白墻教室的主觀評價最低。據此，可以通過適當的調整虛擬環境來提升學習狀態。為解決傳統課堂學習中老師難以掌握學生的情緒狀態和真實物理世界難以實現一些學習場景的問題，楊曉哲等[29]提出了VR技術和EEG信號結合的聯動系統，學生只要進入該系統中，所有學習行為都被完全置身于一個數字化的虛擬空間，同時也會檢測學生的EEG信號，然后利用神經網絡算法模型識別出學生的情緒狀態，并根據不同的學習目的對虛擬環境進行逆向設計，給予學生正確的反饋，從而達到提高學生學習效率，幫助教師教學的目的。
4.3 游戲娛樂領域
在游戲娛樂領域，EEG信號可以用于實時捕捉玩家在VR游戲應用中的情緒狀態。通過監測EEG信號的變化，可以識別用戶的興奮、緊張、焦慮等情緒，然后根據情緒的變化來調整游戲場景、音效或難度，以提供更加個性化和沉浸式的娛樂體驗。例如，Yokota等[30]通過測量受試者玩VR射擊游戲時的EEG信號，研究了反饋結果引起的情緒程度與錯誤相關的EEG電位之間的關系。陸鈺鑫[31]通過分析受試者在玩VR射擊游戲時EEG信號的β波、θ波能量，探究VR游戲類型對玩家情緒認知的影響，結果表明受試者在體驗星際類VR射擊游戲時比體驗地面類VR射擊游戲時情緒更好，但伴隨的眩暈感也更強。
4.4 人機交互和用戶體驗領域
在人機交互和用戶體驗領域，準確識別用戶的情緒狀態可以自適應調整虛擬環境的內容和交互方式，提供更加個性化和互動性強的用戶體驗。例如，Armin等[32]運用VR、EEG信號和機器學習方法研究了大腦活動與照明特性之間的關系。他們首先創建了一個可以精確調整照明設置的虛擬室內環境，然后利用機器學習方法對受試者在不同照明環境下的EEG信號進行分析，成功對受試者的照明偏好進行了高度準確的分類。通過上述研究，他們能夠根據期望的理想情緒和功能來調節室內空間的照明條件。另外，還可以將EEG信號的情緒識別用在未來市場洞察中，從顧客的真實感受中進行分析從而幫助企業做出正確的決策。如Schnack等[33]利用VR技術搭建了一個便利店，通過分析EEG信號，比較了運動跟蹤式步行和“即時瞬間移動”技術下購物者的情緒狀態、購買行為指標和店鋪復蓋率。研究結果表明，身體行走缺失對情緒狀態和購物結果沒有影響。Byoungho等[34]通過分析消費者在商店網站和VR商店中的購物時的EEG信號，發現在VR環境中更能喚起消費者積極的情緒，更能吸引消費者。這些發現為VR購物環境設計提供了新的見解。
5 未來展望
情緒識別領域的發展受益于VR技術和EEG信號的結合。VR技術在理論和應用方面都取得了顯著進展，特別是與EEG信號解碼算法的進一步結合，為情緒識別帶來了更高的可操作性和發展潛力。人們可以期待VR結合EEG信號的情緒識別研究在未來取得更大的突破，為人們提供更好的情緒管理和心理健康支持，創造更大的社會效益。本文經過分析，總結了未來發展或將面臨以下更多挑戰。
5.1 優化算法并結合多模態方法，提高情緒識別的精度。
EEG信號是一種具有很強個體差異的信號，這會導致情緒識別算法在不同個體間的適應性有限，影響情緒識別的精度。近年來，遷移學習的方法已被用來緩解EEG信號的個體差異。如，Li等[35]提出了一種多源遷移學習方法。他們結合了源選擇和風格遷移映射，成功地減少了EEG信號差異，與未遷移方法相比，在上海交通大學情感腦電數據集上的三分類準確度提高了12.72 %。郭苗苗等[36]提出全局域適應與相關子域自適應串聯系統來實現跨受試者的情感識別。其在多對一的跨受試者遷移實驗中，識別率達到（84.05±5.91）%，泛化能力顯著提高。多模態信號在情緒識別領域的應用也是一個潛在的研究方向。通過EEG信號和眼電信號、肌電信號等多種生理信號的融合，可以全面地評估情緒狀態。這種綜合考慮不同信號的方法可能有助于提高情緒識別的準確度和可靠性[37]。
此外，混合神經網絡的出現，為后續的研究者提供了新的方向。通過混合神經網絡的融合策略，可以根據具體的情況進行定制和調整，適應不同EEG信號的情緒識別任務，以提高情緒識別的準確度和魯棒性，加強對情緒較小變化的感知能力。為此，研究人員需進一步研究適應性強的情緒識別算法，這將有助于解釋和應用復雜的情緒模式。
5.2 優化硬件設備和模型結構，解決實時性問題
與VR技術結合的多領域應用，可能需要更高的硬件和軟件要求。在VR環境中，EEG信號情緒識別的實時性至關重要，如基于情緒的用戶體驗設計和智能輔助駕駛，都需要快速的實時響應能力。這意味著采集的EEG信號需要及時傳輸給分析系統，快速的信號處理算法需要實時地生成情緒分類結果。這對于結合VR技術的高精度和高度互動的應用來說尚面臨較大挑戰。如果處理延遲較長，可能導致情緒分析結果與用戶當前的體驗和反應失去同步性。為解決延遲性問題，可以使用更快捷的信號采集裝置和高帶寬的傳輸方式，以減少數據采集和傳輸的延遲，從而便于將算法移植到可穿戴設備上，實現實時情緒識別[38]。此外，還可以采用近似實時的方法，例如減少采樣率或利用增量學習等方式，在保持一定準確度的情況下減少分析的時間。
5.3 缺乏權威公開的數據集，需構建完整的虛擬現實環境中腦電信號情緒識別數據集
由于VR和EEG信號相結合進行情緒識別任務的研究領域相對較新，目前還沒有大規模的公開數據集可供研究者使用。因此研究者在設計實驗時往往自行采集數據，導致不同研究團隊使用的數據存在差異，難以進行直接的比較和驗證。因此非常有必要建立權威、公開的VR環境中情緒EEG數據集，并建立統一的實驗數據采集范式，包括刺激材料、任務設計、EEG信號采集等方面的統一標準，從而促進研究成果的共享和比較，推動該領域的發展。此外，相對于傳統的問卷調查和其他方法，深度學習算法在VR環境中的EEG信號情緒識別研究探索較少，當前的研究局限于小樣本和特定情境下的實驗，未來需要更多大樣本、多情境的研究來驗證和推廣這些發現，以確保該研究在實際應用中的可行性和有效性。
5.4 采用多維度刺激構建虛擬現實環境，提升沉浸感和舒適度
目前，情緒識別研究大多局限于讓參與者觀看VR視頻來誘發情緒，這種方法難以根據參與者的實際情緒狀態進行實時調整。因此，建議后續研究可以開展更多的交互式VR場景，增加多維度的刺激，比如觸覺、嗅覺等，使參與者更加身臨其境，以增強情緒的誘發效果，提升干預措施的有效性。雖然VR技術能夠給人身臨其境之感，但一些受試者在VR場景中會不同程度地感到惡心、眩暈、疲勞或頭痛，這些均會直接影響情緒識別結果。為了提升舒適度，需要注意設計合適的場景和運動模式，并在實驗前對參與者進行訓練，減少不適感的發生，從而更好地激發受試者的情緒，提高情緒識別的準確度和可靠性。
6 總結
本文梳理了近五年在VR環境中EEG信號情緒識別方面的相關研究。首先，介紹了與VR技術和EEG信號情緒識別相關的理論基礎；其次，概述了VR環境中EEG信號的情緒識別流程；然后，重點分析了當前基于EEG信號的情緒識別方法，以及在VR環境中利用EEG信號進行情緒識別的應用；最后，對該領域存在的問題進行展望。目前的研究表明，在VR環境中能夠激發出受試者更強烈的情緒，并且可以實時根據用戶的情緒識別結果調整虛擬環境的設置。通過實時調整虛擬環境設置、提供個性化的情緒干預措施，能夠有效調節受試者的情緒。然而，情緒調節的有效性受到多種因素的影響，包括個體差異、EEG信號的準確度及實時性、干預手段的設計和實施方式等。因此，建議今后的研究關注上述問題，以提高情緒調節效果的穩定性和普適性。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：楊文陽負責提出論文主題、設計思路、結構，文章部分內容撰寫和修改；徐可欣負責文獻查新、研讀、文章部分內容整理和審閱修改工作。
