隨著虛擬現實(VR)技術的廣泛應用和相關設備的迅速普及,長時間使用 VR 技術引起的腦疲勞問題受到廣泛關注。本研究結合主觀疲勞量表與腦電信號腦功能網絡特征參數,研究 VR 技術引起的腦疲勞問題。隨機選取 16 名健康受試者,同步采集觀看相同題材的傳統平面(TP)視頻及 VR 視頻時的腦電信號,觀看視頻前后填寫主觀疲勞量表,利用互相關方法對所采集到的腦電信號進行關聯特性分析,構建兩種視覺體驗前后的腦功能網絡,并從復雜網絡的角度,對比分析平均度、平均聚類系數、平均路徑長度、平均全局效率和“小世界”屬性等腦網絡特征參數。結果發現,觀看視頻后的量表分值均大于觀看前,并且從主觀感受上,受試者觀看 VR 視頻比觀看 TP 視頻更容易產生疲勞感;觀看 VR 和 TP 視頻后,腦網絡互相關系數、平均度值、平均聚類系數和平均全局效率值均比觀看視頻前顯著降低,平均路徑長度值顯著升高,“小世界”屬性顯著減小;并且相比觀看 TP 視頻,觀看 VR 視頻后腦網絡特征參數變化量更大,且差異具有統計學意義(P < 0.05)。通過本研究結果,或可為分析和評價 VR 視覺體驗引發的腦疲勞提供理論依據和試驗參考。
引用本文: 張天恒, 王磊, 郭苗苗, 徐桂芝. 虛擬現實視覺體驗對腦功能網絡的影響. 生物醫學工程學雜志, 2020, 37(2): 251-261. doi: 10.7507/1001-5515.201812027 復制
版權信息: ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有,未經授權不得轉載、改編
引言
虛擬現實(virtual reality,VR)技術是一種新型的人機交互技術,可為用戶提供視、聽、體等感官的模擬體驗。隨著 VR 技術的發展和 VR 產品的普及,VR 技術已經涉及到人們日常生活的方方面面,并被廣泛運用到醫療、工程、軍事、航空、教育、娛樂等諸多領域[1-3]。隨之而來的是,許多使用者反映使用 VR 設備一段時間后容易產生眼睛不適、眩暈和疲勞等癥狀,因此 VR 技術對人體健康的影響引起廣泛關注。探索 VR 視覺體驗與腦疲勞的關系,并研究可監測 VR 技術引起腦疲勞程度的方法,具有重要的研究意義和參考價值。
目前,研究人體腦疲勞程度主要通過主觀評價和客觀分析兩種方式。主觀評價主要通過主觀問卷來獲得受試者的主觀疲勞狀態,疲勞程度指標包括評估眼壓、注意力集中程度、頭痛程度等[4]。雖然主觀評價是評價一個人的疲勞狀態的可靠方法,但易受個體差異影響,評價標準不統一[5]。而采用客觀分析的方式中,檢測腦電圖(electroencephalogram,EEG)信號已成為監測疲勞程度的金標準[6]。例如,王利等[7]研究駕駛疲勞時發現,EEG 信號的不同節律隨疲勞程度的加深而產生不同變化。張力新等[8]研究體腦疲勞交互影響時,將 EEG 信號作為腦疲勞監測的一個重要指標。楊碩等[9]采用相位—幅值耦合方法對腦疲勞前后的 theta 和 gamma 節律的 EEG 信號進行研究,解釋了腦疲勞對大腦信息傳遞機制的影響。
然而,大腦的認知功能執行需要多個腦區相互協作共同完成,因此從復雜網絡的角度研究大腦功能是十分必要的。腦網絡是將大腦看作復雜的統一整體,來研究不同時空尺度上腦網絡拓撲結構、動力學屬性等內容,它為理解腦的信息加工過程及腦的高級功能提供了全新的視角[10-11]。目前,腦網絡一方面已經被應用于大腦信息處理機制的研究,包括腦信息處理模式及認知功能等重要問題[12-14];另一方面,有關各種神經、精神疾病的研究也廣泛采用大腦功能網絡來進行分析[15-17]。陳潤格等[18]進行了工作記憶任務過程中腦網絡的研究,結果表明,隨著認知任務維度升級腦力負荷增加,EEG 信號中 alpha、beta 波段的功率比下降,腦網絡中各腦區之間的信息流增強且不同維度任務的信息流向與當前任務緊密相關。孟桂芳等[19]利用腦網絡方法,通過對疲勞前后腦網絡的分析比較,提取了一個N-back 試驗下與腦疲勞相關的特異性腦網絡結構。現階段,對于由 VR 視覺體驗引發的腦疲勞問題已引發關注,例如,Guo 等[20]通過主觀量表評價 VR 環境中,頭戴式設備對受試者疲勞造成的影響。許昊駿[21]通過相機運動、觀眾視角等 VR 視頻拍攝和觀看角度,研究 VR 視頻引起主觀疲勞的評估方法,并對引入 EEG 信號客觀評價標準提出展望。Liu 等[22]利用遞歸模糊神經網絡來評估 VR 動態駕駛環境中駕駛員的疲勞程度。然而,目前尚未確立統一有效的評價方法和手段,所以腦網絡的研究可為分析 VR 視覺體驗引發的腦疲勞研究提供新的思路。
本文將結合主觀疲勞量表和客觀 EEG 信號指標來研究 VR 視覺體驗引發的腦疲勞。在受試者觀看 VR 視頻和觀看傳統平面(traditional plane,TP)視頻前后填寫疲勞量表,同步采集觀看視頻過程中的 EEG 信號,并基于 EEG 信號數據構建受試者的腦功能網絡,利用復雜網絡理論對比分析受試者觀看 VR 視頻和觀看 TP 視頻前后的腦功能網絡參數,并結合受試者的主觀疲勞感受,探索 VR 視覺體驗引發腦疲勞的有效監測方法,進而為建立腦疲勞的評價指標以及推動 VR 設備合理健康的應用起到積極作用。
1 試驗內容和處理方法
1.1 試驗對象
本研究招募的受試者為 16 名健康在校大學生,年齡為(25 ± 3)歲,無眼部和腦部疾病史,矯正視力 1.0,均為右利手。受試者在試驗前均已知曉試驗內容,并簽署了知情同意書,研究要求受試者試驗前 24 h 內不能飲用酒、濃茶或咖啡等物質,并保證充足的睡眠時間。本研究經河北工業大學生物醫學倫理委員會審核通過(HEBUThMEC2019016)。
1.2 試驗設備
試驗中,觀看視頻采用 TP 和 VR 兩種屏幕顯示方式,分別通過 22 寸液晶顯示器(ThinkVision,聯想,中國)和 VR 眼鏡(PLAY2,小米,中國)實現。試驗采用可穿戴無線 EEG 信號采集系統(Neuracle,博睿康,中國)進行 EEG 數據采集,該系統配有 32 導聯電極帽、無線主機放大器和電腦同步軟件組成,電極帽電極排列方式按照 10-20 國際標準,主機放大器可固定在電極帽上,用于獲取 EEG 信號電位信息,并用無線保真(wireless fidelity,Wi-Fi)模塊通過智能同步中心將采集數據傳送到電腦上,通過電腦同步軟件進行數據顯示和存儲。參考電極為 CPz,位置位于頭頂中心,電極 Cz 和 Pz 之間,采樣頻率為 250 Hz,試驗過程中電極阻抗均保持在 5 kΩ 以下。
1.3 試驗方法
受試者在試驗前已熟知試驗的詳細流程和注意事項,每個受試者需完成兩次試驗任務,試驗時間為連續兩天的同一時間段,每次任務分別觀看相同題材內容的 TP 視頻和 VR 視頻,視頻內容為《復仇者聯盟》和《復仇者聯盟 2》(正版購買,非商業用途),其中 8 名受試者第一天觀看 VR 視頻,另外 8 名受試者第一天觀看 TP 視頻。
本文從主觀和客觀兩方面對觀看 VR 視頻引起的腦疲勞進行分析,主觀評價主要是通過受試者在試驗前后填寫主觀量表,獲得受試者是否疲勞的主觀感受;客觀分析主要是通過采集受試者的 EEG 信號,并對 EEG 信號進行分析和處理,從 EEG 數據的角度進行客觀剖析。
本文主觀評價采用了兩種主觀疲勞量表,一種是由 Rechichi 等[23]提出的判斷疲勞標準的視屏終端綜合癥(visual display terminal,VDT)的主觀疲勞量表,常見的 VDT 有 10 個主訴癥狀,包括頭痛、流淚、眼刺痛、視物模糊、復視、眼痛、畏光、眨眼、惡心及眼沉重感等,均在該量表中給與相應評分選項,如表 1 所示;另一種是薩姆佩雷利疲勞量表(Samn-Perelli fatigue scale,SPFS),該主觀疲勞量表共 7 個評分等級,得分越高,表示受試者疲勞程度越高,如表 2 所示。
本次試驗設計了連續觀看視頻的試驗模式,觀看視頻總時長約為 40 min。試驗具體流程為:受試者觀看視頻前先填寫 VDT 和 SPFS 主觀疲勞量表(包括:VDT 和 SPFS),之后采集其 5 min 靜息態 EEG 信號;然后受試者連續觀看視頻 40 min,實時監測 EEG 信號;最后,觀看視頻結束后再次填寫 VDT 和 SPFS 主觀疲勞量表,并再次采集 5 min 的靜息態 EEG 信號,整個流程如圖 1 所示。
圖1
腦疲勞試驗流程
Figure1.
The process of brain fatigue experiment
1.4 數據處理和分析方法
1.4.1 腦功能網絡的構建
本研究選取互相關方法以求取任意兩個通道間 EEG 信號的相互關聯關系,基于互相關系數RXY構建互相關系數矩陣。任意兩個通道的 EEG 信號序列用X和Y兩個隨機變量表示,在時域上的互相關系數RXY如式(1)所示:
![]() |
式中,i和j表示任意兩個通道的樣本點,xi和yj表示X和Y兩個信號的樣本數據,n表示樣本點總數目,k表示X、Y兩個樣本點間的延遲時間。
在本研究中,EEG 信號時間序列是進行同步采集的,每個通道之間采集的 EEG 信號時間相同,因此互相關系數RXY可以簡化如式(2)所示:
![]() |
互相關系數RXY的大小反映了不同通道之間 EEG 信號相關程度的高低,取值在 0~1 之間,數值越接近 1,則表示相關程度越高;數值越接近 0,則表示相關程度越低。
基于互相關方法求解任意兩個通道之間 EEG 信號的互相關系數,可以得到一個 EEG 信號通道之間的關聯特性矩陣,即互相關系數矩陣,用以反映各個通道間 EEG 信號的相關程度。每個通道的 EEG 信號與其自身的互相關系數為 0,也就是互相關系數矩陣的對角元素為 0,以避免網絡中有自連接的邊存在[24]。互相關系數矩陣可以如式(3)所示:
![]() |
其中,RXY表示通道X與通道Y之間的互相關系數,n表示所有通道數。RM 表示由互相關系數構成的互相關系數矩陣。
在互相關系數矩陣的基礎上,確定合適的閾值,構建一個互相關二值矩陣。在取得合適的閾值后,當通道與通道之間的互相關系數大于閾值時,二值矩陣所對應位置的元素為 l;反之,當通道與通道之間的互相關系數小于閾值時,二值矩陣所對應位置的元素為 0。因此,由互相關系數矩陣可以得到一個矩陣元素僅由 0 和 1 構成的互相關二值矩陣,如式(4)所示:
![]() |
其中,rXY與互相關系數矩陣中的同位置RXY對應,rXY取值為 0 或 1,rM表示互相關二值矩陣。在構建腦功能網絡的基礎上,求取平均度、平均聚類系數和平均路徑長度等腦功能網絡參數,通過對比分析網絡參數的不同,來定量分析評價腦功能網絡的特征。
1.4.2 節點度
在腦功能網絡中,節點i的度以符號ki表示,定義為網絡中和該節點連接的節點的數目[25],即節點i在網絡中鄰居節點的個數,平均度以符號k表示,其計算公式如式(5)所示:
![]() |
其中,N表示網絡的總節點數,rij表示二值矩陣中的元素。節點的度越大,表示跟此節點連接的節點越多,則此節點在網絡中的影響越大[26]。
1.4.3 聚類系數
聚類系數可以評定網絡的集成程度,以符號Ci表示,表示某一節點i的鄰居間互為鄰居的可能概率[27],它代表了相鄰兩節點之間共有連接關系的節點的重疊度,平均聚類系數以符號C表示,其計算公式如式(6)所示:
![]() |
式中,ki表示節點i對應的節點度,Ei表示節點i的ki個鄰節點之間實際存在的邊數。C越大表示腦網絡局部區域的神經元之間的連接越緊密。
1.4.4 平均路徑長度
在網絡中,兩節點i和j的最短路徑長度是指連接節點i和節點j的最少邊數。平均路徑長度是網絡中全部節點的路徑長度的平均值,以符號L表示,其計算公式如式(7)所示:
![]() |
其中,N表示網絡中總節點數目,dij表示節點i和節點j之間的路徑長度。平均路徑長度L越小,表明信息傳遞越快,網路的連通性越好。
1.4.5 全局效率
全局效率反應了網絡中節點之間發送信息的平均效率,定義為網絡中兩個節點之間路徑長度的簡諧平均值,以符號Eg表示,其計算公式如式(8)所示:
![]() |
其中,N表示網絡中總節點數目,dij表示節點i和節點j之間的路徑長度。全局效率越高,表明信息傳遞效率越高。
1.4.6 “小世界”屬性
Watts 等[28]將兼具高聚類系數和平均路徑長度的網絡稱為“小世界”網絡,“小世界”屬性用σ來衡量,其計算公式如式(9)所示:
![]() |
其中,C和L表示該網絡的平均聚類系數和平均路徑長度,Crandom 和Lrandom 表示與該網絡相同節點數和相同邊數的隨機網絡的聚類系數和路徑長度。當σ > 1 時網絡具有“小世界”屬性,且σ越大表明網絡的“小世界”屬性越強。
2 結果
2.1 主觀量表分析
本文主觀分析采用判斷受試者主觀疲勞狀態的 VDT 和 SPFS 主觀量表,分別對 16 個受試者在觀看視頻前后的量表分值進行均值化,針對觀看 TP 視頻與 VR 視頻前后的對比結果,如圖 2 所示,可以看出,無論是采用 TP 還是 VR,觀看視頻后的量表分值明顯都高于觀看視頻前,經t檢驗,觀看視頻前后的兩組量表分值均有P < 0.05,差異具有統計學意義,這說明無論采取哪種方式觀看,受試者在觀看視頻后主觀上都有了疲勞感。
圖2
觀看視頻前后量表對比結果
Figure2.
The comparison of scales before and after watching video
進一步對不同觀看方式下,觀看視頻前后的量表分值變化做對比,將觀看視頻前后的量表分值作差,得到觀看視頻后量表分值的差值,如圖 3 所示,可以看出,無論是 VDT 還是 SPFS 主觀量表,在觀看視頻結束后,VR 試驗的量表分值差值明顯高于 TP 試驗的量表分值差值,經t檢驗,兩組主觀量表均有P < 0.05,差異具有統計學意義,這說明受試者在觀看 VR 視頻后的主觀量表分值增加的更多,受試者主觀疲勞程度變化更大。由此可以認為,相比觀看 TP 視頻,觀看 VR 視頻更容易使受試者上產生疲勞感。
圖3
觀看視頻前后量表差值對比結果
Figure3.
The comparison of scale differences before and after watching video
2.2 腦功能網絡分析
利用互相關腦功能網絡構建方法,分別計算了 TP 和 VR 兩種觀看視頻方式下,觀看視頻前和觀看視頻后各 5 min 的靜息態 EEG 信號 30 通道的互相關系數矩陣,并將所有受試者的互相關系數均值化,得到不同狀態下的互相關系數矩陣圖,結果如圖 4 所示。
圖4
觀看視頻前后互相關系數矩陣對比結果
Figure4.
The comparison of correlation coefficient matrix before and after watching video
如圖 4 所示,分別表示了 TP 和 VR 兩種觀看方式下,觀看視頻前和觀看視頻后的互相關系數矩陣圖,矩陣圖中顏色越接近藍色,表示兩個通道的互相關系數越小,顏色越接近紅色,表示兩個通道的互相關系數越大。首先,對比觀看 TP 視頻前后的互相關系數矩陣圖可以看出,觀看 TP 視頻后的互相關矩陣紅色的部分減少,藍色的部分增加,表示觀看 TP 視頻后大腦不同通道之間的互相關性減少;其次,對比觀看 VR 視頻前后的互相關系數矩陣圖可以看出,觀看 VR 視頻后的互相關矩陣紅色的部分明顯減少,整體更接近于藍色,表示觀看 VR 視頻后大腦不同通道之間的互相關性減少。
進一步,根據選取的閾值,在互相關系數矩陣基礎上,得到 TP 和 VR 兩種觀看視頻方式下,觀看視頻前和觀看視頻后兩種狀態下的互相關二值矩陣圖,結果如圖 5 所示,分別表示了 TP 和 VR 兩種觀看方式下,觀看視頻前和觀看視頻后的互相關二值矩陣圖,在互相關二值矩陣圖中只包含有 0 和 1 兩種元素,其中藍色表示二值矩陣中元素為 0,即兩個通道之間沒有相關性;紅色表示二值矩陣中元素為 1,即兩個通道之間有相關性。首先,對比觀看 TP 視頻前后的互相關二值矩陣圖可以看出,觀看 TP 視頻后的互相關二值矩陣中紅色數量明顯減少,表示觀看 TP 視頻后大腦不同通道之間存在相關性的通道數量減少;其次,對比觀看 VR 視頻前后的互相關二值矩陣圖可以看出,觀看 VR 視頻后的互相關二值矩陣顏色紅色數量明顯減少,表示觀看 VR 視頻后大腦不同通道之間存在相關性的通道數量減少。最后,對比觀看 TP 視頻后和觀看 VR 視頻后的互相關二值矩陣圖可以看出,相比觀看 TP 視頻,觀看 VR 視頻后的大腦不同通道之間存在相關性的通道數量更少,說明受試者在觀看 VR 視頻后,大腦通道之間相關性受到的影響更大。
圖5
觀看視頻前后互相關二值矩陣對比結果
Figure5.
The comparison of correlation binary matrix before and after watching video
在互相關二值矩陣的基礎上,構建腦網絡連接圖。當互相關二值矩陣中的元素為 1 時,就將該元素對應的兩個通道的電極位置相連接,從而得到一個腦網絡連接邊;當互相關二值矩陣中的元素為 0 時,則該元素對應的兩個通道的電極位置無連接,結果如圖 6 所示。
圖6
觀看視頻前后腦網絡連接對比結果
Figure6.
The comparison of brain network connections before and after watching video
如圖 6 所示,分別表示了 TP 和 VR 兩種觀看方式下,觀看視頻前和觀看視頻后的腦網絡連接對比圖。首先,分別對比觀看 TP 視頻前后和觀看 VR 視頻前后的腦網絡連接圖可以看出,觀看視頻后的腦網絡連接都明顯減少,腦網絡都變稀疏,復雜程度都減小;并且對比觀看 TP 視頻和觀看 VR 視頻后的腦網絡連接圖可以看出,觀看 VR 視頻后的大腦腦網絡連接更少,腦網絡更稀疏,說明受試者在觀看 VR 視頻后,大腦通道之間相關性受到的影響更大。
2.3 腦功能網絡參數
在互相關網絡的基礎上,對比分析受試者觀看視頻前、后兩種狀態下腦網絡的平均度、平均聚類系數、平均路徑長度、平均全局效率和“小世界”屬性 5 個特征參數,再利用t檢驗進行統計學分析,來定量描述分析腦網絡特征。
對比 TP 和 VR 兩種觀看方式下,觀看視頻前后腦網絡的平均度和平均聚類系數,以及這兩個特征參數的差值,結果如圖 7所示,由圖 7 左上和右上可以看出,無論是觀看 TP 視頻還是 VR 視頻后,腦網絡的平均度和平均聚類系數值都明顯減少,經t檢驗,兩種觀看方式下,觀看視頻前后的差異都具有統計學意義(P < 0.05)。由圖 7 第二排數據可以看出,相比觀看 TP 視頻前后,觀看 VR 視頻前后,腦網絡的平均度差值和平均聚類系數差值更高,且經t檢驗,兩種觀看方式下的兩組差值都具有統計學意義(P < 0.05)。以上結果可以表明,受試者在觀看視頻產生疲勞后,腦網絡的平均度和平均聚類系數都會減少,并且觀看 VR 視頻后,腦網絡的平均度和平均聚類系數減少的更多,網絡節點的連接更少。
圖7
觀看視頻前后腦網絡的平均度和平均聚類系數的對比結果
Figure7.
The comparison of average degree and clustering coefficient in brain network before and after watching video
對比不同觀看方式下,觀看視頻前后腦網絡的平均路徑長度和平均全局效率,以及觀看視頻前后這兩個網絡特征參數的差值,結果如圖 8 所示,由圖 8 第一排可以看出,無論是觀看 TP 視頻還是觀看 VR 視頻后,腦網絡的平均路徑長度都明顯增加,平均全局效率都明顯減少,經 t 檢驗,兩種觀看方式下,觀看視頻前后的差異都具有統計學意義(P < 0.05)。由圖 8 第二排可以看出,相比觀看 TP 視頻前后,觀看 VR 視頻前后腦網絡的平均路徑長度差值和平均全局效率差值更高,且經 t 檢驗,兩種觀看方式下的平均路徑長度差值和平均全局效率差值具有統計學意義(P < 0.05)。以上結果可以表明,受試者在觀看視頻產生疲勞后,腦網絡的平均路徑長度都增加,平均全局效率都減少,并且觀看 VR 視頻后,腦網絡的平均路徑長度增加更多,平均全局效率下降的更多,網絡傳遞信息效率更低。
圖8
觀看視頻前后腦網絡的平均路徑長度和平均全局效率的對比結果
Figure8.
The comparison of average path length and global efficiency in brain network before and after watching video
對比不同觀看方式下,觀看視頻前后腦網絡的“小世界”屬性,以及觀看視頻前后“小世界”屬性的差值,結果如圖 9 左圖所示,無論是觀看 TP 視頻還是觀看 VR 視頻后,腦網絡的“小世界”屬性都明顯減少,經t檢驗,兩種觀看方式下,觀看視頻前后的“小世界”屬性差異都具有統計學意義(P < 0.05)。同時可以看出,兩種觀看方式下,觀看視頻前后的“小世界”屬性值都大于 1,表明觀看視頻前后的腦網絡都具有“小世界”屬性。由圖 9 右圖可以看出,相比觀看 TP 視頻前后,觀看 VR 視頻前后,腦網絡的“小世界”屬性差值更大,且經t檢驗,兩種觀看方式下的“小世界”屬性差值具有統計學意義(P < 0.05)。以上結果可以表明,受試者在觀看視頻產生疲勞后,腦網絡的“小世界”屬性都會減少,并且觀看 VR 視頻后,腦網絡的“小世界”屬性減少更多。
圖9
觀看視頻前后腦網絡“小世界”屬性對比結果
Figure9.
The comparison of small world attribute in brain network before and after watching video
3 討論
本文通過主觀疲勞量表和客觀 EEG 信號來研究 VR 視覺體驗引發的腦疲勞,基于 EEG 信號數據構建受試者在不同狀態下的腦功能網絡,利用腦功能網絡手段對比分析受試者的腦功能網絡參數,并結合主觀疲勞量表來共同評價受試者的腦疲勞程度。
首先,通過 VDT 和 SPFS 主觀量表的對比分析可以看出觀看視頻后的量表分值都高于觀看視頻前,且觀看 VR 視頻后的量表分值的增加高于觀看 TP 視頻,說明受試者在觀看視頻后主觀都產生了疲勞感,且觀看 VR 視頻比觀看 TP 視頻更容易產生疲勞感。
其次,對比分析了 TP 和 VR 兩種觀看方式下,觀看視頻前和觀看視頻后各 5 min 的靜息態 EEG 信號 30 通道的腦網絡互相關矩陣和互相關二值矩陣。通過矩陣圖可以看出,無論是觀看 TP 視頻還是觀看 VR 視頻后,互相關矩陣和互相關二值矩陣圖的白色區域部分都減少,說明觀看視頻后大腦不同通道之間的互相關性都減少;并且通過互相關二值矩陣圖可以看出,相比觀看 TP 視頻,觀看 VR 視頻后大腦不同通道之間存在相關性的通道數量更少,說明受試者在觀看 VR 視頻后,大腦通道之間相關性受到的影響更大。因此可以說明,隨著腦疲勞的出現,腦網絡互相關系數減小,腦網絡連接減少,腦網絡變稀疏,復雜程度變小,并且相比觀看 TP 視頻,觀看 VR 視頻后對受試者的腦網絡的影響更大。
最后,在互相關矩陣和互相關二值矩陣的基礎上,對比分析了受試者觀看視頻前和觀看視頻后兩種狀態下所有受試者的腦網絡的平均度、平均聚類系數、平均路徑長度、平均全局效率和“小世界”屬性 5 個網絡特征參數的統計學差異,可以看出,無論是觀看 TP 視頻還是觀看 VR 視頻后,腦網絡的平均度、平均聚類系數、平均全局效率值和“小世界”屬性都明顯減少,且相比觀看 TP 視頻方式,觀看 VR 視頻后腦網絡的平均度值、平均聚類系數、平均全局效率和“小世界”屬性減少得更多;同時,腦網絡的平均路徑長度值都明顯增加,且相比觀看 TP 視頻方式,觀看 VR 視頻后腦網絡的平均路徑長度值增加得更多。因此可以說明,隨著觀看視頻后腦疲勞的出現,平均度和平均聚類系數均減少,表明疲勞狀態時,腦功能網絡節點間的連接減少,聚集程度減弱,網絡連通性變差;平均路徑長度的增大和平均全局效率值的降低,表明疲勞狀態時,大腦信息傳輸路徑變長,導致傳輸速度變慢,傳遞效率降低,網絡的傳輸能力減弱;“小世界”屬性減少,腦網絡的拓撲結構發生了變化,并且相比觀看 TP 視頻,觀看 VR 視頻后對腦網絡特征參數的影響更大。
功能連接是指空間上分離的神經單元其神經活動在時間上的關聯性或統計依賴關系[29],腦功能網絡就是對大腦結構網絡上不同的神經元或腦區之間動態活動交互整合的直觀描述。Zhang 等[30]利用腦功能網絡方法研究駕駛疲勞的腦網絡特性,結果發現隨著疲勞的增加,會導致大腦網絡連接數量、聚類系數和全局效率都減少,路徑長度增加。與本研究的疲勞結果相同,腦疲勞會影響大腦的網絡結構,導致不同的神經元和腦區之間的交互減少,網絡連接性減小,信息交流傳遞能力減弱。Li 等[31]利用小世界腦功能網絡研究觀看三維視頻前后的腦網絡變化,結果發現觀看三維視頻比觀看二維視頻更容易導致大腦疲勞。觀看 VR 視頻與觀看三維視頻有類似效果,觀看 VR 視頻也需要左右眼分別觀看平面影像,再通過大腦合成立體影像,相比 TP 視頻,觀看 VR 視頻時大腦需要處理更多的視覺信息,大腦需要承受更多的信息負荷,而大腦中信息的處理需要神經元的持續快速放電,但長時間的高負荷狀態會使大腦消耗更多的能量,過多的能量消耗會抑制神經元的放電,使大腦趨于緩慢,產生疲勞狀態。腦功能網絡的基本組成是每個節點的連接性,因此局部連接變化會影響到整個腦網絡,由于大腦產生疲勞會對神經元抑制放電,就會由局部變化反映到整個腦網絡,從而導致整個腦網絡的連接性減少。
基于以上討論,在今后的研究中應更多關注長時間觀看 VR 視頻對于大腦的影響。目前已有研究者希望通過其他感官刺激來減少觀看 VR 視頻帶來的影響,例如:Seok 等[32]通過香味刺激嗅覺感官來減少受試者觀看 VR 視頻時引發的沉浸、頭暈和壓力等不適癥狀。但從 VR 設備的實際應用來說,更多地應該從 VR 本身技術的提升和設備的合理使用來提高用戶體驗,EEG 信號以及腦網絡處理分析等手段可以為 VR 技術的改進提供監測方法和參考價值。
4 結論
本文通過采集受試者觀看 TP 視頻和觀看 VR 視頻的 EEG 信號數據,對觀看視頻前后的 EEG 信號數據進行處理分析,利用互相關腦功能網絡構建方法,分別構建了觀看 TP 視頻和觀看 VR 視頻前后的互相關腦網絡,并對互相關系數矩陣、互相關二值矩陣以及平均度、平均聚類系數、平均路徑長度、平均全局效率和“小世界”屬性等腦網絡特征參數進行對比分析,并結合對受試者的主觀疲勞量表分析,從主觀和客觀兩個角度來研究 VR 視覺體驗引起腦疲勞的影響。結果發現:一定時間內從主觀感受上,觀看 VR 視頻比觀看 TP 視頻更容易產生疲勞感;隨著腦疲勞的出現,腦網絡互相關系數減小,腦網絡連接減少,腦網絡變稀疏;并且相比觀看 TP 視頻,觀看 VR 視頻后對腦網絡參數的影響更大;可以通過觀看視頻后平均度、平均聚類系數、平均全局效率和“小世界”屬性的減少以及平均路徑長度的增加等腦網絡特征參數的變化趨勢來分析觀看 VR 視頻引發人體腦疲勞作用的影響,從而為探索 VR 視覺體驗引發腦疲勞的有效監測方法,進而為建立腦疲勞的評價指標和 VR 設備的合理健康應用提供重要的理論基礎和參考價值。
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
引言
虛擬現實(virtual reality,VR)技術是一種新型的人機交互技術,可為用戶提供視、聽、體等感官的模擬體驗。隨著 VR 技術的發展和 VR 產品的普及,VR 技術已經涉及到人們日常生活的方方面面,并被廣泛運用到醫療、工程、軍事、航空、教育、娛樂等諸多領域[1-3]。隨之而來的是,許多使用者反映使用 VR 設備一段時間后容易產生眼睛不適、眩暈和疲勞等癥狀,因此 VR 技術對人體健康的影響引起廣泛關注。探索 VR 視覺體驗與腦疲勞的關系,并研究可監測 VR 技術引起腦疲勞程度的方法,具有重要的研究意義和參考價值。
目前,研究人體腦疲勞程度主要通過主觀評價和客觀分析兩種方式。主觀評價主要通過主觀問卷來獲得受試者的主觀疲勞狀態,疲勞程度指標包括評估眼壓、注意力集中程度、頭痛程度等[4]。雖然主觀評價是評價一個人的疲勞狀態的可靠方法,但易受個體差異影響,評價標準不統一[5]。而采用客觀分析的方式中,檢測腦電圖(electroencephalogram,EEG)信號已成為監測疲勞程度的金標準[6]。例如,王利等[7]研究駕駛疲勞時發現,EEG 信號的不同節律隨疲勞程度的加深而產生不同變化。張力新等[8]研究體腦疲勞交互影響時,將 EEG 信號作為腦疲勞監測的一個重要指標。楊碩等[9]采用相位—幅值耦合方法對腦疲勞前后的 theta 和 gamma 節律的 EEG 信號進行研究,解釋了腦疲勞對大腦信息傳遞機制的影響。
然而,大腦的認知功能執行需要多個腦區相互協作共同完成,因此從復雜網絡的角度研究大腦功能是十分必要的。腦網絡是將大腦看作復雜的統一整體,來研究不同時空尺度上腦網絡拓撲結構、動力學屬性等內容,它為理解腦的信息加工過程及腦的高級功能提供了全新的視角[10-11]。目前,腦網絡一方面已經被應用于大腦信息處理機制的研究,包括腦信息處理模式及認知功能等重要問題[12-14];另一方面,有關各種神經、精神疾病的研究也廣泛采用大腦功能網絡來進行分析[15-17]。陳潤格等[18]進行了工作記憶任務過程中腦網絡的研究,結果表明,隨著認知任務維度升級腦力負荷增加,EEG 信號中 alpha、beta 波段的功率比下降,腦網絡中各腦區之間的信息流增強且不同維度任務的信息流向與當前任務緊密相關。孟桂芳等[19]利用腦網絡方法,通過對疲勞前后腦網絡的分析比較,提取了一個N-back 試驗下與腦疲勞相關的特異性腦網絡結構。現階段,對于由 VR 視覺體驗引發的腦疲勞問題已引發關注,例如,Guo 等[20]通過主觀量表評價 VR 環境中,頭戴式設備對受試者疲勞造成的影響。許昊駿[21]通過相機運動、觀眾視角等 VR 視頻拍攝和觀看角度,研究 VR 視頻引起主觀疲勞的評估方法,并對引入 EEG 信號客觀評價標準提出展望。Liu 等[22]利用遞歸模糊神經網絡來評估 VR 動態駕駛環境中駕駛員的疲勞程度。然而,目前尚未確立統一有效的評價方法和手段,所以腦網絡的研究可為分析 VR 視覺體驗引發的腦疲勞研究提供新的思路。
本文將結合主觀疲勞量表和客觀 EEG 信號指標來研究 VR 視覺體驗引發的腦疲勞。在受試者觀看 VR 視頻和觀看傳統平面(traditional plane,TP)視頻前后填寫疲勞量表,同步采集觀看視頻過程中的 EEG 信號,并基于 EEG 信號數據構建受試者的腦功能網絡,利用復雜網絡理論對比分析受試者觀看 VR 視頻和觀看 TP 視頻前后的腦功能網絡參數,并結合受試者的主觀疲勞感受,探索 VR 視覺體驗引發腦疲勞的有效監測方法,進而為建立腦疲勞的評價指標以及推動 VR 設備合理健康的應用起到積極作用。
1 試驗內容和處理方法
1.1 試驗對象
本研究招募的受試者為 16 名健康在校大學生,年齡為(25 ± 3)歲,無眼部和腦部疾病史,矯正視力 1.0,均為右利手。受試者在試驗前均已知曉試驗內容,并簽署了知情同意書,研究要求受試者試驗前 24 h 內不能飲用酒、濃茶或咖啡等物質,并保證充足的睡眠時間。本研究經河北工業大學生物醫學倫理委員會審核通過(HEBUThMEC2019016)。
1.2 試驗設備
試驗中,觀看視頻采用 TP 和 VR 兩種屏幕顯示方式,分別通過 22 寸液晶顯示器(ThinkVision,聯想,中國)和 VR 眼鏡(PLAY2,小米,中國)實現。試驗采用可穿戴無線 EEG 信號采集系統(Neuracle,博睿康,中國)進行 EEG 數據采集,該系統配有 32 導聯電極帽、無線主機放大器和電腦同步軟件組成,電極帽電極排列方式按照 10-20 國際標準,主機放大器可固定在電極帽上,用于獲取 EEG 信號電位信息,并用無線保真(wireless fidelity,Wi-Fi)模塊通過智能同步中心將采集數據傳送到電腦上,通過電腦同步軟件進行數據顯示和存儲。參考電極為 CPz,位置位于頭頂中心,電極 Cz 和 Pz 之間,采樣頻率為 250 Hz,試驗過程中電極阻抗均保持在 5 kΩ 以下。
1.3 試驗方法
受試者在試驗前已熟知試驗的詳細流程和注意事項,每個受試者需完成兩次試驗任務,試驗時間為連續兩天的同一時間段,每次任務分別觀看相同題材內容的 TP 視頻和 VR 視頻,視頻內容為《復仇者聯盟》和《復仇者聯盟 2》(正版購買,非商業用途),其中 8 名受試者第一天觀看 VR 視頻,另外 8 名受試者第一天觀看 TP 視頻。
本文從主觀和客觀兩方面對觀看 VR 視頻引起的腦疲勞進行分析,主觀評價主要是通過受試者在試驗前后填寫主觀量表,獲得受試者是否疲勞的主觀感受;客觀分析主要是通過采集受試者的 EEG 信號,并對 EEG 信號進行分析和處理,從 EEG 數據的角度進行客觀剖析。
本文主觀評價采用了兩種主觀疲勞量表,一種是由 Rechichi 等[23]提出的判斷疲勞標準的視屏終端綜合癥(visual display terminal,VDT)的主觀疲勞量表,常見的 VDT 有 10 個主訴癥狀,包括頭痛、流淚、眼刺痛、視物模糊、復視、眼痛、畏光、眨眼、惡心及眼沉重感等,均在該量表中給與相應評分選項,如表 1 所示;另一種是薩姆佩雷利疲勞量表(Samn-Perelli fatigue scale,SPFS),該主觀疲勞量表共 7 個評分等級,得分越高,表示受試者疲勞程度越高,如表 2 所示。
本次試驗設計了連續觀看視頻的試驗模式,觀看視頻總時長約為 40 min。試驗具體流程為:受試者觀看視頻前先填寫 VDT 和 SPFS 主觀疲勞量表(包括:VDT 和 SPFS),之后采集其 5 min 靜息態 EEG 信號;然后受試者連續觀看視頻 40 min,實時監測 EEG 信號;最后,觀看視頻結束后再次填寫 VDT 和 SPFS 主觀疲勞量表,并再次采集 5 min 的靜息態 EEG 信號,整個流程如圖 1 所示。
圖1
腦疲勞試驗流程
Figure1.
The process of brain fatigue experiment
1.4 數據處理和分析方法
1.4.1 腦功能網絡的構建
本研究選取互相關方法以求取任意兩個通道間 EEG 信號的相互關聯關系,基于互相關系數RXY構建互相關系數矩陣。任意兩個通道的 EEG 信號序列用X和Y兩個隨機變量表示,在時域上的互相關系數RXY如式(1)所示:
![]() |
式中,i和j表示任意兩個通道的樣本點,xi和yj表示X和Y兩個信號的樣本數據,n表示樣本點總數目,k表示X、Y兩個樣本點間的延遲時間。
在本研究中,EEG 信號時間序列是進行同步采集的,每個通道之間采集的 EEG 信號時間相同,因此互相關系數RXY可以簡化如式(2)所示:
![]() |
互相關系數RXY的大小反映了不同通道之間 EEG 信號相關程度的高低,取值在 0~1 之間,數值越接近 1,則表示相關程度越高;數值越接近 0,則表示相關程度越低。
基于互相關方法求解任意兩個通道之間 EEG 信號的互相關系數,可以得到一個 EEG 信號通道之間的關聯特性矩陣,即互相關系數矩陣,用以反映各個通道間 EEG 信號的相關程度。每個通道的 EEG 信號與其自身的互相關系數為 0,也就是互相關系數矩陣的對角元素為 0,以避免網絡中有自連接的邊存在[24]。互相關系數矩陣可以如式(3)所示:
![]() |
其中,RXY表示通道X與通道Y之間的互相關系數,n表示所有通道數。RM 表示由互相關系數構成的互相關系數矩陣。
在互相關系數矩陣的基礎上,確定合適的閾值,構建一個互相關二值矩陣。在取得合適的閾值后,當通道與通道之間的互相關系數大于閾值時,二值矩陣所對應位置的元素為 l;反之,當通道與通道之間的互相關系數小于閾值時,二值矩陣所對應位置的元素為 0。因此,由互相關系數矩陣可以得到一個矩陣元素僅由 0 和 1 構成的互相關二值矩陣,如式(4)所示:
![]() |
其中,rXY與互相關系數矩陣中的同位置RXY對應,rXY取值為 0 或 1,rM表示互相關二值矩陣。在構建腦功能網絡的基礎上,求取平均度、平均聚類系數和平均路徑長度等腦功能網絡參數,通過對比分析網絡參數的不同,來定量分析評價腦功能網絡的特征。
1.4.2 節點度
在腦功能網絡中,節點i的度以符號ki表示,定義為網絡中和該節點連接的節點的數目[25],即節點i在網絡中鄰居節點的個數,平均度以符號k表示,其計算公式如式(5)所示:
![]() |
其中,N表示網絡的總節點數,rij表示二值矩陣中的元素。節點的度越大,表示跟此節點連接的節點越多,則此節點在網絡中的影響越大[26]。
1.4.3 聚類系數
聚類系數可以評定網絡的集成程度,以符號Ci表示,表示某一節點i的鄰居間互為鄰居的可能概率[27],它代表了相鄰兩節點之間共有連接關系的節點的重疊度,平均聚類系數以符號C表示,其計算公式如式(6)所示:
![]() |
式中,ki表示節點i對應的節點度,Ei表示節點i的ki個鄰節點之間實際存在的邊數。C越大表示腦網絡局部區域的神經元之間的連接越緊密。
1.4.4 平均路徑長度
在網絡中,兩節點i和j的最短路徑長度是指連接節點i和節點j的最少邊數。平均路徑長度是網絡中全部節點的路徑長度的平均值,以符號L表示,其計算公式如式(7)所示:
![]() |
其中,N表示網絡中總節點數目,dij表示節點i和節點j之間的路徑長度。平均路徑長度L越小,表明信息傳遞越快,網路的連通性越好。
1.4.5 全局效率
全局效率反應了網絡中節點之間發送信息的平均效率,定義為網絡中兩個節點之間路徑長度的簡諧平均值,以符號Eg表示,其計算公式如式(8)所示:
![]() |
其中,N表示網絡中總節點數目,dij表示節點i和節點j之間的路徑長度。全局效率越高,表明信息傳遞效率越高。
1.4.6 “小世界”屬性
Watts 等[28]將兼具高聚類系數和平均路徑長度的網絡稱為“小世界”網絡,“小世界”屬性用σ來衡量,其計算公式如式(9)所示:
![]() |
其中,C和L表示該網絡的平均聚類系數和平均路徑長度,Crandom 和Lrandom 表示與該網絡相同節點數和相同邊數的隨機網絡的聚類系數和路徑長度。當σ > 1 時網絡具有“小世界”屬性,且σ越大表明網絡的“小世界”屬性越強。
2 結果
2.1 主觀量表分析
本文主觀分析采用判斷受試者主觀疲勞狀態的 VDT 和 SPFS 主觀量表,分別對 16 個受試者在觀看視頻前后的量表分值進行均值化,針對觀看 TP 視頻與 VR 視頻前后的對比結果,如圖 2 所示,可以看出,無論是采用 TP 還是 VR,觀看視頻后的量表分值明顯都高于觀看視頻前,經t檢驗,觀看視頻前后的兩組量表分值均有P < 0.05,差異具有統計學意義,這說明無論采取哪種方式觀看,受試者在觀看視頻后主觀上都有了疲勞感。
圖2
觀看視頻前后量表對比結果
Figure2.
The comparison of scales before and after watching video
進一步對不同觀看方式下,觀看視頻前后的量表分值變化做對比,將觀看視頻前后的量表分值作差,得到觀看視頻后量表分值的差值,如圖 3 所示,可以看出,無論是 VDT 還是 SPFS 主觀量表,在觀看視頻結束后,VR 試驗的量表分值差值明顯高于 TP 試驗的量表分值差值,經t檢驗,兩組主觀量表均有P < 0.05,差異具有統計學意義,這說明受試者在觀看 VR 視頻后的主觀量表分值增加的更多,受試者主觀疲勞程度變化更大。由此可以認為,相比觀看 TP 視頻,觀看 VR 視頻更容易使受試者上產生疲勞感。
圖3
觀看視頻前后量表差值對比結果
Figure3.
The comparison of scale differences before and after watching video
2.2 腦功能網絡分析
利用互相關腦功能網絡構建方法,分別計算了 TP 和 VR 兩種觀看視頻方式下,觀看視頻前和觀看視頻后各 5 min 的靜息態 EEG 信號 30 通道的互相關系數矩陣,并將所有受試者的互相關系數均值化,得到不同狀態下的互相關系數矩陣圖,結果如圖 4 所示。
圖4
觀看視頻前后互相關系數矩陣對比結果
Figure4.
The comparison of correlation coefficient matrix before and after watching video
如圖 4 所示,分別表示了 TP 和 VR 兩種觀看方式下,觀看視頻前和觀看視頻后的互相關系數矩陣圖,矩陣圖中顏色越接近藍色,表示兩個通道的互相關系數越小,顏色越接近紅色,表示兩個通道的互相關系數越大。首先,對比觀看 TP 視頻前后的互相關系數矩陣圖可以看出,觀看 TP 視頻后的互相關矩陣紅色的部分減少,藍色的部分增加,表示觀看 TP 視頻后大腦不同通道之間的互相關性減少;其次,對比觀看 VR 視頻前后的互相關系數矩陣圖可以看出,觀看 VR 視頻后的互相關矩陣紅色的部分明顯減少,整體更接近于藍色,表示觀看 VR 視頻后大腦不同通道之間的互相關性減少。
進一步,根據選取的閾值,在互相關系數矩陣基礎上,得到 TP 和 VR 兩種觀看視頻方式下,觀看視頻前和觀看視頻后兩種狀態下的互相關二值矩陣圖,結果如圖 5 所示,分別表示了 TP 和 VR 兩種觀看方式下,觀看視頻前和觀看視頻后的互相關二值矩陣圖,在互相關二值矩陣圖中只包含有 0 和 1 兩種元素,其中藍色表示二值矩陣中元素為 0,即兩個通道之間沒有相關性;紅色表示二值矩陣中元素為 1,即兩個通道之間有相關性。首先,對比觀看 TP 視頻前后的互相關二值矩陣圖可以看出,觀看 TP 視頻后的互相關二值矩陣中紅色數量明顯減少,表示觀看 TP 視頻后大腦不同通道之間存在相關性的通道數量減少;其次,對比觀看 VR 視頻前后的互相關二值矩陣圖可以看出,觀看 VR 視頻后的互相關二值矩陣顏色紅色數量明顯減少,表示觀看 VR 視頻后大腦不同通道之間存在相關性的通道數量減少。最后,對比觀看 TP 視頻后和觀看 VR 視頻后的互相關二值矩陣圖可以看出,相比觀看 TP 視頻,觀看 VR 視頻后的大腦不同通道之間存在相關性的通道數量更少,說明受試者在觀看 VR 視頻后,大腦通道之間相關性受到的影響更大。
圖5
觀看視頻前后互相關二值矩陣對比結果
Figure5.
The comparison of correlation binary matrix before and after watching video
在互相關二值矩陣的基礎上,構建腦網絡連接圖。當互相關二值矩陣中的元素為 1 時,就將該元素對應的兩個通道的電極位置相連接,從而得到一個腦網絡連接邊;當互相關二值矩陣中的元素為 0 時,則該元素對應的兩個通道的電極位置無連接,結果如圖 6 所示。
圖6
觀看視頻前后腦網絡連接對比結果
Figure6.
The comparison of brain network connections before and after watching video
如圖 6 所示,分別表示了 TP 和 VR 兩種觀看方式下,觀看視頻前和觀看視頻后的腦網絡連接對比圖。首先,分別對比觀看 TP 視頻前后和觀看 VR 視頻前后的腦網絡連接圖可以看出,觀看視頻后的腦網絡連接都明顯減少,腦網絡都變稀疏,復雜程度都減小;并且對比觀看 TP 視頻和觀看 VR 視頻后的腦網絡連接圖可以看出,觀看 VR 視頻后的大腦腦網絡連接更少,腦網絡更稀疏,說明受試者在觀看 VR 視頻后,大腦通道之間相關性受到的影響更大。
2.3 腦功能網絡參數
在互相關網絡的基礎上,對比分析受試者觀看視頻前、后兩種狀態下腦網絡的平均度、平均聚類系數、平均路徑長度、平均全局效率和“小世界”屬性 5 個特征參數,再利用t檢驗進行統計學分析,來定量描述分析腦網絡特征。
對比 TP 和 VR 兩種觀看方式下,觀看視頻前后腦網絡的平均度和平均聚類系數,以及這兩個特征參數的差值,結果如圖 7所示,由圖 7 左上和右上可以看出,無論是觀看 TP 視頻還是 VR 視頻后,腦網絡的平均度和平均聚類系數值都明顯減少,經t檢驗,兩種觀看方式下,觀看視頻前后的差異都具有統計學意義(P < 0.05)。由圖 7 第二排數據可以看出,相比觀看 TP 視頻前后,觀看 VR 視頻前后,腦網絡的平均度差值和平均聚類系數差值更高,且經t檢驗,兩種觀看方式下的兩組差值都具有統計學意義(P < 0.05)。以上結果可以表明,受試者在觀看視頻產生疲勞后,腦網絡的平均度和平均聚類系數都會減少,并且觀看 VR 視頻后,腦網絡的平均度和平均聚類系數減少的更多,網絡節點的連接更少。
圖7
觀看視頻前后腦網絡的平均度和平均聚類系數的對比結果
Figure7.
The comparison of average degree and clustering coefficient in brain network before and after watching video
對比不同觀看方式下,觀看視頻前后腦網絡的平均路徑長度和平均全局效率,以及觀看視頻前后這兩個網絡特征參數的差值,結果如圖 8 所示,由圖 8 第一排可以看出,無論是觀看 TP 視頻還是觀看 VR 視頻后,腦網絡的平均路徑長度都明顯增加,平均全局效率都明顯減少,經 t 檢驗,兩種觀看方式下,觀看視頻前后的差異都具有統計學意義(P < 0.05)。由圖 8 第二排可以看出,相比觀看 TP 視頻前后,觀看 VR 視頻前后腦網絡的平均路徑長度差值和平均全局效率差值更高,且經 t 檢驗,兩種觀看方式下的平均路徑長度差值和平均全局效率差值具有統計學意義(P < 0.05)。以上結果可以表明,受試者在觀看視頻產生疲勞后,腦網絡的平均路徑長度都增加,平均全局效率都減少,并且觀看 VR 視頻后,腦網絡的平均路徑長度增加更多,平均全局效率下降的更多,網絡傳遞信息效率更低。
圖8
觀看視頻前后腦網絡的平均路徑長度和平均全局效率的對比結果
Figure8.
The comparison of average path length and global efficiency in brain network before and after watching video
對比不同觀看方式下,觀看視頻前后腦網絡的“小世界”屬性,以及觀看視頻前后“小世界”屬性的差值,結果如圖 9 左圖所示,無論是觀看 TP 視頻還是觀看 VR 視頻后,腦網絡的“小世界”屬性都明顯減少,經t檢驗,兩種觀看方式下,觀看視頻前后的“小世界”屬性差異都具有統計學意義(P < 0.05)。同時可以看出,兩種觀看方式下,觀看視頻前后的“小世界”屬性值都大于 1,表明觀看視頻前后的腦網絡都具有“小世界”屬性。由圖 9 右圖可以看出,相比觀看 TP 視頻前后,觀看 VR 視頻前后,腦網絡的“小世界”屬性差值更大,且經t檢驗,兩種觀看方式下的“小世界”屬性差值具有統計學意義(P < 0.05)。以上結果可以表明,受試者在觀看視頻產生疲勞后,腦網絡的“小世界”屬性都會減少,并且觀看 VR 視頻后,腦網絡的“小世界”屬性減少更多。
圖9
觀看視頻前后腦網絡“小世界”屬性對比結果
Figure9.
The comparison of small world attribute in brain network before and after watching video
3 討論
本文通過主觀疲勞量表和客觀 EEG 信號來研究 VR 視覺體驗引發的腦疲勞,基于 EEG 信號數據構建受試者在不同狀態下的腦功能網絡,利用腦功能網絡手段對比分析受試者的腦功能網絡參數,并結合主觀疲勞量表來共同評價受試者的腦疲勞程度。
首先,通過 VDT 和 SPFS 主觀量表的對比分析可以看出觀看視頻后的量表分值都高于觀看視頻前,且觀看 VR 視頻后的量表分值的增加高于觀看 TP 視頻,說明受試者在觀看視頻后主觀都產生了疲勞感,且觀看 VR 視頻比觀看 TP 視頻更容易產生疲勞感。
其次,對比分析了 TP 和 VR 兩種觀看方式下,觀看視頻前和觀看視頻后各 5 min 的靜息態 EEG 信號 30 通道的腦網絡互相關矩陣和互相關二值矩陣。通過矩陣圖可以看出,無論是觀看 TP 視頻還是觀看 VR 視頻后,互相關矩陣和互相關二值矩陣圖的白色區域部分都減少,說明觀看視頻后大腦不同通道之間的互相關性都減少;并且通過互相關二值矩陣圖可以看出,相比觀看 TP 視頻,觀看 VR 視頻后大腦不同通道之間存在相關性的通道數量更少,說明受試者在觀看 VR 視頻后,大腦通道之間相關性受到的影響更大。因此可以說明,隨著腦疲勞的出現,腦網絡互相關系數減小,腦網絡連接減少,腦網絡變稀疏,復雜程度變小,并且相比觀看 TP 視頻,觀看 VR 視頻后對受試者的腦網絡的影響更大。
最后,在互相關矩陣和互相關二值矩陣的基礎上,對比分析了受試者觀看視頻前和觀看視頻后兩種狀態下所有受試者的腦網絡的平均度、平均聚類系數、平均路徑長度、平均全局效率和“小世界”屬性 5 個網絡特征參數的統計學差異,可以看出,無論是觀看 TP 視頻還是觀看 VR 視頻后,腦網絡的平均度、平均聚類系數、平均全局效率值和“小世界”屬性都明顯減少,且相比觀看 TP 視頻方式,觀看 VR 視頻后腦網絡的平均度值、平均聚類系數、平均全局效率和“小世界”屬性減少得更多;同時,腦網絡的平均路徑長度值都明顯增加,且相比觀看 TP 視頻方式,觀看 VR 視頻后腦網絡的平均路徑長度值增加得更多。因此可以說明,隨著觀看視頻后腦疲勞的出現,平均度和平均聚類系數均減少,表明疲勞狀態時,腦功能網絡節點間的連接減少,聚集程度減弱,網絡連通性變差;平均路徑長度的增大和平均全局效率值的降低,表明疲勞狀態時,大腦信息傳輸路徑變長,導致傳輸速度變慢,傳遞效率降低,網絡的傳輸能力減弱;“小世界”屬性減少,腦網絡的拓撲結構發生了變化,并且相比觀看 TP 視頻,觀看 VR 視頻后對腦網絡特征參數的影響更大。
功能連接是指空間上分離的神經單元其神經活動在時間上的關聯性或統計依賴關系[29],腦功能網絡就是對大腦結構網絡上不同的神經元或腦區之間動態活動交互整合的直觀描述。Zhang 等[30]利用腦功能網絡方法研究駕駛疲勞的腦網絡特性,結果發現隨著疲勞的增加,會導致大腦網絡連接數量、聚類系數和全局效率都減少,路徑長度增加。與本研究的疲勞結果相同,腦疲勞會影響大腦的網絡結構,導致不同的神經元和腦區之間的交互減少,網絡連接性減小,信息交流傳遞能力減弱。Li 等[31]利用小世界腦功能網絡研究觀看三維視頻前后的腦網絡變化,結果發現觀看三維視頻比觀看二維視頻更容易導致大腦疲勞。觀看 VR 視頻與觀看三維視頻有類似效果,觀看 VR 視頻也需要左右眼分別觀看平面影像,再通過大腦合成立體影像,相比 TP 視頻,觀看 VR 視頻時大腦需要處理更多的視覺信息,大腦需要承受更多的信息負荷,而大腦中信息的處理需要神經元的持續快速放電,但長時間的高負荷狀態會使大腦消耗更多的能量,過多的能量消耗會抑制神經元的放電,使大腦趨于緩慢,產生疲勞狀態。腦功能網絡的基本組成是每個節點的連接性,因此局部連接變化會影響到整個腦網絡,由于大腦產生疲勞會對神經元抑制放電,就會由局部變化反映到整個腦網絡,從而導致整個腦網絡的連接性減少。
基于以上討論,在今后的研究中應更多關注長時間觀看 VR 視頻對于大腦的影響。目前已有研究者希望通過其他感官刺激來減少觀看 VR 視頻帶來的影響,例如:Seok 等[32]通過香味刺激嗅覺感官來減少受試者觀看 VR 視頻時引發的沉浸、頭暈和壓力等不適癥狀。但從 VR 設備的實際應用來說,更多地應該從 VR 本身技術的提升和設備的合理使用來提高用戶體驗,EEG 信號以及腦網絡處理分析等手段可以為 VR 技術的改進提供監測方法和參考價值。
4 結論
本文通過采集受試者觀看 TP 視頻和觀看 VR 視頻的 EEG 信號數據,對觀看視頻前后的 EEG 信號數據進行處理分析,利用互相關腦功能網絡構建方法,分別構建了觀看 TP 視頻和觀看 VR 視頻前后的互相關腦網絡,并對互相關系數矩陣、互相關二值矩陣以及平均度、平均聚類系數、平均路徑長度、平均全局效率和“小世界”屬性等腦網絡特征參數進行對比分析,并結合對受試者的主觀疲勞量表分析,從主觀和客觀兩個角度來研究 VR 視覺體驗引起腦疲勞的影響。結果發現:一定時間內從主觀感受上,觀看 VR 視頻比觀看 TP 視頻更容易產生疲勞感;隨著腦疲勞的出現,腦網絡互相關系數減小,腦網絡連接減少,腦網絡變稀疏;并且相比觀看 TP 視頻,觀看 VR 視頻后對腦網絡參數的影響更大;可以通過觀看視頻后平均度、平均聚類系數、平均全局效率和“小世界”屬性的減少以及平均路徑長度的增加等腦網絡特征參數的變化趨勢來分析觀看 VR 視頻引發人體腦疲勞作用的影響,從而為探索 VR 視覺體驗引發腦疲勞的有效監測方法,進而為建立腦疲勞的評價指標和 VR 設備的合理健康應用提供重要的理論基礎和參考價值。
利益沖突聲明:本文全體作者均聲明不存在利益沖突。










