針對飛行員疲勞狀態識別的復雜性，本文基于腦電信號提出一種新的深度學習模型。一方面，利用小波包變換對飛行員腦電信號進行多尺度分解，提取了腦電信號的四個節律波段：δ 波（0.4～3 Hz）、θ 波（4～7 Hz）、α 波（8～13 Hz）和 β 波（14～30 Hz），將重組的波段信號作為純凈的腦電信號。另一方面，提出一種基于深度收縮自編碼網絡的飛行員疲勞狀態識別模型，并與其他方法進行比較。實驗結果顯示，針對飛行員疲勞狀態識別問題，所建立的新的深度學習模型具有很好的識別效果，識別準確率高達 91.67%。因此，研究基于深度收縮自編碼網絡的飛行員疲勞狀態識別具有重要意義。
引用本文： 韓霜, 吳奇, 孫禮兵, 裘旭益, 任和, 盧釗. 基于深度收縮自編碼網絡的飛行員疲勞狀態識別. 生物醫學工程學雜志, 2018, 35(3): 443-451. doi: 10.7507/1001-5515.201701018 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
引言
隨著科技的進步以及飛行器自動化水平不斷提高，因飛機發動機、操作平臺等設備故障導致飛行事故的比例從 20 世紀中葉的 85% 降到了如今的 12%～21%，而因操作者所導致的飛行事故占全部飛行事故的比例現已高達 70%[1-2]。據國際民航組織（International Civil Aviation Organization，ICAO）的統計，人為因素在現代航空事故中所占的比例高達 76%，其中飛行人員原因造成的事故占 60% 以上，與飛行員疲勞有關的事故占 21%[3-4]。因此，減少因飛行員疲勞造成的飛行事故，對航空安全具有重大意義。
2008 年 ICAO 在各國局長工作報告會上，明確給出了飛行疲勞的定義。飛行疲勞是一種會降低腦力或身體績效的生理狀況，一般是由睡眠不足、長期失眠或長時間的肢體運動等原因引起的，會削弱機組的警戒水平、安全操縱航空器以及完成與安全相關的任務的能力[5]。目前，飛行疲勞的研究可分為主觀方法（如基于飛行員自我感知狀況等）和客觀方法（如基于飛行員外部動作和生理特征狀況等）。主觀方法是通過主觀調查表、飛行員在飛行中的個人記錄表、斯坦福睡眠尺度表或皮爾遜疲勞量表等評定飛行員的疲勞狀況的監測方法。客觀測量方法是通過測量眼瞼閉合、頭部運動、手部運動、心率、脈搏等生理特征變化來判斷飛行員的疲勞狀態。相比于主觀評價方法，客觀測量方法能更加量化地反映飛行員疲勞程度，成為疲勞檢測的主流發展方向，但目前基于生理參數對飛行員疲勞的研究方法還無法給出實時監測結果[6-7]。因此，能實時快速反映飛行員疲勞狀態的指標及識別方法具有更高的應用價值。
人的行為意識是大腦神經中樞傳輸控制大量神經元作用的結果。在大腦運作時，神經元樹突受到其他神經細胞的刺激和軸突刺激其他神經元，過程中會產生一系列動作電位即腦電（electroencephalogram，EEG）信號，可以利用放置在大腦皮層的電極來采集這些腦電信號并用于分析研究。Ghaemi 等[8]用腦電信號來識別左右手的活動，平均準確率達到 76.24%；Chen 等[9]用腦電信號的頻譜信息來評估觀看 3DTV 的視覺疲勞，對比主觀調查表情況，對疲勞的平均識別準確率達到 87%。此外，隨著便攜式腦電信號采集設備的發展，改善了腦電信號采集難的問題。因此，采用腦電信號監測飛行員疲勞狀態具有較大的實際應用價值。
傳統腦電信號特征提取方法主要集中在信息熵領域。Slanzi 等[10]提取了腦電信號的近似熵等特征，用邏輯回歸預測實驗者是否點擊網頁，準確率為 71.09%；李明愛等[11]利用小波包和熵準則提取腦電信號的最優頻段，作為支持向量機的輸入向量，識別大腦想象的不同運動，準確率最高可達到 81.75%。人工提取腦電信號的時頻特征，受制于研究者自身水平的局限，不能準確地表征腦電信息，急需先進的機器學習技術來改進腦電信號的特征提取，而目前出現的深度學習技術可以有效地解決這一難題。深度學習是一種自主學習特征的模型，可最大化保留原始數據特征，給出更加客觀性的特征[12]。Stober 等[13]用多層降噪自編碼器對受試者所聽到的音樂旋律進行分類，識別正確率可達 90%；Chai 等[14]利用自動編碼器來識別人的情緒變化，識別率高達 81.81%。針對飛行員疲勞狀態下的腦電信號，不僅需要去除冗余信息增加計算效率，還需要增加各相同狀態之間的相似性及不同狀態之間的差異性，以保障較高的疲勞狀態識別的準確率。上述文獻的自編碼網絡僅去除信號冗余度提高計算效率，但對差別比較小的非疲勞、微疲勞、極度疲勞的腦電信號之間的區分并不明顯。基于此，本文建議利用反映信號各個方向微小變化的雅克比矩陣，給自動編碼網絡（auto-encoding network，AEN）增加一個減弱干擾的懲罰項約束，形成一種收縮自編碼網絡（contractive auto-encoding network，CAEN），可以增強微小變化對輸出值的影響，從而提高信號微小差異間的分類準確率。同時，利用多層深度學習能多層次更好地學習非線性特征的特點，本文提出一種新的深度收縮自編碼網絡（deep contractive auto-encoding network，DCAEN），對飛行員腦電信號進行抽象特征學習。
為了實現飛行員不同疲勞狀態的精確分類，通常需要在二分類的基礎上再增加一對多或一對一的識別，達到多分類的目的。Softmax 分類器[15]是一種多類分類器，是邏輯回歸分類器的推廣，通過最大似然估計求解分類模型，最大化保留不同類別的代表性特征，適合作為 DCAEN 的頂層分類器，進行飛行員疲勞狀態（非疲勞、微疲勞、極度疲勞）的識別。
因此，本文提出一種基于 DCAEN-Softmax 的飛行員腦電特征自學習和狀態識別模型，并與 AEN 及主成分分析方法（principal components analysis，PCA）模型進行了比較。接下來分別介紹 DCAEN-Softmax 模型、腦電數據的采集和處理，以及基于深度收縮自編碼網絡的飛行員疲勞狀態識別實驗。
1 DCAEN-Softmax 模型
1.1 自動編碼器
標準自動編碼器（auto encoder，AE）[12]是 1968 年由 Rumelhart 所提出的三層神經網絡結構，如圖 1 所示，它包括輸入層 x、隱藏層 h 和輸出層 y，其中輸入層的維數等于輸出層的維數。
圖1
自編碼網絡
Figure1.
Self-coding network
自動編碼器對輸入數據的處理包含編碼和解碼兩部分。
編碼過程：將輸入變量 x 通過非線性函數映射到隱藏層 h，由此輸入變量 x 便有了 h 這一種的表現形式。具體編碼的原理為
 |
 |
其中，
，
，W 是
的權重矩陣；b 為輸入層偏置向量；
，
為 Sigmoid 函數，其表達式如式（2）所示。
解碼過程：將通過非線性映射而得到的隱藏層編碼 h 再映射到輸出層 y，使得輸出層 y 盡量與輸入層 x 相同，映射關系如下所示：
'/> |
式中，
，
是隱藏層到輸出層的權重矩陣，且有
；
為隱藏層的偏置向量；θ =
，將參數合并為
。
通過輸入層與輸出層的差值來調節網絡參數 θ，使得輸入信息與輸出信息之間重構的誤差最小。傳統自動編碼器采用的代價函數為均方誤差（mean squared error，MSE），即
 |
式中，m 為樣本的數量，xi 為輸入向量，yi 為輸出向量，θ 為網絡中所有參數的集合。
1.2 收縮自動編碼器
由于腦電信號是微弱復雜的信號，因此需要增強自動編碼器學習抽象特征的能力，這里可以通過引入雅克比矩陣作為懲罰項，構建新的最優化問題。雅可比矩陣是對某給定點的可微方程提供最優線性逼近，其中包含信號的各個方向信息特點，反映了原始空間微小變化引發的值域空間變化的敏感度。對此，可去除其他信息對微弱復雜信號的干擾，在自動編碼器的代價函數中增加關于雅克比矩陣的約束，可以抑制信息在所有方向上的擾動，從而增強自動編碼器特征學習的泛化能力，最大化地學習相同特征間的相似點。
收縮自動編碼器[12]（contractive auto-encoder，CAE）的代價函數由式（4）變換得來：
 |
其中，雅克比矩陣為
，
為隱藏層的編碼函數，則
 |
1.3 Softmax 分類器
在神經網絡相關的多分類問題中，多層網絡的求解大多使用梯度下降法來更新參數。Softmax 分類器因其損失函數便于進行求導運算而被廣泛使用[15]。
邏輯回歸分類解決的是二分類問題，相對應地，Softmax 分類解決的是多分類問題。Softmax 分類是對邏輯回歸分類的一種擴展，它通過最大似然估計法求解分類模型，最大化地提取信息中的本質特點，從而區分不同類別。
假設有類標 y 可以取 r 個不同的值，對于訓練集
，類標簽為
，r 為分類數。對于給定的輸入
，用假設函數
針對每一個類 k，可估算出概率值
。
的輸出為一個 r 維列向量（總體概率和為 1），每行表示當前類別的概率。
假定假設函數
為
 |
其中，
是模型參數，將
分為第 k 類的概率記為
 |
Softmax 分類器的代價函數為：
 |
對于樣本
，將概率
值最大所對應的類別 k 作為當前樣本的分類標簽，并與樣本本身的標簽做對比。如果一致則分類（識別）正確，否則分類（識別）錯誤，識別準確率（Accuracy Rate）可表示為：
 |
1.4 DCAEN -Softmax 模型
DCAEN-Softmax 是由若干個 CAE 及頂層 Softmax 分類器組成。處理方法為：第一步，逐層隨機初始化各層參數；第二步，將原始無標簽數據作為第一層 CAE 的輸入，逐層訓練，訓練好的第（L－1）層的結果作為第 L 層的輸入，如此進行非線性變換，得出 DCAEN 各層參數的初始值；第三步，將帶標簽的數據輸入 DCAEN-Softmax 中，根據標簽結果，用后向傳播（back-propagation，BP）算法對各層參數進行微調。建立的基于 DCAEN-Softmax 的飛行員疲勞狀況識別框架如圖 2 所示，首先采用一種自主學習的 DCAEN 逐層學習獲取較為優化的權值，然后通過在網絡頂層附加 Softmax 分類器對整體網絡參數進行進一步的細微調節。
圖2
DCAEN-Softmax 模型技術流程
Figure2.
Framework of DCAEN-Softmax model
算法步驟如下：
（1）設置隱藏層數 N；計數器 i = 0；隨機初始化超參數：隱藏層權重 W 和偏移系數 b；懲罰項系數 λ。
（2）原始數據
（n1 為輸入層的神經元數），通過非線性激活函數
，映射到隱藏層，得到隱藏層對輸入層的編碼結果
（n2 為隱藏層的神經元個數），有
；再利用同樣的方法將 h 映射到重構層得
，有
。式中，
和
分別為隱藏層到重構層的權重和偏移系數；i = i + 1。
（3）調整 W 和 B、
和
，使 x 與 y 之間近似，并在代價函數中加入隱藏層的雅克比矩陣限制條件，抑制噪聲干擾，有數學表達式
，得到損失函數
，通過迭代算法：
 |
優化損失函數對訓練參數 W 和 B、
和
進行更新，直至算法收斂。
（4）判斷隱藏層數 i 是否為 N；若否，則 h 為 x，跳到步驟（2）；若是，得各層參數 W 和 B、
和
。
（5）將步驟（4）中所得的各層參數 W 和 B、
和
作為 DCAEN-Softmax 模型的初始值，利用帶標簽的數據及 BP 算法微調各層參數。
2 腦電數據采集與處理
采集和處理的腦電數據來源于民用航空器的健康監測上海工程研究中心的模擬飛行實驗。實驗環境為 CRJ-200 模擬駕駛艙，腦電采集設備為 BCI 2000 系統，采用國際 10-10 系統中 64 個參考電極的放置方式，采樣頻率為 160 Hz。實驗情形設置為不同時間段下，飛行員從上海虹橋機場飛往陜西咸陽機場的模擬飛行，飛行路徑如圖 3 所示。飛行員在前夜保持良好睡眠，分別于次日 8:00–11:00、12:00–15:00、第三日 0:00–3:00 時間段參與實驗，并且飛行員在次日到第三日的時間段被剝奪睡眠權利，在操作實驗時每 20 分鐘記錄一次兩極疲勞量表。同時，為了降低設備帶來的影響，被試者在測試之前進行了多次熟悉訓練，將設備影響降到最低。通過對飛行過程中兩極疲勞量表的分析，分別截取不同時段的數據集作為非疲勞、微疲勞、極度疲勞狀況的數據集，如表 1 所示。飛行實驗的被試者為 40 名身體素質良好且有 1 年以上飛行經驗的飛行員，同時，被試者在實驗前無不良作息習慣。實驗采集 40 個飛行員的腦電數據，包含 40 個非疲勞信號的數據集、40 個微疲勞信號的數據集和 40 個極度疲勞信號的數據集，共 120 個數據集。每個數據集的矩陣維度為 64 × 96 000。
圖3
模擬實驗的飛行路徑
Figure3.
Simulation flight path
表1
不同時間段從上海虹橋飛往陜西咸陽的模擬飛行實驗
Table1.
Simulation flight experiments from Hongqiao to Xianyang at different times
2.1 腦電信號預處理
腦電信號微弱、易受干擾，因此在特征學習之前要對腦電信號進行預處理，預處理流程如圖 4 所示。首先截取所需要的腦電信號片段，利用小波包精細化分解得出腦電信號的四個節律區間，進而重組成純凈的腦電信號。一般地，腦電信號的基本特征包括頻率、周期、幅值、相位等，其中頻率特性具有較為突出的特點。根據頻率和幅值的特性，腦電信號主要可分為 δ 波（0.4～3 Hz）、θ 波（4～7 Hz）、α 波（8～13 Hz）和 β 波（14～30 Hz）。因此，結合腦電信號特征及小波包變換[16]提供精細化信號處理的特點，選擇與腦電信號最為相似的 DB4 小波包對原始腦電信號作小波包變換，如圖 5 所示，將腦電信號進行高低頻分解。由于采集的腦電信號為 160 Hz，因此選取 4 層分解，以提取頻率低于 30 Hz 的 4 個節律波段。再對 DB4 小波包分解出的節律波段進行重組，形成腦電信號。圖 6 所示為 Fp1 導聯的腦電信號原始波形和小波包分解重組之后的波形。
圖4
腦電信號預處理的流向圖
Figure4.
The diagram of EEG signals processing
圖5
DB4 小波包對原始腦電信號作小波包變換
Figure5.
Wavelet packet transform of the original electroencephalogram signals with DB4 wavelet packet
圖6
Fp1 導聯的腦電信號重組
Figure6.
Reconstruction of electroencephalogram signals of Fp1
2.2 疲勞識別
根據 DCAEN-Softmax 模型的原理，研究實現了飛行員疲勞狀況識別，具體技術路線如圖 7 所示。首先，利用 DCAEN 對預處理的無標簽的飛行員腦電信號進行無監督逐層學習，獲取 DCAEN-Softmax 初始化的參數；其次，利用預處理的帶標簽的飛行員腦電信號對 DCAEN-Softmax 進行有監督學習，通過頂層分類器 Softmax 對 DCAEN 所學習的抽象特征分類情況，對 DCAEN-Softmax 模型進行微調；最后，將測試集作為已訓練 DCAEN-Softmax 模型的輸入，對飛行員疲勞狀況進行識別。
圖7
腦電信號處理程序流程圖
Figure7.
The flow chart of electroencephalogram signals processing program
為了盡可能利用較短的時間來識別飛行員疲勞狀態，根據疲勞研究的相關文獻[17]，挑選出與疲勞相關的工作區域，選取的電極位置為 Fp1；截取 2 min 時間段的腦電信號作為分析對象。每個樣本中含有 160*2*60 個數據，共有 120 個樣本。采用 5-折交叉驗證方法進行模型的訓練和識別。同時，為了說明所提方法的有效性，分別選擇 AEN 和 PCA 方法在不同模式下提取飛行員疲勞狀態的主要特征，然后利用 Softmax 分類器作為頂層識別模型。不同模式定義如下：針對 DCAEN-Softmax 模型和 AEN-Softmax 模型，模式的定義為模型最后輸入 Softmax 分類器的維度；針對 PCA-Softmax 模型，模式的定義為從 PCA 中提取主成分的個數組成的維度。如 39 維的模式為設置 DCAEN 和 AEN 中最后一層神經元個數為 39，使得輸入到 Softmax 分類器端的為 39 維數據；選取 PCA 中占主要比重的前 39 個主成分向量，構成 39 維輸入數據輸入 Softmax 分類器。圖 8 和表 2 為不同模型在不同模式下對飛行員疲勞狀況的識別結果和識別準確率。
圖8
不同維度下 DCAEN-Softmax 和傳統模型識別結果
1 代表極度疲勞狀態，2 代表微疲勞狀態，3 代表非疲勞狀態
Figure8. The recognition results of DCAEN-Softmax and traditional models under different dimensions1: excessive fatigue status; 2: mild fatigue status; 3: normal status
表2
不同維度下 DCAEN-Softmax 和傳統模型識別準確率
Table2.
The recognition results of DCAEN-Softmax and traditio nal models under different dimensions
根據圖 8 和表 2 中各個模型在不同特征模式下的識別結果和識別準確率可發現，DCAEN-Softmax 模型的識別結果和識別準確率都優于 AEN-Softmax 模型和 PCA-Softmax 模型，39 維度下識別準確率高達 91.67%。因此，相比 AEN-Softmax 模型和 PCA-Softmax 模型，DCAEN-Softmax 模型能更好地識別飛行員三種疲勞狀態（非疲勞、微疲勞和極度疲勞）。此外，根據圖 9 所示的不同模型訓練得出的特征空間關系，可以更直觀地發現，DCAEN 確實是極大程度地保留了腦電信息特征，優于 AEN 和 PCA 的特征提取。DCAEN 方法不僅具有對特征的維度降低和對抽象特征的優秀學習能力，同時在代價函數中加入隱藏層的雅克比矩陣的約束，消除了非疲勞、微疲勞和極度疲勞三種狀態之間的干擾，增強了各狀態之間的差異性。實驗結果說明基于 DCAEN-Softmax 模型的飛行員疲勞狀態識別是切實可行的。
圖9
DCAEN、AEN 和 PCA 提取的三維特征
Figure9.
Three-dimensional features extracted using DCAEN, AEN and PCA
3 結束語
飛行員疲勞狀態下的腦電信號，經小波包變換重組后，表征飛行員疲勞特征的時頻成分被作為深度學習的輸入向量，而不是傳統的人工提取幾個特征作為分類器的輸入向量，所以所提方法最大限度地包含了飛行員的原始腦部活動信息。同時，所提出的這種基于 DCAEN-Softmax 的飛行員疲勞狀態識別模型，不但可以無監督自主學習不同狀態下飛行員腦電動態節律特征，提取出表征飛行員疲勞的抽象特征，而且實驗結果也顯示，加入雅克比行列式的約束減少了干擾，增強了非疲勞、微疲勞和極度疲勞三種狀態的類內相似性和類間差異性。對比傳統方法的實驗結果顯示，這種基于 DCAEN-Softmax 的飛行員疲勞狀態識別模型可更好地提取飛行員疲勞狀態特征，識別準確率高達 91.67%，高于 AEN-Softmax 模型和 PCA-Softmax 模型。因此，基于 DCAEN-Softmax 的飛行員疲勞狀態識別方法正確且有效。本實驗僅討論了 Fp1 導聯的腦電信號，未來工作將繼續研究利用其他導聯的腦電信號對飛行員疲勞狀態的識別。
引言
隨著科技的進步以及飛行器自動化水平不斷提高，因飛機發動機、操作平臺等設備故障導致飛行事故的比例從 20 世紀中葉的 85% 降到了如今的 12%～21%，而因操作者所導致的飛行事故占全部飛行事故的比例現已高達 70%[1-2]。據國際民航組織（International Civil Aviation Organization，ICAO）的統計，人為因素在現代航空事故中所占的比例高達 76%，其中飛行人員原因造成的事故占 60% 以上，與飛行員疲勞有關的事故占 21%[3-4]。因此，減少因飛行員疲勞造成的飛行事故，對航空安全具有重大意義。
2008 年 ICAO 在各國局長工作報告會上，明確給出了飛行疲勞的定義。飛行疲勞是一種會降低腦力或身體績效的生理狀況，一般是由睡眠不足、長期失眠或長時間的肢體運動等原因引起的，會削弱機組的警戒水平、安全操縱航空器以及完成與安全相關的任務的能力[5]。目前，飛行疲勞的研究可分為主觀方法（如基于飛行員自我感知狀況等）和客觀方法（如基于飛行員外部動作和生理特征狀況等）。主觀方法是通過主觀調查表、飛行員在飛行中的個人記錄表、斯坦福睡眠尺度表或皮爾遜疲勞量表等評定飛行員的疲勞狀況的監測方法。客觀測量方法是通過測量眼瞼閉合、頭部運動、手部運動、心率、脈搏等生理特征變化來判斷飛行員的疲勞狀態。相比于主觀評價方法，客觀測量方法能更加量化地反映飛行員疲勞程度，成為疲勞檢測的主流發展方向，但目前基于生理參數對飛行員疲勞的研究方法還無法給出實時監測結果[6-7]。因此，能實時快速反映飛行員疲勞狀態的指標及識別方法具有更高的應用價值。
人的行為意識是大腦神經中樞傳輸控制大量神經元作用的結果。在大腦運作時，神經元樹突受到其他神經細胞的刺激和軸突刺激其他神經元，過程中會產生一系列動作電位即腦電（electroencephalogram，EEG）信號，可以利用放置在大腦皮層的電極來采集這些腦電信號并用于分析研究。Ghaemi 等[8]用腦電信號來識別左右手的活動，平均準確率達到 76.24%；Chen 等[9]用腦電信號的頻譜信息來評估觀看 3DTV 的視覺疲勞，對比主觀調查表情況，對疲勞的平均識別準確率達到 87%。此外，隨著便攜式腦電信號采集設備的發展，改善了腦電信號采集難的問題。因此，采用腦電信號監測飛行員疲勞狀態具有較大的實際應用價值。
傳統腦電信號特征提取方法主要集中在信息熵領域。Slanzi 等[10]提取了腦電信號的近似熵等特征，用邏輯回歸預測實驗者是否點擊網頁，準確率為 71.09%；李明愛等[11]利用小波包和熵準則提取腦電信號的最優頻段，作為支持向量機的輸入向量，識別大腦想象的不同運動，準確率最高可達到 81.75%。人工提取腦電信號的時頻特征，受制于研究者自身水平的局限，不能準確地表征腦電信息，急需先進的機器學習技術來改進腦電信號的特征提取，而目前出現的深度學習技術可以有效地解決這一難題。深度學習是一種自主學習特征的模型，可最大化保留原始數據特征，給出更加客觀性的特征[12]。Stober 等[13]用多層降噪自編碼器對受試者所聽到的音樂旋律進行分類，識別正確率可達 90%；Chai 等[14]利用自動編碼器來識別人的情緒變化，識別率高達 81.81%。針對飛行員疲勞狀態下的腦電信號，不僅需要去除冗余信息增加計算效率，還需要增加各相同狀態之間的相似性及不同狀態之間的差異性，以保障較高的疲勞狀態識別的準確率。上述文獻的自編碼網絡僅去除信號冗余度提高計算效率，但對差別比較小的非疲勞、微疲勞、極度疲勞的腦電信號之間的區分并不明顯。基于此，本文建議利用反映信號各個方向微小變化的雅克比矩陣，給自動編碼網絡（auto-encoding network，AEN）增加一個減弱干擾的懲罰項約束，形成一種收縮自編碼網絡（contractive auto-encoding network，CAEN），可以增強微小變化對輸出值的影響，從而提高信號微小差異間的分類準確率。同時，利用多層深度學習能多層次更好地學習非線性特征的特點，本文提出一種新的深度收縮自編碼網絡（deep contractive auto-encoding network，DCAEN），對飛行員腦電信號進行抽象特征學習。
為了實現飛行員不同疲勞狀態的精確分類，通常需要在二分類的基礎上再增加一對多或一對一的識別，達到多分類的目的。Softmax 分類器[15]是一種多類分類器，是邏輯回歸分類器的推廣，通過最大似然估計求解分類模型，最大化保留不同類別的代表性特征，適合作為 DCAEN 的頂層分類器，進行飛行員疲勞狀態（非疲勞、微疲勞、極度疲勞）的識別。
因此，本文提出一種基于 DCAEN-Softmax 的飛行員腦電特征自學習和狀態識別模型，并與 AEN 及主成分分析方法（principal components analysis，PCA）模型進行了比較。接下來分別介紹 DCAEN-Softmax 模型、腦電數據的采集和處理，以及基于深度收縮自編碼網絡的飛行員疲勞狀態識別實驗。
1 DCAEN-Softmax 模型
1.1 自動編碼器
標準自動編碼器（auto encoder，AE）[12]是 1968 年由 Rumelhart 所提出的三層神經網絡結構，如圖 1 所示，它包括輸入層 x、隱藏層 h 和輸出層 y，其中輸入層的維數等于輸出層的維數。
圖1
自編碼網絡
Figure1.
Self-coding network
自動編碼器對輸入數據的處理包含編碼和解碼兩部分。
編碼過程：將輸入變量 x 通過非線性函數映射到隱藏層 h，由此輸入變量 x 便有了 h 這一種的表現形式。具體編碼的原理為
|
|
其中，
，
，W 是
的權重矩陣；b 為輸入層偏置向量；
，
為 Sigmoid 函數，其表達式如式（2）所示。
解碼過程：將通過非線性映射而得到的隱藏層編碼 h 再映射到輸出層 y，使得輸出層 y 盡量與輸入層 x 相同，映射關系如下所示：
|
'/> |
式中，
，
是隱藏層到輸出層的權重矩陣，且有
；
為隱藏層的偏置向量；θ =
，將參數合并為
。
通過輸入層與輸出層的差值來調節網絡參數 θ，使得輸入信息與輸出信息之間重構的誤差最小。傳統自動編碼器采用的代價函數為均方誤差（mean squared error，MSE），即
|
式中，m 為樣本的數量，xi 為輸入向量，yi 為輸出向量，θ 為網絡中所有參數的集合。
1.2 收縮自動編碼器
由于腦電信號是微弱復雜的信號，因此需要增強自動編碼器學習抽象特征的能力，這里可以通過引入雅克比矩陣作為懲罰項，構建新的最優化問題。雅可比矩陣是對某給定點的可微方程提供最優線性逼近，其中包含信號的各個方向信息特點，反映了原始空間微小變化引發的值域空間變化的敏感度。對此，可去除其他信息對微弱復雜信號的干擾，在自動編碼器的代價函數中增加關于雅克比矩陣的約束，可以抑制信息在所有方向上的擾動，從而增強自動編碼器特征學習的泛化能力，最大化地學習相同特征間的相似點。
收縮自動編碼器[12]（contractive auto-encoder，CAE）的代價函數由式（4）變換得來：
|
其中，雅克比矩陣為
，
為隱藏層的編碼函數，則
|
1.3 Softmax 分類器
在神經網絡相關的多分類問題中，多層網絡的求解大多使用梯度下降法來更新參數。Softmax 分類器因其損失函數便于進行求導運算而被廣泛使用[15]。
邏輯回歸分類解決的是二分類問題，相對應地，Softmax 分類解決的是多分類問題。Softmax 分類是對邏輯回歸分類的一種擴展，它通過最大似然估計法求解分類模型，最大化地提取信息中的本質特點，從而區分不同類別。
假設有類標 y 可以取 r 個不同的值，對于訓練集
，類標簽為
，r 為分類數。對于給定的輸入
，用假設函數
針對每一個類 k，可估算出概率值
。
的輸出為一個 r 維列向量（總體概率和為 1），每行表示當前類別的概率。
假定假設函數
為
|
其中，
是模型參數，將
分為第 k 類的概率記為
|
Softmax 分類器的代價函數為：
|
對于樣本
，將概率
值最大所對應的類別 k 作為當前樣本的分類標簽，并與樣本本身的標簽做對比。如果一致則分類（識別）正確，否則分類（識別）錯誤，識別準確率（Accuracy Rate）可表示為：
|
1.4 DCAEN -Softmax 模型
DCAEN-Softmax 是由若干個 CAE 及頂層 Softmax 分類器組成。處理方法為：第一步，逐層隨機初始化各層參數；第二步，將原始無標簽數據作為第一層 CAE 的輸入，逐層訓練，訓練好的第（L－1）層的結果作為第 L 層的輸入，如此進行非線性變換，得出 DCAEN 各層參數的初始值；第三步，將帶標簽的數據輸入 DCAEN-Softmax 中，根據標簽結果，用后向傳播（back-propagation，BP）算法對各層參數進行微調。建立的基于 DCAEN-Softmax 的飛行員疲勞狀況識別框架如圖 2 所示，首先采用一種自主學習的 DCAEN 逐層學習獲取較為優化的權值，然后通過在網絡頂層附加 Softmax 分類器對整體網絡參數進行進一步的細微調節。
圖2
DCAEN-Softmax 模型技術流程
Figure2.
Framework of DCAEN-Softmax model
算法步驟如下：
（1）設置隱藏層數 N；計數器 i = 0；隨機初始化超參數：隱藏層權重 W 和偏移系數 b；懲罰項系數 λ。
（2）原始數據
（n1 為輸入層的神經元數），通過非線性激活函數
，映射到隱藏層，得到隱藏層對輸入層的編碼結果
（n2 為隱藏層的神經元個數），有
；再利用同樣的方法將 h 映射到重構層得
，有
。式中，
和
分別為隱藏層到重構層的權重和偏移系數；i = i + 1。
（3）調整 W 和 B、
和
，使 x 與 y 之間近似，并在代價函數中加入隱藏層的雅克比矩陣限制條件，抑制噪聲干擾，有數學表達式
，得到損失函數
，通過迭代算法：
|
優化損失函數對訓練參數 W 和 B、
和
進行更新，直至算法收斂。
（4）判斷隱藏層數 i 是否為 N；若否，則 h 為 x，跳到步驟（2）；若是，得各層參數 W 和 B、
和
。
（5）將步驟（4）中所得的各層參數 W 和 B、
和
作為 DCAEN-Softmax 模型的初始值，利用帶標簽的數據及 BP 算法微調各層參數。
2 腦電數據采集與處理
采集和處理的腦電數據來源于民用航空器的健康監測上海工程研究中心的模擬飛行實驗。實驗環境為 CRJ-200 模擬駕駛艙，腦電采集設備為 BCI 2000 系統，采用國際 10-10 系統中 64 個參考電極的放置方式，采樣頻率為 160 Hz。實驗情形設置為不同時間段下，飛行員從上海虹橋機場飛往陜西咸陽機場的模擬飛行，飛行路徑如圖 3 所示。飛行員在前夜保持良好睡眠，分別于次日 8:00–11:00、12:00–15:00、第三日 0:00–3:00 時間段參與實驗，并且飛行員在次日到第三日的時間段被剝奪睡眠權利，在操作實驗時每 20 分鐘記錄一次兩極疲勞量表。同時，為了降低設備帶來的影響，被試者在測試之前進行了多次熟悉訓練，將設備影響降到最低。通過對飛行過程中兩極疲勞量表的分析，分別截取不同時段的數據集作為非疲勞、微疲勞、極度疲勞狀況的數據集，如表 1 所示。飛行實驗的被試者為 40 名身體素質良好且有 1 年以上飛行經驗的飛行員，同時，被試者在實驗前無不良作息習慣。實驗采集 40 個飛行員的腦電數據，包含 40 個非疲勞信號的數據集、40 個微疲勞信號的數據集和 40 個極度疲勞信號的數據集，共 120 個數據集。每個數據集的矩陣維度為 64 × 96 000。
圖3
模擬實驗的飛行路徑
Figure3.
Simulation flight path
表1
不同時間段從上海虹橋飛往陜西咸陽的模擬飛行實驗
Table1.
Simulation flight experiments from Hongqiao to Xianyang at different times
2.1 腦電信號預處理
腦電信號微弱、易受干擾，因此在特征學習之前要對腦電信號進行預處理，預處理流程如圖 4 所示。首先截取所需要的腦電信號片段，利用小波包精細化分解得出腦電信號的四個節律區間，進而重組成純凈的腦電信號。一般地，腦電信號的基本特征包括頻率、周期、幅值、相位等，其中頻率特性具有較為突出的特點。根據頻率和幅值的特性，腦電信號主要可分為 δ 波（0.4～3 Hz）、θ 波（4～7 Hz）、α 波（8～13 Hz）和 β 波（14～30 Hz）。因此，結合腦電信號特征及小波包變換[16]提供精細化信號處理的特點，選擇與腦電信號最為相似的 DB4 小波包對原始腦電信號作小波包變換，如圖 5 所示，將腦電信號進行高低頻分解。由于采集的腦電信號為 160 Hz，因此選取 4 層分解，以提取頻率低于 30 Hz 的 4 個節律波段。再對 DB4 小波包分解出的節律波段進行重組，形成腦電信號。圖 6 所示為 Fp1 導聯的腦電信號原始波形和小波包分解重組之后的波形。
圖4
腦電信號預處理的流向圖
Figure4.
The diagram of EEG signals processing
圖5
DB4 小波包對原始腦電信號作小波包變換
Figure5.
Wavelet packet transform of the original electroencephalogram signals with DB4 wavelet packet
圖6
Fp1 導聯的腦電信號重組
Figure6.
Reconstruction of electroencephalogram signals of Fp1
2.2 疲勞識別
根據 DCAEN-Softmax 模型的原理，研究實現了飛行員疲勞狀況識別，具體技術路線如圖 7 所示。首先，利用 DCAEN 對預處理的無標簽的飛行員腦電信號進行無監督逐層學習，獲取 DCAEN-Softmax 初始化的參數；其次，利用預處理的帶標簽的飛行員腦電信號對 DCAEN-Softmax 進行有監督學習，通過頂層分類器 Softmax 對 DCAEN 所學習的抽象特征分類情況，對 DCAEN-Softmax 模型進行微調；最后，將測試集作為已訓練 DCAEN-Softmax 模型的輸入，對飛行員疲勞狀況進行識別。
圖7
腦電信號處理程序流程圖
Figure7.
The flow chart of electroencephalogram signals processing program
為了盡可能利用較短的時間來識別飛行員疲勞狀態，根據疲勞研究的相關文獻[17]，挑選出與疲勞相關的工作區域，選取的電極位置為 Fp1；截取 2 min 時間段的腦電信號作為分析對象。每個樣本中含有 160*2*60 個數據，共有 120 個樣本。采用 5-折交叉驗證方法進行模型的訓練和識別。同時，為了說明所提方法的有效性，分別選擇 AEN 和 PCA 方法在不同模式下提取飛行員疲勞狀態的主要特征，然后利用 Softmax 分類器作為頂層識別模型。不同模式定義如下：針對 DCAEN-Softmax 模型和 AEN-Softmax 模型，模式的定義為模型最后輸入 Softmax 分類器的維度；針對 PCA-Softmax 模型，模式的定義為從 PCA 中提取主成分的個數組成的維度。如 39 維的模式為設置 DCAEN 和 AEN 中最后一層神經元個數為 39，使得輸入到 Softmax 分類器端的為 39 維數據；選取 PCA 中占主要比重的前 39 個主成分向量，構成 39 維輸入數據輸入 Softmax 分類器。圖 8 和表 2 為不同模型在不同模式下對飛行員疲勞狀況的識別結果和識別準確率。
圖8
不同維度下 DCAEN-Softmax 和傳統模型識別結果
1 代表極度疲勞狀態，2 代表微疲勞狀態，3 代表非疲勞狀態
Figure8. The recognition results of DCAEN-Softmax and traditional models under different dimensions1: excessive fatigue status; 2: mild fatigue status; 3: normal status
表2
不同維度下 DCAEN-Softmax 和傳統模型識別準確率
Table2.
The recognition results of DCAEN-Softmax and traditio nal models under different dimensions
根據圖 8 和表 2 中各個模型在不同特征模式下的識別結果和識別準確率可發現，DCAEN-Softmax 模型的識別結果和識別準確率都優于 AEN-Softmax 模型和 PCA-Softmax 模型，39 維度下識別準確率高達 91.67%。因此，相比 AEN-Softmax 模型和 PCA-Softmax 模型，DCAEN-Softmax 模型能更好地識別飛行員三種疲勞狀態（非疲勞、微疲勞和極度疲勞）。此外，根據圖 9 所示的不同模型訓練得出的特征空間關系，可以更直觀地發現，DCAEN 確實是極大程度地保留了腦電信息特征，優于 AEN 和 PCA 的特征提取。DCAEN 方法不僅具有對特征的維度降低和對抽象特征的優秀學習能力，同時在代價函數中加入隱藏層的雅克比矩陣的約束，消除了非疲勞、微疲勞和極度疲勞三種狀態之間的干擾，增強了各狀態之間的差異性。實驗結果說明基于 DCAEN-Softmax 模型的飛行員疲勞狀態識別是切實可行的。
圖9
DCAEN、AEN 和 PCA 提取的三維特征
Figure9.
Three-dimensional features extracted using DCAEN, AEN and PCA
3 結束語
飛行員疲勞狀態下的腦電信號，經小波包變換重組后，表征飛行員疲勞特征的時頻成分被作為深度學習的輸入向量，而不是傳統的人工提取幾個特征作為分類器的輸入向量，所以所提方法最大限度地包含了飛行員的原始腦部活動信息。同時，所提出的這種基于 DCAEN-Softmax 的飛行員疲勞狀態識別模型，不但可以無監督自主學習不同狀態下飛行員腦電動態節律特征，提取出表征飛行員疲勞的抽象特征，而且實驗結果也顯示，加入雅克比行列式的約束減少了干擾，增強了非疲勞、微疲勞和極度疲勞三種狀態的類內相似性和類間差異性。對比傳統方法的實驗結果顯示，這種基于 DCAEN-Softmax 的飛行員疲勞狀態識別模型可更好地提取飛行員疲勞狀態特征，識別準確率高達 91.67%，高于 AEN-Softmax 模型和 PCA-Softmax 模型。因此，基于 DCAEN-Softmax 的飛行員疲勞狀態識別方法正確且有效。本實驗僅討論了 Fp1 導聯的腦電信號，未來工作將繼續研究利用其他導聯的腦電信號對飛行員疲勞狀態的識別。
