本文旨在將深度學習與圖像分析技術進行結合，提出一種有效的橈骨遠端骨折類型的分類方法。首先，使用擴展U-Net三層級聯分割網絡，對識別骨折最重要的關節面區和非關節面區進行精準分割；然后，對關節面區和非關節面區圖像再分別進行骨折識別；最后，綜合判斷出正常或者ABC骨折分型結果。實驗表明，正常、A型、B型和C型骨折在測試集上的準確率為0.99、0.92、0.91和0.82，而骨科醫學專家的平均識別準確率為0.98、0.90、0.87和0.81。所提自動識別方法整體好于專家，在無專家參與的場景下，可以使用該方法進行初步的橈骨遠端骨折輔助診斷。
引用本文： 劉云鵬, 干開豐, 李瑾, 孫德超, 邱虹, 劉東權. X線片橈骨遠端骨折自動快速診斷研究. 生物醫學工程學雜志, 2024, 41(4): 798-806. doi: 10.7507/1001-5515.202309050 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
0 引言
由于人體結構是立體的，而醫學上采集的X線片是二維圖像，用于腕骨骨折診斷時存在一定信息遺漏，橈骨遠端解剖結構的復雜性在二維平面下更加突出，尤其是微小骨折與橈骨重疊區域，所以需要專家反復觀察與討論才可以對骨折類型進行確診。X線片骨折診斷本質上屬于二維圖像分類的技術范疇，計算機輔助診斷技術在這一領域已經取得了顯著進展。一種常見的方法是將整個原始圖像輸入系統，使用傳統機器學習方法得到診斷結果[1-2]。然而，傳統機器學習方法在特征提取和識別準確性方面存在一定的局限性。隨著技術的發展，以卷積神經網絡為代表的深度學習技術，因其在自動特征提取上的顯著優勢，逐漸成為主流方法[3-8]。針對腕部橈骨遠端骨折的診斷，在已知深度學習研究文獻中分為三大類：① 直接對包括橈骨遠端在內的整個手掌和手腕區域的X線片影像進行分類，主要集中在骨折與正常的二分類研究[9]。② 在X線片中定位或分割橈骨遠端的同時進行分類，也是主要集中在骨折與正常的二分類研究[10-13]。③ 先準確定位到橈骨遠端區域再進行分類[14-16]。除了X線片診斷，也有部分復雜骨骼部位需要使用計算機斷層掃描（computed tomography，CT）影像，盡管CT是時間軸上的一組圖像序列，但在實際識別過程中，只是選擇序列中少數幾張關鍵位置清晰的圖像，仍是類似X線片的二維圖像處理[17-18]。在已知的國內外文獻中，未見對X線片橈骨遠端進行精確分割后再識別骨折的研究，而是主要集中在骨折與正常二分類的簡單判斷，盡管文獻[14]做了進一步提升，可以對A型和BC型（作為一個大類）骨折進行區分，但還是屬于基于目標檢測的二分類思想，無法有效地區分B型和C型骨折。
X線片中關節面區和非關節面區的骨折診斷是區分ABC型骨折的醫學依據，而判斷關節面區和非關節面區是否骨折，必須要先把兩個區域精準地分割出來，才可以使用深度學習分類模型進行判斷。如果不分割，一方面，由于關節面區和非關節面區是緊密連接，使用最小矩形框會把兩個區域放入到一個識別空間，故無法準確地分辨出到底是哪個區域的骨折；另一方面，會把大量的關節面區和非關節面區以外的骨區域劃分進來，由于骨折區域的識別度本來就低，大量的干擾和噪聲區域會大大降低識別的準確度。因此，本文擬采用三層級聯的深度學習分割網絡先對關節面區和非關節面區進行精準分割，再對關節面區和非關節面區分別進行骨折識別，從而綜合判斷出骨折分型結果。
1 橈骨遠端骨折分型描述
關節面區與非關節面區說明如圖1所示，其中圖1a為X線片圖像，圖1b為對應的三維效果示意圖，可以從三維角度更加清晰地呈現。紅線所描區域是橈骨遠端的關節面區，綠線所描區域是橈骨遠端的非關節面區，藍線所示區域是橈骨遠端的干骺端。當骨折僅發生于非關節面區且包括干骺端時，定義為A型，如圖2a所示；當骨折發生于關節面區且無干骺端骨折時，定義為B型，如圖2b所示；當骨折同時發生于干骺端和關節面區時，則定義為C型，如圖2c所示。
圖1
關節面區與非關節面區圖示
a. X線圖；b. 3D圖
Figure1. Illustration of joint surface area and non joint surface areaa. X-ray image; b. 3D image
圖2
ABC型骨折圖示
a. A型；b. B型；c. C型
Figure2. Illustration of type ABC fracturea. type A; b. type B; c. type C
2 實驗數據
手腕部位X線片數據集來自寧波李惠利醫院、鄞州人民醫院和寧波第六醫院3所三級甲等的骨科權威醫院，訓練階段，每個醫院的訓練與驗證數據集都包括4 000張圖像，其中正常、A型、B型和C型橈骨遠端骨折各1 000張，都是由從醫10年以上的骨科醫學專家進行標注。對于橈骨和腕骨、橈骨遠端與關節面區三個對象區域的分割標注，從訓練與驗證數據集中，每家醫院每種類型隨機選擇250張進行標注，三個區域的分割標注圖像共1 000張，三家醫院總共3 000張。最后測試環節另納入每家醫院400張圖像和其他國外渠道500張圖像，共計1 700張，每種類型數量比例近似1∶1，不參與分割、輪廓優化和關節面區分類的訓練，其原始診斷結果由提供圖像的各家醫療機構3名以上資深骨科專家綜合判定。測試環節中，本研究還設計了專家診斷試驗，由3名從醫10年以上資深骨科專家（與前述專家均不重合）對1 700張圖像進行診斷，取其結果的平均值。訓練與測試所有圖像均已獲授權使用。
3 感興趣區域分割
3.1 分割方法
本文設計了一種擴展U-Net網絡結構的分割模型，如圖3所示。解碼端上采樣過程使用Isola等[19]提出的采樣方法，為了減少上采樣引起的圖像損失，加入子像素卷積的方法[20]。由于關節面區尺寸較小，在卷積過程中會導致特征不斷地弱化甚至消失，故使用一種應用于醫學影像的注意門（attention gate，AG）技術[21]。
圖3
擴展U-Net網絡
Figure3.
Extended U-Net
端到端的分割網絡使用三個擴展U-Net，同時分割橈骨和腕骨、橈骨遠端與關節面區三個不同的區域，形成一種三層級聯結構，如圖4所示。通過級聯控制，橈骨遠端被限制在上一層分割結果區域中進行分割，同樣關節面區被限制在橈骨遠端區域內分割，由于在局部區域中形態與紋理的唯一性，故可以保證分割的準確性。
圖4
三層級聯分割模型
Figure4.
Three-layer cascaded segmentation model
分割區域在經過形態學操作后，因為部分區域比真實分割結果在輪廓上會擴充一些像素，所以需要對分割輪廓進行優化處理。輪廓邊緣優化的本質是以分割后像素為中心的圖像塊進行二分類，訓練數據集中，如果像素在感興趣區域內，對應的圖像塊為正樣本。對于負樣本的設置，并不是選擇感興趣區域外的所有像素，此類型像素數量很多，而且可能存在于多種不同的組織區域，因此只關注真實邊緣附近一定范圍內的像素，一方面是為了正負樣本數量的均衡，另一方面優化的目的就是精確地對感興趣區域內外的圖像塊分類，從而確定邊緣。由于形態學操作的結果只是邊緣附近的區域被合并到感興趣區域，故將邊緣附近5個像素范圍內的區域設置為負樣本的采樣區域。因為AlexNet網絡模型架構簡單，對于特征空間復雜度較低的圖像處理快速有效，所以選擇AlexNet，并針對單通道圖像進行一定調整，調整后的結構如圖5所示。
圖5
調整后的AlexNet網絡結構圖
Figure5.
Adjusted AlexNet network structure diagram
3.2 實驗結果
3.2.1 數據預處理
X線片圖像和對應分割掩碼圖像通過邊緣填充法擴展為正方形，并縮放到224×224大小。3 000張分割標注好的圖像，五倍交叉驗證。訓練集數據在訓練的時候實時進行下面操作隨機組合的數據增廣，增廣操作包括：① 上下左右進行15%范圍內平移；② 15%范圍內縮放；③ 30°內旋轉；④ 拉伸系數–5～5范圍內拉伸變形。
3.2.2 訓練參數與評估標準
訓練參數包括：批大小為32，使用逐像素交叉熵損失函數、自適應矩估計（adaptive moment estimation，ADAM）優化器，學習率取經驗值0.000 1，衰減率取經驗值0.000 01，迭代次數設置為120，若連續5個迭代次數后損失不再減少就停止訓練，通過回調函數對損失最小的模型和對應的權重進行保存。ADAM優化完成后，將最佳權重載入繼續使用隨機梯度下降（stochastic gradient descent，SGD）優化器進行優化，學習率取0.000 01，當連續10個迭代次數后損失不減少則停止最終訓練，此時的權重為最優分割權重。三個感興趣區域同時分割，統一進行評價。評估圖像分割性能的標準包含敏感度（sensitivity，Sen），命中率（positive predicted value，PPV）和戴斯系數（Dice coefficient，DC）。
3.2.3 與當前先進方法整體對比
根據已知范圍內研究文獻，沒有專門針對本文所述醫學圖像區域進行分割研究的論文，因此將本文方法與近年來在醫學圖像領域分割性能表現突出的分割模型[22-27]進行對比，分割性能比較如表1所示。SAM[27]和SAMM[23]是最具有代表性的通用分割模型，AA-transunet[22]和Transformer[26]是以Transformer編碼技術為代表的先進分割方法，BlendMask[25]和ResGANet[24]是多種深度學習優勢技術相結合進行分割應用的先進代表。
表1
分割性能比較
Table1.
Comparison of segmentation performance
由表1結果可以看出，所提方法性能在每一個指標的平均值都是所有算法中最好的，Sen、PPV和DC可以達到0.91、0.94和0.93。其他方法分割性能相對較差，主要是因為橈骨遠端與關節面區的紋理結構與其他手部和腕部骨結構是非常類似的，區別主要在于大小，因為深度學習具有尺度不變特性，容易有非感興趣區域的假陽性對象被分割出來，后處理中并沒有針對假陽性做處理，導致最終性能下降。而本文方法的三層級聯結構進行了空間限制，不會出現假陽性分割情況，故表現出高精度的分割效果。
3.2.4 典型分割結果展示
如圖6所示，對一個典型分割結果進行展示。可以看出本文方法的分割結果與標注基本一致，而AA-transunet[22]、SAMM[23]和ResGANet[24]對于橈骨遠端和關節面區的上面曲線部分沒有正確分割，可能會導致失去關節面區骨折的部分核心特征。BlendMask[25]除了上述問題，還對于橈骨遠端右上角的重疊區域出現分割錯誤。Transformer[26]和SAM[27]不僅存在上述兩種問題，還在橈骨和腕骨分割中缺少左上角部分區域，同時錯分了關節面區。
圖6
不同方法分割比較圖
Figure6.
Comparison chart of segmentation using different methods
3.2.5 模型參數優化
從每家中方醫院訓練集的正常、A型、B型和C型骨折四種類型中各隨機抽取100張圖像，每張圖像隨機采樣正負樣本各500個。訓練參數包括：批大小為64，使用分類交叉熵損失函數、ADAM優化器，參數取系統缺省值，迭代次數設置為200，訓練在連續10個迭代次數后損失不再減少就停止訓練，通過回調函數對損失最小的模型和對應的權重進行保存。ADAM優化完成后，將最佳權重載入繼續使用SGD優化器進行優化，動量取0.9，學習率取0.000 1，當連續15個迭代次數后損失不減少則停止最終的訓練，此時的權重為最優的分類權重。對多種區域大小的圖像塊進行測試，15 × 15區域取得最佳效果，同時如表2所示，調整后AlexNet性能最佳，準確率為最高值0.98。
表2
圖像塊訓練性能比較
Table2.
Comparison of image block training performance
3.2.6 分割消融實驗
為了觀察三層級聯、后處理形態學操作和輪廓優化的貢獻，設計如下消融實驗：方案1：使用三層級聯和分割后的形態學操作，不進行輪廓優化；方案2：使用三層級聯，分割后不進行后處理的形態學操作，不進行輪廓優化；方案3：不使用三層級聯，分別獨立使用擴展U-Net進行分割，分割后使用形態學操作，不進行輪廓優化；方案4：使用三層級聯和分割后的形態學操作，進行輪廓優化。測試集所有圖像的平均分析結果如表3所示。根據上述分析，將方案中的技術因素重要性進行對比，三層級聯技術可以最大幅度地提升分割性能，其次是后處理形態學操作，而輪廓優化后的平均性能指標也有一定提升，且均方差減少，提示分割的穩定性也增強了，同時輪廓邊緣的細化可以進一步去除多余噪聲，保證后面分類的正確性。
表3
消融實驗性能比較
Table3.
Performance comparison of ablation experiment
4 關節面區和非關節面區骨折判斷方法
4.1 判斷方法
精確分割后需要進一步分類處理，要同時對關節面區和非關節面區進行分類，分類使用一致的卷積神經網絡，訓練過程以關節面區為例，如圖7所示。
圖7
骨折判斷模型訓練框架圖
Figure7.
Training framework diagram of fracture judgment model
4.2 實驗結果
4.2.1 數據預處理
在訓練集中分割標注的
關節面區直接進行分割標注，非關節面區沒有直接標注，需要橈骨遠端標注區域減去關節面區得到。獲取關節面區和非關節面區所在標注區域的最小矩形框，根據最小矩形框獲取關節面區和非關節面區圖像，再調整為正方形，并將圖像縮放到128×128分辨率。
4.2.2 性能比較
EfficientNet-B7網絡結構對深度、寬度和分辨率進行了很好的平衡與結合，從而可以達到很好的預測結果。本文使用EfficientNet-B7模型對關節面區和非關節面區圖像進行分類，并與AmoebaNet-A、NASNet-A與ResNeXt-101等模型進行比較。從表4可以看出，EfficientNet-B7模型的分類效果最佳，而且由于非關節面區在骨折上的紋理特征更加突出，故整體準確率會更高一些。
表4
關節面區和非關節面區分類準確率比較
Table4.
Comparison of joint surface area and non joint surface area classification accuracy
4.2.3 熱圖可視化
為了進一步說明分類模型的可解釋性，可以通過類別激活圖方法對圖像中識別特征進行熱圖可視化，效果如圖8所示。盡管橈骨重疊會干擾關節面區的骨折識別，然而關節面區和非關節面區的骨折區域，在明顯和微小的情況下依然都表現出最為顯著的顏色。因為橈骨邊緣分割準確度高，突出了重疊區域在位置和灰度變化上與其他位置的不同，所以讓深度學習模型可以更好地學習到特征，從而與真正的骨折區域有所區分。
圖8
骨折激活特征可視化效果
Figure8.
Visualization effect of fracture characteristics
5 橈骨遠端骨折分型診斷方法
5.1 診斷方法
橈骨遠端骨折分型診斷框架如圖9所示。首先，通過分割模型得到橈骨遠端與關節面區的分割區域；其次，區域求差后得到非關節面區分割區域；接著，在原圖像中獲取對象邊界最小矩形框，擴展邊界到正方形并縮放到分類模型要求大小；最后，使用兩個分類模型分別預測兩個區域，綜合判斷出骨折類型。
圖9
分型診斷框架圖
Figure9.
Framework diagram for predicting fracture types
5.2 實驗結果
微小骨折與橈骨重疊區域是引起正常、A型、B型和C型骨折分類錯誤的主要因素，關節面區和非關節面區的準確分割，在一定程度上可以解決該難點問題。在1 700張新患者圖像上進行分型測試，結果如表5所示，所提方法最終分型診斷結果要略好于專家的平均診斷，只有C型骨折診斷結果的查準率和F-Score稍低于專家診斷結果，但仍遠高于對圖像直接分類的結果。可以看出直接對圖像進行分類的方法性能較差，主要因為分型判斷的核心區域是關節面區和非關節面區兩個部分，兩個區域加起來只占整個X線片圖像的5%左右比例，噪聲區域占了絕大部分比例，分類前會對圖像進一步縮小，核心識別區域的紋理特征會進一步減少和模糊；同時由于手掌骨關節的特殊性，一些骨骼結構具有一定的相似性，也會導致直接分類的識別率大大下降。
表5
測試集分型結果比較
Table5.
Comparison of test set typing results
6 結論
本文針對X線片橈骨遠端骨折診斷問題，提出一種智能化和自動化的損傷分類方法。采用三層級聯分割技術，對識別骨折最重要的關節面區和非關節面區進行精準分割，在此基礎上對正常、A型、B型和C型骨折進行準確分類，平均識別率略高于骨科專家。該方法可以輔助醫生準確診斷橈骨遠端骨折，目前已經集成到合作企業的醫學影像科研平臺，并在寧波部分三級甲等醫院開展試用。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：劉云鵬負責整體設計與核心算法分析；干開豐和劉東權負責醫學知識指導；孫德超、邱虹負責編碼與實驗分析；李瑾負責數據整理與圖表繪制。
0 引言
由于人體結構是立體的，而醫學上采集的X線片是二維圖像，用于腕骨骨折診斷時存在一定信息遺漏，橈骨遠端解剖結構的復雜性在二維平面下更加突出，尤其是微小骨折與橈骨重疊區域，所以需要專家反復觀察與討論才可以對骨折類型進行確診。X線片骨折診斷本質上屬于二維圖像分類的技術范疇，計算機輔助診斷技術在這一領域已經取得了顯著進展。一種常見的方法是將整個原始圖像輸入系統，使用傳統機器學習方法得到診斷結果[1-2]。然而，傳統機器學習方法在特征提取和識別準確性方面存在一定的局限性。隨著技術的發展，以卷積神經網絡為代表的深度學習技術，因其在自動特征提取上的顯著優勢，逐漸成為主流方法[3-8]。針對腕部橈骨遠端骨折的診斷，在已知深度學習研究文獻中分為三大類：① 直接對包括橈骨遠端在內的整個手掌和手腕區域的X線片影像進行分類，主要集中在骨折與正常的二分類研究[9]。② 在X線片中定位或分割橈骨遠端的同時進行分類，也是主要集中在骨折與正常的二分類研究[10-13]。③ 先準確定位到橈骨遠端區域再進行分類[14-16]。除了X線片診斷，也有部分復雜骨骼部位需要使用計算機斷層掃描（computed tomography，CT）影像，盡管CT是時間軸上的一組圖像序列，但在實際識別過程中，只是選擇序列中少數幾張關鍵位置清晰的圖像，仍是類似X線片的二維圖像處理[17-18]。在已知的國內外文獻中，未見對X線片橈骨遠端進行精確分割后再識別骨折的研究，而是主要集中在骨折與正常二分類的簡單判斷，盡管文獻[14]做了進一步提升，可以對A型和BC型（作為一個大類）骨折進行區分，但還是屬于基于目標檢測的二分類思想，無法有效地區分B型和C型骨折。
X線片中關節面區和非關節面區的骨折診斷是區分ABC型骨折的醫學依據，而判斷關節面區和非關節面區是否骨折，必須要先把兩個區域精準地分割出來，才可以使用深度學習分類模型進行判斷。如果不分割，一方面，由于關節面區和非關節面區是緊密連接，使用最小矩形框會把兩個區域放入到一個識別空間，故無法準確地分辨出到底是哪個區域的骨折；另一方面，會把大量的關節面區和非關節面區以外的骨區域劃分進來，由于骨折區域的識別度本來就低，大量的干擾和噪聲區域會大大降低識別的準確度。因此，本文擬采用三層級聯的深度學習分割網絡先對關節面區和非關節面區進行精準分割，再對關節面區和非關節面區分別進行骨折識別，從而綜合判斷出骨折分型結果。
1 橈骨遠端骨折分型描述
關節面區與非關節面區說明如圖1所示，其中圖1a為X線片圖像，圖1b為對應的三維效果示意圖，可以從三維角度更加清晰地呈現。紅線所描區域是橈骨遠端的關節面區，綠線所描區域是橈骨遠端的非關節面區，藍線所示區域是橈骨遠端的干骺端。當骨折僅發生于非關節面區且包括干骺端時，定義為A型，如圖2a所示；當骨折發生于關節面區且無干骺端骨折時，定義為B型，如圖2b所示；當骨折同時發生于干骺端和關節面區時，則定義為C型，如圖2c所示。
圖1
關節面區與非關節面區圖示
a. X線圖；b. 3D圖
Figure1. Illustration of joint surface area and non joint surface areaa. X-ray image; b. 3D image
圖2
ABC型骨折圖示
a. A型；b. B型；c. C型
Figure2. Illustration of type ABC fracturea. type A; b. type B; c. type C
2 實驗數據
手腕部位X線片數據集來自寧波李惠利醫院、鄞州人民醫院和寧波第六醫院3所三級甲等的骨科權威醫院，訓練階段，每個醫院的訓練與驗證數據集都包括4 000張圖像，其中正常、A型、B型和C型橈骨遠端骨折各1 000張，都是由從醫10年以上的骨科醫學專家進行標注。對于橈骨和腕骨、橈骨遠端與關節面區三個對象區域的分割標注，從訓練與驗證數據集中，每家醫院每種類型隨機選擇250張進行標注，三個區域的分割標注圖像共1 000張，三家醫院總共3 000張。最后測試環節另納入每家醫院400張圖像和其他國外渠道500張圖像，共計1 700張，每種類型數量比例近似1∶1，不參與分割、輪廓優化和關節面區分類的訓練，其原始診斷結果由提供圖像的各家醫療機構3名以上資深骨科專家綜合判定。測試環節中，本研究還設計了專家診斷試驗，由3名從醫10年以上資深骨科專家（與前述專家均不重合）對1 700張圖像進行診斷，取其結果的平均值。訓練與測試所有圖像均已獲授權使用。
3 感興趣區域分割
3.1 分割方法
本文設計了一種擴展U-Net網絡結構的分割模型，如圖3所示。解碼端上采樣過程使用Isola等[19]提出的采樣方法，為了減少上采樣引起的圖像損失，加入子像素卷積的方法[20]。由于關節面區尺寸較小，在卷積過程中會導致特征不斷地弱化甚至消失，故使用一種應用于醫學影像的注意門（attention gate，AG）技術[21]。
圖3
擴展U-Net網絡
Figure3.
Extended U-Net
端到端的分割網絡使用三個擴展U-Net，同時分割橈骨和腕骨、橈骨遠端與關節面區三個不同的區域，形成一種三層級聯結構，如圖4所示。通過級聯控制，橈骨遠端被限制在上一層分割結果區域中進行分割，同樣關節面區被限制在橈骨遠端區域內分割，由于在局部區域中形態與紋理的唯一性，故可以保證分割的準確性。
圖4
三層級聯分割模型
Figure4.
Three-layer cascaded segmentation model
分割區域在經過形態學操作后，因為部分區域比真實分割結果在輪廓上會擴充一些像素，所以需要對分割輪廓進行優化處理。輪廓邊緣優化的本質是以分割后像素為中心的圖像塊進行二分類，訓練數據集中，如果像素在感興趣區域內，對應的圖像塊為正樣本。對于負樣本的設置，并不是選擇感興趣區域外的所有像素，此類型像素數量很多，而且可能存在于多種不同的組織區域，因此只關注真實邊緣附近一定范圍內的像素，一方面是為了正負樣本數量的均衡，另一方面優化的目的就是精確地對感興趣區域內外的圖像塊分類，從而確定邊緣。由于形態學操作的結果只是邊緣附近的區域被合并到感興趣區域，故將邊緣附近5個像素范圍內的區域設置為負樣本的采樣區域。因為AlexNet網絡模型架構簡單，對于特征空間復雜度較低的圖像處理快速有效，所以選擇AlexNet，并針對單通道圖像進行一定調整，調整后的結構如圖5所示。
圖5
調整后的AlexNet網絡結構圖
Figure5.
Adjusted AlexNet network structure diagram
3.2 實驗結果
3.2.1 數據預處理
X線片圖像和對應分割掩碼圖像通過邊緣填充法擴展為正方形，并縮放到224×224大小。3 000張分割標注好的圖像，五倍交叉驗證。訓練集數據在訓練的時候實時進行下面操作隨機組合的數據增廣，增廣操作包括：① 上下左右進行15%范圍內平移；② 15%范圍內縮放；③ 30°內旋轉；④ 拉伸系數–5～5范圍內拉伸變形。
3.2.2 訓練參數與評估標準
訓練參數包括：批大小為32，使用逐像素交叉熵損失函數、自適應矩估計（adaptive moment estimation，ADAM）優化器，學習率取經驗值0.000 1，衰減率取經驗值0.000 01，迭代次數設置為120，若連續5個迭代次數后損失不再減少就停止訓練，通過回調函數對損失最小的模型和對應的權重進行保存。ADAM優化完成后，將最佳權重載入繼續使用隨機梯度下降（stochastic gradient descent，SGD）優化器進行優化，學習率取0.000 01，當連續10個迭代次數后損失不減少則停止最終訓練，此時的權重為最優分割權重。三個感興趣區域同時分割，統一進行評價。評估圖像分割性能的標準包含敏感度（sensitivity，Sen），命中率（positive predicted value，PPV）和戴斯系數（Dice coefficient，DC）。
3.2.3 與當前先進方法整體對比
根據已知范圍內研究文獻，沒有專門針對本文所述醫學圖像區域進行分割研究的論文，因此將本文方法與近年來在醫學圖像領域分割性能表現突出的分割模型[22-27]進行對比，分割性能比較如表1所示。SAM[27]和SAMM[23]是最具有代表性的通用分割模型，AA-transunet[22]和Transformer[26]是以Transformer編碼技術為代表的先進分割方法，BlendMask[25]和ResGANet[24]是多種深度學習優勢技術相結合進行分割應用的先進代表。
表1
分割性能比較
Table1.
Comparison of segmentation performance
由表1結果可以看出，所提方法性能在每一個指標的平均值都是所有算法中最好的，Sen、PPV和DC可以達到0.91、0.94和0.93。其他方法分割性能相對較差，主要是因為橈骨遠端與關節面區的紋理結構與其他手部和腕部骨結構是非常類似的，區別主要在于大小，因為深度學習具有尺度不變特性，容易有非感興趣區域的假陽性對象被分割出來，后處理中并沒有針對假陽性做處理，導致最終性能下降。而本文方法的三層級聯結構進行了空間限制，不會出現假陽性分割情況，故表現出高精度的分割效果。
3.2.4 典型分割結果展示
如圖6所示，對一個典型分割結果進行展示。可以看出本文方法的分割結果與標注基本一致，而AA-transunet[22]、SAMM[23]和ResGANet[24]對于橈骨遠端和關節面區的上面曲線部分沒有正確分割，可能會導致失去關節面區骨折的部分核心特征。BlendMask[25]除了上述問題，還對于橈骨遠端右上角的重疊區域出現分割錯誤。Transformer[26]和SAM[27]不僅存在上述兩種問題，還在橈骨和腕骨分割中缺少左上角部分區域，同時錯分了關節面區。
圖6
不同方法分割比較圖
Figure6.
Comparison chart of segmentation using different methods
3.2.5 模型參數優化
從每家中方醫院訓練集的正常、A型、B型和C型骨折四種類型中各隨機抽取100張圖像，每張圖像隨機采樣正負樣本各500個。訓練參數包括：批大小為64，使用分類交叉熵損失函數、ADAM優化器，參數取系統缺省值，迭代次數設置為200，訓練在連續10個迭代次數后損失不再減少就停止訓練，通過回調函數對損失最小的模型和對應的權重進行保存。ADAM優化完成后，將最佳權重載入繼續使用SGD優化器進行優化，動量取0.9，學習率取0.000 1，當連續15個迭代次數后損失不減少則停止最終的訓練，此時的權重為最優的分類權重。對多種區域大小的圖像塊進行測試，15 × 15區域取得最佳效果，同時如表2所示，調整后AlexNet性能最佳，準確率為最高值0.98。
表2
圖像塊訓練性能比較
Table2.
Comparison of image block training performance
3.2.6 分割消融實驗
為了觀察三層級聯、后處理形態學操作和輪廓優化的貢獻，設計如下消融實驗：方案1：使用三層級聯和分割后的形態學操作，不進行輪廓優化；方案2：使用三層級聯，分割后不進行后處理的形態學操作，不進行輪廓優化；方案3：不使用三層級聯，分別獨立使用擴展U-Net進行分割，分割后使用形態學操作，不進行輪廓優化；方案4：使用三層級聯和分割后的形態學操作，進行輪廓優化。測試集所有圖像的平均分析結果如表3所示。根據上述分析，將方案中的技術因素重要性進行對比，三層級聯技術可以最大幅度地提升分割性能，其次是后處理形態學操作，而輪廓優化后的平均性能指標也有一定提升，且均方差減少，提示分割的穩定性也增強了，同時輪廓邊緣的細化可以進一步去除多余噪聲，保證后面分類的正確性。
表3
消融實驗性能比較
Table3.
Performance comparison of ablation experiment
4 關節面區和非關節面區骨折判斷方法
4.1 判斷方法
精確分割后需要進一步分類處理，要同時對關節面區和非關節面區進行分類，分類使用一致的卷積神經網絡，訓練過程以關節面區為例，如圖7所示。
圖7
骨折判斷模型訓練框架圖
Figure7.
Training framework diagram of fracture judgment model
4.2 實驗結果
4.2.1 數據預處理
在訓練集中分割標注的
關節面區直接進行分割標注，非關節面區沒有直接標注，需要橈骨遠端標注區域減去關節面區得到。獲取關節面區和非關節面區所在標注區域的最小矩形框，根據最小矩形框獲取關節面區和非關節面區圖像，再調整為正方形，并將圖像縮放到128×128分辨率。
4.2.2 性能比較
EfficientNet-B7網絡結構對深度、寬度和分辨率進行了很好的平衡與結合，從而可以達到很好的預測結果。本文使用EfficientNet-B7模型對關節面區和非關節面區圖像進行分類，并與AmoebaNet-A、NASNet-A與ResNeXt-101等模型進行比較。從表4可以看出，EfficientNet-B7模型的分類效果最佳，而且由于非關節面區在骨折上的紋理特征更加突出，故整體準確率會更高一些。
表4
關節面區和非關節面區分類準確率比較
Table4.
Comparison of joint surface area and non joint surface area classification accuracy
4.2.3 熱圖可視化
為了進一步說明分類模型的可解釋性，可以通過類別激活圖方法對圖像中識別特征進行熱圖可視化，效果如圖8所示。盡管橈骨重疊會干擾關節面區的骨折識別，然而關節面區和非關節面區的骨折區域，在明顯和微小的情況下依然都表現出最為顯著的顏色。因為橈骨邊緣分割準確度高，突出了重疊區域在位置和灰度變化上與其他位置的不同，所以讓深度學習模型可以更好地學習到特征，從而與真正的骨折區域有所區分。
圖8
骨折激活特征可視化效果
Figure8.
Visualization effect of fracture characteristics
5 橈骨遠端骨折分型診斷方法
5.1 診斷方法
橈骨遠端骨折分型診斷框架如圖9所示。首先，通過分割模型得到橈骨遠端與關節面區的分割區域；其次，區域求差后得到非關節面區分割區域；接著，在原圖像中獲取對象邊界最小矩形框，擴展邊界到正方形并縮放到分類模型要求大小；最后，使用兩個分類模型分別預測兩個區域，綜合判斷出骨折類型。
圖9
分型診斷框架圖
Figure9.
Framework diagram for predicting fracture types
5.2 實驗結果
微小骨折與橈骨重疊區域是引起正常、A型、B型和C型骨折分類錯誤的主要因素，關節面區和非關節面區的準確分割，在一定程度上可以解決該難點問題。在1 700張新患者圖像上進行分型測試，結果如表5所示，所提方法最終分型診斷結果要略好于專家的平均診斷，只有C型骨折診斷結果的查準率和F-Score稍低于專家診斷結果，但仍遠高于對圖像直接分類的結果。可以看出直接對圖像進行分類的方法性能較差，主要因為分型判斷的核心區域是關節面區和非關節面區兩個部分，兩個區域加起來只占整個X線片圖像的5%左右比例，噪聲區域占了絕大部分比例，分類前會對圖像進一步縮小，核心識別區域的紋理特征會進一步減少和模糊；同時由于手掌骨關節的特殊性，一些骨骼結構具有一定的相似性，也會導致直接分類的識別率大大下降。
表5
測試集分型結果比較
Table5.
Comparison of test set typing results
6 結論
本文針對X線片橈骨遠端骨折診斷問題，提出一種智能化和自動化的損傷分類方法。采用三層級聯分割技術，對識別骨折最重要的關節面區和非關節面區進行精準分割，在此基礎上對正常、A型、B型和C型骨折進行準確分類，平均識別率略高于骨科專家。該方法可以輔助醫生準確診斷橈骨遠端骨折，目前已經集成到合作企業的醫學影像科研平臺，并在寧波部分三級甲等醫院開展試用。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：劉云鵬負責整體設計與核心算法分析；干開豐和劉東權負責醫學知識指導；孫德超、邱虹負責編碼與實驗分析；李瑾負責數據整理與圖表繪制。
