早產兒視網膜病變(ROP)是造成早產兒視力損傷甚至致盲的一個主要原因。及時的檢查、診斷和干預能有效預防ROP進一步惡化。然而,目前全球范圍內對ROP的診斷存在主觀性強、篩查效率低、不同區域篩查普及率差異大、兒童眼底病醫師嚴重不足等問題。人工智能(AI)在ROP診斷和治療的應用作為人工診斷的輔助工具或者作為一個自動化的ROP診斷方式,可以有效地提高ROP診斷的效率和客觀性,擴大篩查的覆蓋面,實現篩查的自動化和診斷結果的量化。在全球重視醫學影像AI發展和應用的大環境下,開發更準確的診斷網絡,探索更有效的AI輔助診斷方法,增強AI輔助診斷的可解釋性,可以更快推動ROP的AI相關政策的完善以及AI產品的落地,促進ROP診斷和治療行業的發展。
引用本文: 吳迪, 毛劍波, 陸宇, 徐曉嶸, 沈麗君, 孫明齋. 人工智能在早產兒視網膜病變診療中的應用研究進展. 中華眼底病雜志, 2023, 39(12): 1022-1027. doi: 10.3760/cma.j.cn511434-20230109-00013 復制
版權信息: ?四川大學華西醫院華西期刊社《中華眼底病雜志》版權所有,未經授權不得轉載、改編
人工智能(AI)是一種使計算機能夠模擬和執行人類智能活動的技術和方法[1]。1956年, Russell[2]首次提出“AI”這一詞語。早期AI的目標是機器復現人類的智能行為,實現機器自動化。經過半個多世紀的發展,如今目標已變為AI可以獨立處理復雜的工作而不是簡單的重復性工作。作為AI的重要代表,機器學習(ML)使計算機從數據中學習算法并用于預測或決策。而深度學習(DL)作為ML的一個子領域,利用多層神經網絡模型進一步實現對數據的自動學習和高級特征表示[3]。ML和DL的出現為現代社會各領域的發展提供了動力。
AI在醫療領域應用廣泛,如皮膚癌分類、阿爾茨海默病的早期診斷、慢性胃炎的綜合診斷、基于眼底圖像的視網膜血管檢測和分割等[4-8]。1990年至2015年,全球中度或重度視力障礙的人數增加了36.2%。據預測,2050年全球中度或重度視力障礙患者數量將會是2015年約2.7倍[9]。然而,全球范圍內眼科行業從業人員的數量和預期增速遠不能滿足患者的醫療需求[10-12]。AI的興起為眼科醫療行業減負提供了一條可行的道路。目前,AI對糖尿病視網膜病變(DR)等成人致盲性眼病的輔助診斷準確率已經接近甚至超越了眼科專家[13]。
早產兒視網膜病變(ROP)是一種常見于早產(<37周)、低體重兒的視網膜血管性疾病,也是導致新生兒視力損傷的主要原因之一[14-15]。與成人相比,新生兒眼科疾病的發病機制更復雜、眼底圖像更難獲取、診斷難度更大[16],同時由于ROP病情進展速度快、治療時間窗短、對新生兒視力危害大、兒童眼底病醫生數量更少,因此AI的應用對改善新生兒眼底病的診斷和治療現狀有重要意義[17]。ROP-AI技術可能從以下幾個方面改變ROP診斷和治療所面臨的困境:(1)促進ROP篩查的普及;(2)提高診斷的效率、準確性和客觀性;(3)促進ROP嚴重程度的量化。現就AI在早ROP診斷和治療中的應用研究進展作一綜述。
1 ROP遠程診斷和治療平臺
數字眼底成像的遠程診斷和治療為提高ROP的篩查普及率提供了一個有效的平臺。遠程診斷和治療利用信息技術傳輸臨床檢查數據,減少地理條件對篩查的限制。早期ROP遠程診斷和治療采取醫生遠程讀圖的方式。2003年,Ells等[18]評估遠程診斷和治療技術在北美地區的ROP篩查的可行性。研究采用醫生遠程讀圖的診斷方法,檢測需要轉診的ROP的靈敏度為100%,特異性為96%,這項研究初步表明,遠程診斷和治療技術在ROP篩查中有良好的臨床應用前景。在斯坦福大學的一項大型ROP診斷試驗中,遠程診斷和治療技術在診斷需要治療的ROP上達到了極高的準確度[19]。2013年,ROP遠程診斷和治療項目已在中國啟動,覆蓋了廣東省和福建省的30家醫院,旨在建立跨區域的ROP遠程診斷和治療系統。眼科醫生對各個合作醫院上傳的眼底圖像進行診斷,診斷的平均準確率達98.8%[7]。遠程診斷和治療增加了ROP篩查的覆蓋面積,但是遠程診斷和治療的診斷結果仍依賴于檢查人員的主觀判斷,本質上是以高收入地區相對充足的醫療資源來補充資源匱乏的地區,整體工作量并未減少。
隨著AI技術的發展,ROP-AI輔助診斷模塊整合到了遠程診斷和治療系統中,提高了遠程診斷和治療的效率,實現了診斷和治療的自動化[20]。Zhang等[7]嘗試將AI輔助診斷模塊技術加入到ROP遠程醫療系統Telemed-R中,并證明該AI輔助診斷模塊具有良好的分類性能。四川大學章毅教授團隊建立了ROP檢測和分級云平臺DeepROP,對來自6家醫院的944例ROP患者進行了測試,結果顯示該平臺能高效地分類ROP[21]。
基于數字眼底成像的ROP遠程評估逐漸從一個研究工具過渡成為與臨床檢眼鏡檢查并列的常規ROP篩查方法。目前在美國20%ROP患者經過遠程診斷和治療[22]。在我國,相關研究工作正在驗證ROP遠程診斷和治療的有效性[23],為ROP遠程篩查平臺大規模投入使用奠定基礎。盡管由醫生進行現場的臨床診斷仍然是較為主流的檢查方式,但是隨著成像技術的進步以及遠程醫療體系的逐步建立和完善[24-25],遠程診斷和治療在ROP篩查中的比重將逐漸上升,同時也為ROP-AI的推廣提供更廣泛和有效的載體。
2 AI在ROP診斷和治療的應用
根據運行邏輯的不同,ROP-AI可分成兩類:第一類是基于ML的AI,第二類則是基于DL的AI。計算機輔助診斷(CAD)是AI在ROP中最直接的應用。此外,基于DL的AI具有高度的自動化以及自我學習等特性,因此具有更大的發展潛力,也被應用于更多不同的應用場景中。
2.1 基于ML的AI
基于ML的AI主要應用于開發ROP的CAD系統,這類系統采取人工選定眼底圖像中的特征并對特征進行量化的方法,獲得評價ROP嚴重程度的客觀指標。
ROP的CAD系統主要包括:ROPTool、RISA、Vessel Map和CAIAR。這四個系統的共同特點在于均基于ML的CAD系統,需要由人類指定識別的特征及計算方法,通過將特征量化為數值后加以比較得到診斷結果[26]。
2019年,Nisha KL和Sathidevi [27]開發了評估ROP附加病變(plus)的CAD系統。該系統首次把視網膜血管密度和血管葉節點(相鄰的血管分支點和血管末端點之間的血管段)的數量作為分類特征,通過血管形態學計算等方法提取和量化特征,最終在區分plus和對照組達到了93%的準確度。然而,基于ML的CAD與臨床診斷存在差異,基于ML的CAD只能檢測特定的指標,如血管的曲率、直徑、密度等進行量化分析。而在臨床診斷中,檢查者觀察的內容更加全面,考慮除指定特征外的影響因素,如病灶點所在的分區等。此外,選取不同的特征或者量化特征的方法也會對分類結果產生影響。
2.2 基于DL的AI
DL的出現是計算機技術發展的一個里程碑。與ML相比,DL可以從數據中自動學習到關鍵特征,并實現DL網絡的自主更新。因此基于DL的模型在面對異質性和高維度的數據時具有更強的抗數據干擾能力,能更有效地進行預測。此外,DL技術也被廣泛應用到圖像的特征識別、分割、標注等任務,為基于DL的AI應用提供更多的可能性。
2.2.1 基于DL的CAD
基于DL的CAD系統主要應用于ROP的分期和plus的AI診斷,在不需要人工指定的特征和量化規則的前提下,就能實現良好的診斷效果。Huang等[28]對比了VGG16、VGG19、InceptionV3、DenseNet、MobileNet這5種經典的卷積神經網絡的ROP分類性能,研究結果證明VGG-19在ROP分類上取得最好的效果。
武漢大學人民醫院沈吟教授團隊開發了基于Resnet101的AI輔助診斷和標注系統[29],ROP被分類為正常、輕微(1期或2期,無plus)、半嚴重(1期或2期,有plus)、嚴重(3~5期)。該系統最終達到了平均90.3%的分類準確度,和資深的眼科專家的分類準確度相當。Brown等[30]利用U-net加Inception V1的串聯網絡結構對plus、plus前期和正常進行三分類,結果顯示,該網絡的診斷準確度達到91%,優于對照組8位專家82%的平均準確度。
為了提高AI的診斷準確率,現有的方法常常通過加入特征融合模塊或注意力模塊來提高網絡對關鍵特征的識別能力,優化網絡的分類性能。四川大學章毅教授團隊開發的ROP輔助診斷網絡將單次檢查中的所有眼底圖像作為網絡的一次輸入,并加入特征融合模塊用于融合不同圖像的特征[31]。測試結果顯示,該網絡在分類對照組、輕度ROP(1、2期)、重度ROP(3~5期)的任務上取得了較好的分類性能。Attallah[32]開發DIAROP的ROP檢測系統運用了4個不同的卷積神經網絡從圖像中提取特征,增加關鍵特征被提取到的概率,并使用了快速沃爾什變換等方法對特征進行整合和降維。消融實驗的結果顯示,該系統所需的訓練時間更短,且在ROP的檢測任務上取得更高的準確度。暨南大學附屬深圳市眼科醫院張國明教授團隊在ResNet50網絡中加入了通道和空間注意力模塊,加強網絡對關鍵特征的提取能力,在ROP檢測的任務上取得更好的分類效果[33]。
深度多示例學習由于具有良好的數據擴增作用,尤其適用于數據量少的分類任務。Chen等[34]在深度多示例學習網絡加入了注意力池化模塊,增強網絡對關鍵特征的提取能力,較單純使用多示例學習有著更好的分類性能。中國人民大學李錫榮教授團隊在深度多示例學習網絡中加入了空間注意力模塊,實現了較好的分類效果,同時可以實現陽性示例的定位以及病灶的可視化[35]。
2.2.2 基于DL的拓展應用
除了對ROP進行AI輔助診斷,DL在特征識別、ROP嚴重程度的量化等方面同樣具有巨大的潛力。評估ROP嚴重程度的重要指標之一是視網膜分區的識別,例如研究表明發生在分區1的ROP比在其它分區的發病時間更早,病情進展也更快[36]。盡管《早產兒視網膜病變國際分類》對分區有定性的定義,但是在臨床診斷中,分區位置的判斷缺乏客觀性。張國明教授團隊開發的DL分區識別網絡通過定位眼底的視盤中心和黃斑中心,進一步識別出分區1的位置,在設定重疊度為0.8時,分區1的識別準確率達到91%[37]。蘇州大學陳新建教授團隊引入空間、通道注意力模塊增強網絡對關鍵信息的提取能力,并采用深度監督策略來增強網絡對淺層特征的利用率,改善分區識別效果[38]。Agrawal等[39]開發的檢測ROP分區的算法可以從黃斑發育不完全甚至黃斑不可見的眼底圖像中預測黃斑位置,進而識別不同分區的位置,測試結果顯示該算法達到98%的分區識別準確率。
量化ROP病情是ROP-AI的重要應用。區別于ML的特征量化,基于DL的病情量化是對ROP整體嚴重程度的量化。病情的量化有助于提高診斷的準確度,也可以用于對病情進行長時間監測,對ROP的治療有指導作用。血管嚴重度評分(QSS)主要用于量化plus,是目前應用最廣泛的ROP病情量化指標。2018年,Redd等[40]驗證QSS系統在僅針對后極部的plus量化任務而開發時,在檢測ROP的分期、分區以及1型ROP等方面也有良好的泛化性,QSS系統在診斷1型ROP和2型ROP上達到96.0%和86.7%的準確度,提示QSS系統可以準確識別ROP的整體嚴重程度。
2019年,Taylor等[41]證實QSS能夠準確反映ROP嚴重程度的變化,可以用于持續跟蹤ROP病情的進展。此外,最終發展為需要治療的ROP患者在各個年齡段的QSS變化率高于不需要治療者,這個特征或許可以作為早期判斷ROP發展趨勢的依據。同年,Gupta等[42]證實QSS可以用于監測治療后的ROP病變消退情況,同時對兩種主流的ROP治療方法即激光光凝治療和抗血管內皮生長因子(VEGF)藥物治療的治療效果進行了評估,結果顯示經抗VEGF藥物治療后的ROP患者QSS峰值更高,但是患者病變消退速度更快。Greenwald等[43]評估了QSS系統在遠程診斷和治療項目中的分類性能,結果顯示系統在區分輕度ROP和需要轉診的ROP時獲得較好的分類效果。Campbell等[44]基于印度ROP眼底數據集上驗證了QSS系統的良好診斷性能,補充了QSS系統在發展中國家的有效性研究。Campbell等[45]對比分析了同一批ROP圖像的原始標簽、來自《早產兒視網膜病變國際分類》的34名專家的診斷結果和相應的QSS,驗證了QSS作為ROP病情的AI量化指標的合理性。AI在ROP診斷和治療中的應用能夠有效地解決ROP診斷和治療面臨的難題,有巨大的研究和應用潛力。
3 ROP-AI的現狀和挑戰
ROP-AI技術屬于典型的AI在醫學影像領域的應用。醫學影像由于具有數據格式標準、容易獲取和利用等特點,是AI最早應用于臨床的領域之一[46]。醫學影像AI技術在疾病的輔助診斷方面的應用已經在全球眾多國家獲得了認可。
國外方面,美國、英國等發達國家都采取政策引導、促進技術落地等措施來支持醫學影像AI的發展[47-49]。國內方面,工信部2017年頒布的《促進新一代AI產業發展三年行動計劃(2018-2020年)》中強調要支持典型疾病領域的醫學影像診斷技術研發,加快醫療影像診斷系統的產品化及臨床輔助應用[50]。2020年8月,我國國家藥品監督管理局認證了兩項DR篩查軟件,并提出要建立國內首個DR標準數據庫[51]。
除了上述例子,針對其他病種的AI技術,包括AI在ROP診斷和治療上的應用,大多數已經處于研發或者試驗階段,現存比較突出的問題,如需要通過增強ROP-AI技術的可解釋性以提高公眾認可度等,也在不斷得到解決[52-54]。如同所有的新興事物一樣,ROP-AI技術在獲得普遍的認可和廣泛應用之前,必定面臨著質疑和挑戰[55]。隨著醫療影像AI技術的蓬勃發展,ROP-AI技術在不久后將會切實投入到ROP的臨床診斷和治療中。
4 ROP中AI應用的未來發展趨勢
4.1 ROP綜合輔助診斷網絡的研發
ROP的嚴重程度往往是分期、分區、plus等因素綜合作用的結果,但是現存的大部分診斷系統無法做到對ROP的全面診斷。未來的發展趨勢之一是開發能同時診斷分區、分期、plus的ROP綜合診斷網絡。綜合診斷網絡的診斷結果更符合臨床診斷的實際,對后續的臨床治療有更好的指導意義。
4.2 AI數據增強
從數據層面看,醫療影像AI輔助診斷系統的兩個主要影響因素是數據的數量和質量。在圖像數量方面,眼科AI研究領域中質量合格的眼底圖像的公開數據集相當有限。今后的研究可以利用監督學習方法,在使用部分標記或不準確標記的數據時,也能實現良好的分類性能。另外,通過生成對抗網絡合成眼底圖像用于擴增數據集也是潛在的研究方向。在圖像質量方面,相較于成年人眼底圖像,早產兒眼底圖像的質量更差,較差的圖像質量帶來更多的診斷不確定性。針對圖像的質量問題,開發DL眼底圖像質量評估算法,通過過濾原始數據集中高度模糊、過暗或過曝以及非眼底圖像,可以有效避免圖像質量對分類網絡性能的影響[7, 56]。
4.3 成像設備和網絡設計的輕量化
現有的ROP-AI輔助診斷基本都使用精密的數字眼底相機和高性能計算機作為硬件基礎,大大限制了ROP-AI的使用場景。智能手機眼底成像(SBFI)是一種輕量化的ROP篩查成像方法。相比于數字眼底相機,SBFI存在成像質量限制、過度依賴光照條件和拍攝角度有限等缺點,但其優勢在于成本低、使用簡易、便攜性高,并具備一定的圖像后期處理能力[57]。2014年,Lin等[58]驗證了智能手機進行眼底檢查的有效性。Rajalakshmi等[59]將AI與SBFI結合,開發了基于SBFI的DR智能診斷系統。針對ROP,Goyal等[60]建立了基于SBFI的ROP篩查系統,證明了智能手機作為ROP篩查工具的潛在價值。基于SBFI的AI輔助診斷系統的研究仍處于起步階段。隨著手機成像系統的發展,未來的SBFI可能克服現有的硬件限制,助力基于SBFI的AI算法的發展。
此外,開發輕量級網絡模型,保持模型性能的同時盡可能減少計算負載,使AI輔助診斷系統可以在類似手機的便攜式設備或者線上服務器這一類計算資源有限的環境中運行,克服AI需要消耗大量運算資源的問題,推動AI輔助診斷的普及。
5 小結與展望
AI在ROP中的應用可以有效解決當前ROP診斷和治療所面臨的問題,其作為人工診斷的輔助工具或者作為一個自動化的ROP診斷方式,可以有效提高ROP診斷的客觀性和效率,實現對ROP病情的量化。ROP-AI輔助診斷和遠程診斷和治療的結合可以解決篩查覆蓋率的區域差異大、醫療資源和醫師數量不足等問題,提高對醫療資源的利用率。在全球重視醫學影像AI發展和應用的大環境下,開發更準確的診斷網絡,探索更有效的AI輔助診斷方法,增強AI輔助診斷的可解釋性,可以更快推動ROP-AI相關政策的完善以及AI產品的落地,促進ROP診斷和治療行業的發展。
人工智能(AI)是一種使計算機能夠模擬和執行人類智能活動的技術和方法[1]。1956年, Russell[2]首次提出“AI”這一詞語。早期AI的目標是機器復現人類的智能行為,實現機器自動化。經過半個多世紀的發展,如今目標已變為AI可以獨立處理復雜的工作而不是簡單的重復性工作。作為AI的重要代表,機器學習(ML)使計算機從數據中學習算法并用于預測或決策。而深度學習(DL)作為ML的一個子領域,利用多層神經網絡模型進一步實現對數據的自動學習和高級特征表示[3]。ML和DL的出現為現代社會各領域的發展提供了動力。
AI在醫療領域應用廣泛,如皮膚癌分類、阿爾茨海默病的早期診斷、慢性胃炎的綜合診斷、基于眼底圖像的視網膜血管檢測和分割等[4-8]。1990年至2015年,全球中度或重度視力障礙的人數增加了36.2%。據預測,2050年全球中度或重度視力障礙患者數量將會是2015年約2.7倍[9]。然而,全球范圍內眼科行業從業人員的數量和預期增速遠不能滿足患者的醫療需求[10-12]。AI的興起為眼科醫療行業減負提供了一條可行的道路。目前,AI對糖尿病視網膜病變(DR)等成人致盲性眼病的輔助診斷準確率已經接近甚至超越了眼科專家[13]。
早產兒視網膜病變(ROP)是一種常見于早產(<37周)、低體重兒的視網膜血管性疾病,也是導致新生兒視力損傷的主要原因之一[14-15]。與成人相比,新生兒眼科疾病的發病機制更復雜、眼底圖像更難獲取、診斷難度更大[16],同時由于ROP病情進展速度快、治療時間窗短、對新生兒視力危害大、兒童眼底病醫生數量更少,因此AI的應用對改善新生兒眼底病的診斷和治療現狀有重要意義[17]。ROP-AI技術可能從以下幾個方面改變ROP診斷和治療所面臨的困境:(1)促進ROP篩查的普及;(2)提高診斷的效率、準確性和客觀性;(3)促進ROP嚴重程度的量化。現就AI在早ROP診斷和治療中的應用研究進展作一綜述。
1 ROP遠程診斷和治療平臺
數字眼底成像的遠程診斷和治療為提高ROP的篩查普及率提供了一個有效的平臺。遠程診斷和治療利用信息技術傳輸臨床檢查數據,減少地理條件對篩查的限制。早期ROP遠程診斷和治療采取醫生遠程讀圖的方式。2003年,Ells等[18]評估遠程診斷和治療技術在北美地區的ROP篩查的可行性。研究采用醫生遠程讀圖的診斷方法,檢測需要轉診的ROP的靈敏度為100%,特異性為96%,這項研究初步表明,遠程診斷和治療技術在ROP篩查中有良好的臨床應用前景。在斯坦福大學的一項大型ROP診斷試驗中,遠程診斷和治療技術在診斷需要治療的ROP上達到了極高的準確度[19]。2013年,ROP遠程診斷和治療項目已在中國啟動,覆蓋了廣東省和福建省的30家醫院,旨在建立跨區域的ROP遠程診斷和治療系統。眼科醫生對各個合作醫院上傳的眼底圖像進行診斷,診斷的平均準確率達98.8%[7]。遠程診斷和治療增加了ROP篩查的覆蓋面積,但是遠程診斷和治療的診斷結果仍依賴于檢查人員的主觀判斷,本質上是以高收入地區相對充足的醫療資源來補充資源匱乏的地區,整體工作量并未減少。
隨著AI技術的發展,ROP-AI輔助診斷模塊整合到了遠程診斷和治療系統中,提高了遠程診斷和治療的效率,實現了診斷和治療的自動化[20]。Zhang等[7]嘗試將AI輔助診斷模塊技術加入到ROP遠程醫療系統Telemed-R中,并證明該AI輔助診斷模塊具有良好的分類性能。四川大學章毅教授團隊建立了ROP檢測和分級云平臺DeepROP,對來自6家醫院的944例ROP患者進行了測試,結果顯示該平臺能高效地分類ROP[21]。
基于數字眼底成像的ROP遠程評估逐漸從一個研究工具過渡成為與臨床檢眼鏡檢查并列的常規ROP篩查方法。目前在美國20%ROP患者經過遠程診斷和治療[22]。在我國,相關研究工作正在驗證ROP遠程診斷和治療的有效性[23],為ROP遠程篩查平臺大規模投入使用奠定基礎。盡管由醫生進行現場的臨床診斷仍然是較為主流的檢查方式,但是隨著成像技術的進步以及遠程醫療體系的逐步建立和完善[24-25],遠程診斷和治療在ROP篩查中的比重將逐漸上升,同時也為ROP-AI的推廣提供更廣泛和有效的載體。
2 AI在ROP診斷和治療的應用
根據運行邏輯的不同,ROP-AI可分成兩類:第一類是基于ML的AI,第二類則是基于DL的AI。計算機輔助診斷(CAD)是AI在ROP中最直接的應用。此外,基于DL的AI具有高度的自動化以及自我學習等特性,因此具有更大的發展潛力,也被應用于更多不同的應用場景中。
2.1 基于ML的AI
基于ML的AI主要應用于開發ROP的CAD系統,這類系統采取人工選定眼底圖像中的特征并對特征進行量化的方法,獲得評價ROP嚴重程度的客觀指標。
ROP的CAD系統主要包括:ROPTool、RISA、Vessel Map和CAIAR。這四個系統的共同特點在于均基于ML的CAD系統,需要由人類指定識別的特征及計算方法,通過將特征量化為數值后加以比較得到診斷結果[26]。
2019年,Nisha KL和Sathidevi [27]開發了評估ROP附加病變(plus)的CAD系統。該系統首次把視網膜血管密度和血管葉節點(相鄰的血管分支點和血管末端點之間的血管段)的數量作為分類特征,通過血管形態學計算等方法提取和量化特征,最終在區分plus和對照組達到了93%的準確度。然而,基于ML的CAD與臨床診斷存在差異,基于ML的CAD只能檢測特定的指標,如血管的曲率、直徑、密度等進行量化分析。而在臨床診斷中,檢查者觀察的內容更加全面,考慮除指定特征外的影響因素,如病灶點所在的分區等。此外,選取不同的特征或者量化特征的方法也會對分類結果產生影響。
2.2 基于DL的AI
DL的出現是計算機技術發展的一個里程碑。與ML相比,DL可以從數據中自動學習到關鍵特征,并實現DL網絡的自主更新。因此基于DL的模型在面對異質性和高維度的數據時具有更強的抗數據干擾能力,能更有效地進行預測。此外,DL技術也被廣泛應用到圖像的特征識別、分割、標注等任務,為基于DL的AI應用提供更多的可能性。
2.2.1 基于DL的CAD
基于DL的CAD系統主要應用于ROP的分期和plus的AI診斷,在不需要人工指定的特征和量化規則的前提下,就能實現良好的診斷效果。Huang等[28]對比了VGG16、VGG19、InceptionV3、DenseNet、MobileNet這5種經典的卷積神經網絡的ROP分類性能,研究結果證明VGG-19在ROP分類上取得最好的效果。
武漢大學人民醫院沈吟教授團隊開發了基于Resnet101的AI輔助診斷和標注系統[29],ROP被分類為正常、輕微(1期或2期,無plus)、半嚴重(1期或2期,有plus)、嚴重(3~5期)。該系統最終達到了平均90.3%的分類準確度,和資深的眼科專家的分類準確度相當。Brown等[30]利用U-net加Inception V1的串聯網絡結構對plus、plus前期和正常進行三分類,結果顯示,該網絡的診斷準確度達到91%,優于對照組8位專家82%的平均準確度。
為了提高AI的診斷準確率,現有的方法常常通過加入特征融合模塊或注意力模塊來提高網絡對關鍵特征的識別能力,優化網絡的分類性能。四川大學章毅教授團隊開發的ROP輔助診斷網絡將單次檢查中的所有眼底圖像作為網絡的一次輸入,并加入特征融合模塊用于融合不同圖像的特征[31]。測試結果顯示,該網絡在分類對照組、輕度ROP(1、2期)、重度ROP(3~5期)的任務上取得了較好的分類性能。Attallah[32]開發DIAROP的ROP檢測系統運用了4個不同的卷積神經網絡從圖像中提取特征,增加關鍵特征被提取到的概率,并使用了快速沃爾什變換等方法對特征進行整合和降維。消融實驗的結果顯示,該系統所需的訓練時間更短,且在ROP的檢測任務上取得更高的準確度。暨南大學附屬深圳市眼科醫院張國明教授團隊在ResNet50網絡中加入了通道和空間注意力模塊,加強網絡對關鍵特征的提取能力,在ROP檢測的任務上取得更好的分類效果[33]。
深度多示例學習由于具有良好的數據擴增作用,尤其適用于數據量少的分類任務。Chen等[34]在深度多示例學習網絡加入了注意力池化模塊,增強網絡對關鍵特征的提取能力,較單純使用多示例學習有著更好的分類性能。中國人民大學李錫榮教授團隊在深度多示例學習網絡中加入了空間注意力模塊,實現了較好的分類效果,同時可以實現陽性示例的定位以及病灶的可視化[35]。
2.2.2 基于DL的拓展應用
除了對ROP進行AI輔助診斷,DL在特征識別、ROP嚴重程度的量化等方面同樣具有巨大的潛力。評估ROP嚴重程度的重要指標之一是視網膜分區的識別,例如研究表明發生在分區1的ROP比在其它分區的發病時間更早,病情進展也更快[36]。盡管《早產兒視網膜病變國際分類》對分區有定性的定義,但是在臨床診斷中,分區位置的判斷缺乏客觀性。張國明教授團隊開發的DL分區識別網絡通過定位眼底的視盤中心和黃斑中心,進一步識別出分區1的位置,在設定重疊度為0.8時,分區1的識別準確率達到91%[37]。蘇州大學陳新建教授團隊引入空間、通道注意力模塊增強網絡對關鍵信息的提取能力,并采用深度監督策略來增強網絡對淺層特征的利用率,改善分區識別效果[38]。Agrawal等[39]開發的檢測ROP分區的算法可以從黃斑發育不完全甚至黃斑不可見的眼底圖像中預測黃斑位置,進而識別不同分區的位置,測試結果顯示該算法達到98%的分區識別準確率。
量化ROP病情是ROP-AI的重要應用。區別于ML的特征量化,基于DL的病情量化是對ROP整體嚴重程度的量化。病情的量化有助于提高診斷的準確度,也可以用于對病情進行長時間監測,對ROP的治療有指導作用。血管嚴重度評分(QSS)主要用于量化plus,是目前應用最廣泛的ROP病情量化指標。2018年,Redd等[40]驗證QSS系統在僅針對后極部的plus量化任務而開發時,在檢測ROP的分期、分區以及1型ROP等方面也有良好的泛化性,QSS系統在診斷1型ROP和2型ROP上達到96.0%和86.7%的準確度,提示QSS系統可以準確識別ROP的整體嚴重程度。
2019年,Taylor等[41]證實QSS能夠準確反映ROP嚴重程度的變化,可以用于持續跟蹤ROP病情的進展。此外,最終發展為需要治療的ROP患者在各個年齡段的QSS變化率高于不需要治療者,這個特征或許可以作為早期判斷ROP發展趨勢的依據。同年,Gupta等[42]證實QSS可以用于監測治療后的ROP病變消退情況,同時對兩種主流的ROP治療方法即激光光凝治療和抗血管內皮生長因子(VEGF)藥物治療的治療效果進行了評估,結果顯示經抗VEGF藥物治療后的ROP患者QSS峰值更高,但是患者病變消退速度更快。Greenwald等[43]評估了QSS系統在遠程診斷和治療項目中的分類性能,結果顯示系統在區分輕度ROP和需要轉診的ROP時獲得較好的分類效果。Campbell等[44]基于印度ROP眼底數據集上驗證了QSS系統的良好診斷性能,補充了QSS系統在發展中國家的有效性研究。Campbell等[45]對比分析了同一批ROP圖像的原始標簽、來自《早產兒視網膜病變國際分類》的34名專家的診斷結果和相應的QSS,驗證了QSS作為ROP病情的AI量化指標的合理性。AI在ROP診斷和治療中的應用能夠有效地解決ROP診斷和治療面臨的難題,有巨大的研究和應用潛力。
3 ROP-AI的現狀和挑戰
ROP-AI技術屬于典型的AI在醫學影像領域的應用。醫學影像由于具有數據格式標準、容易獲取和利用等特點,是AI最早應用于臨床的領域之一[46]。醫學影像AI技術在疾病的輔助診斷方面的應用已經在全球眾多國家獲得了認可。
國外方面,美國、英國等發達國家都采取政策引導、促進技術落地等措施來支持醫學影像AI的發展[47-49]。國內方面,工信部2017年頒布的《促進新一代AI產業發展三年行動計劃(2018-2020年)》中強調要支持典型疾病領域的醫學影像診斷技術研發,加快醫療影像診斷系統的產品化及臨床輔助應用[50]。2020年8月,我國國家藥品監督管理局認證了兩項DR篩查軟件,并提出要建立國內首個DR標準數據庫[51]。
除了上述例子,針對其他病種的AI技術,包括AI在ROP診斷和治療上的應用,大多數已經處于研發或者試驗階段,現存比較突出的問題,如需要通過增強ROP-AI技術的可解釋性以提高公眾認可度等,也在不斷得到解決[52-54]。如同所有的新興事物一樣,ROP-AI技術在獲得普遍的認可和廣泛應用之前,必定面臨著質疑和挑戰[55]。隨著醫療影像AI技術的蓬勃發展,ROP-AI技術在不久后將會切實投入到ROP的臨床診斷和治療中。
4 ROP中AI應用的未來發展趨勢
4.1 ROP綜合輔助診斷網絡的研發
ROP的嚴重程度往往是分期、分區、plus等因素綜合作用的結果,但是現存的大部分診斷系統無法做到對ROP的全面診斷。未來的發展趨勢之一是開發能同時診斷分區、分期、plus的ROP綜合診斷網絡。綜合診斷網絡的診斷結果更符合臨床診斷的實際,對后續的臨床治療有更好的指導意義。
4.2 AI數據增強
從數據層面看,醫療影像AI輔助診斷系統的兩個主要影響因素是數據的數量和質量。在圖像數量方面,眼科AI研究領域中質量合格的眼底圖像的公開數據集相當有限。今后的研究可以利用監督學習方法,在使用部分標記或不準確標記的數據時,也能實現良好的分類性能。另外,通過生成對抗網絡合成眼底圖像用于擴增數據集也是潛在的研究方向。在圖像質量方面,相較于成年人眼底圖像,早產兒眼底圖像的質量更差,較差的圖像質量帶來更多的診斷不確定性。針對圖像的質量問題,開發DL眼底圖像質量評估算法,通過過濾原始數據集中高度模糊、過暗或過曝以及非眼底圖像,可以有效避免圖像質量對分類網絡性能的影響[7, 56]。
4.3 成像設備和網絡設計的輕量化
現有的ROP-AI輔助診斷基本都使用精密的數字眼底相機和高性能計算機作為硬件基礎,大大限制了ROP-AI的使用場景。智能手機眼底成像(SBFI)是一種輕量化的ROP篩查成像方法。相比于數字眼底相機,SBFI存在成像質量限制、過度依賴光照條件和拍攝角度有限等缺點,但其優勢在于成本低、使用簡易、便攜性高,并具備一定的圖像后期處理能力[57]。2014年,Lin等[58]驗證了智能手機進行眼底檢查的有效性。Rajalakshmi等[59]將AI與SBFI結合,開發了基于SBFI的DR智能診斷系統。針對ROP,Goyal等[60]建立了基于SBFI的ROP篩查系統,證明了智能手機作為ROP篩查工具的潛在價值。基于SBFI的AI輔助診斷系統的研究仍處于起步階段。隨著手機成像系統的發展,未來的SBFI可能克服現有的硬件限制,助力基于SBFI的AI算法的發展。
此外,開發輕量級網絡模型,保持模型性能的同時盡可能減少計算負載,使AI輔助診斷系統可以在類似手機的便攜式設備或者線上服務器這一類計算資源有限的環境中運行,克服AI需要消耗大量運算資源的問題,推動AI輔助診斷的普及。
5 小結與展望
AI在ROP中的應用可以有效解決當前ROP診斷和治療所面臨的問題,其作為人工診斷的輔助工具或者作為一個自動化的ROP診斷方式,可以有效提高ROP診斷的客觀性和效率,實現對ROP病情的量化。ROP-AI輔助診斷和遠程診斷和治療的結合可以解決篩查覆蓋率的區域差異大、醫療資源和醫師數量不足等問題,提高對醫療資源的利用率。在全球重視醫學影像AI發展和應用的大環境下,開發更準確的診斷網絡,探索更有效的AI輔助診斷方法,增強AI輔助診斷的可解釋性,可以更快推動ROP-AI相關政策的完善以及AI產品的落地,促進ROP診斷和治療行業的發展。