類器官是一種能夠模擬體內組織復雜結構和功能的體外模型，通過類器官圖像分析已能實現分類、篩選、軌跡識別等功能，但仍存在識別分類和細胞追蹤精度較低等問題。深度學習算法與類器官圖像融合分析是目前最前沿的類器官圖像分析方法。本文對類器官圖像深度感知技術研究進行了調研整理，介紹了類器官培養機制及其在深度感知中的應用概念，分別綜述了類器官圖像與分類識別、模式檢測、圖像分割以及動態追蹤等4種深度感知算法的關鍵進展，對比分析了不同深度模型間的性能優勢。此外，本文還從深度感知特征學習、模型泛化性和多種評價參數等方面對各類器官圖像深度感知技術進行了歸納總結，并對未來基于深度學習方法的類器官發展趨勢進行了展望，以此促進深度感知技術在類器官圖像方面的應用，為該領域的學術研究和實踐應用提供了重要參考。
引用本文： 孫渝, 黃鳳良, 張瀚文, 江浩, 羅剛銀. 類器官圖像深度感知技術研究綜述. 生物醫學工程學雜志, 2024, 41(5): 1053-1061. doi: 10.7507/1001-5515.202404036 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
0 引言
類器官是一種來源于干細胞的自組織三維（three dimensions，3D）培養物，它能夠復制不同組織的細胞類型、結構、生物學復雜性和關鍵功能[1]，從而可以模擬器官的發育、組織再生和疾病進展。類器官與傳統二維（two dimensions，2D）細胞系相比，可以更好地模擬復雜的生理環境，且基因組相對穩定，適合生物研究和高通量篩選；與動物模型相比，類器官源于人類，可以更準確地模擬人體器官和疾病發展模型，很大程度上符合實驗倫理要求[2]。隨著技術發展，科學家們能夠通過特定培養方法將胚胎干細胞和誘導多能干細胞轉化為類似于人體組織的各種三維結構，從而成功培育出多種非腫瘤衍生類器官。而腫瘤類器官技術的出現則為癌癥研究帶來了新突破，這種技術利用腫瘤組織中的腫瘤特異性干細胞，引入到三維組織培養中形成細胞簇，模擬體內腫瘤特征和腫瘤細胞的異質性；同時，腫瘤類器官可以針對特定個體進行培養，為個性化腫瘤治療提供全新的思路與方法，為未來醫學發展開辟新道路。
定期觀察和評估培養過程中類器官的持續形態變化，對研究特定培養基中生長的類器官至關重要[3]，研究者們通常使用顯微鏡來有效觀察和評估類器官的形態變化[4]。由于類器官的三維培養性質，為準確捕獲類器官圖像需多次調整焦平面，因此成像過程繁瑣而復雜。此外，類器官的異質性、組織重疊、成像模糊和雜質閉塞等特點，更是讓類器官研究與分析較為困難，其所需要的海量圖像數據，也使傳統人工分析方法難以滿足現有技術發展需求，亟需新的技術方法來解決對類器官圖像快速高效進行分析這一難題。
圖像深度智能感知技術是人工智能（artificial intelligence，AI）研究領域的一項新興技術，通過在大型數據集上訓練，以完成圖像預測、分類和其他復雜圖像感知任務。近年來，深度學習的發展促進了生物醫學成像領域中圖像數據的高通量分析，以卷積神經網絡（convolutional neural networks，CNN）為基礎的算法被廣泛應用于類器官圖像處理。通過自適應感知算法，可以從顯微圖像中挖掘可量化的二維和空間細胞特征，使研究人員能夠快速精準地分析不同條件下的類器官結構與功能[5]。通過將類器官與深度感知技術結合，研究者可以創建更復雜、更準確的人體器官功能或疾病模型，為藥物發現、疾病診斷和治療開發提供強有力的工具[6]。
目前，雖然深度學習已經廣泛應用于類器官圖像感知研究領域，研究者針對不同類型的類器官也提出了各種算法模型、研究工具，然而關于深度學習與類器官研究的綜述極少。因此，本文主要從圖像感知算法角度回顧深度學習與類器官的研究進展，按類器官圖像分析的相關任務，分別從分類識別、模式檢測、圖像分割與動態跟蹤4個方面進行單獨闡述，總結當前深度學習在類器官研究中面臨的挑戰，并對未來研究方向進行展望。
1 基于深度學習的類器官研究
1.1 基于深度學習的類器官分類研究
目標分類是醫學圖像分析的核心領域，深度學習技術為這一領域帶來了自動、高效且精準的解決方案。而在類器官研究領域，分類任務尤為重要。類器官作為模擬人體真實組織結構的體外模型，其形態特征的細微變化往往能夠反映出細胞或組織的生理狀態和功能變化，深度學習技術的運用為類器官分類帶來了前所未有的突破。如表1所示，總結了深度學習在類器官分類中的研究成果，例如：Kegeles等[7]在研究中發現，同一批次的視網膜類器官分化差異明顯，導致在后續操作前必須通過顯微鏡進行繁瑣且低效的手動挑選，為解決這一問題，他們對比了視覺對象識別數據庫（ImageNet）預訓練的多種CNN，發現殘差神經網絡50（residual network 50，ResNet50）模型表現最佳，其特征曲線下面積（area under curve，AUC）值最高。該模型在預測早期視網膜類器官命運方面甚至超越了專家水平，為評估明場條件下的視網膜類器官分化提供了一種穩定的方法。但該研究僅將視網膜類器官的分化分為三類，沒有展現出明顯可分離的視網膜區域，僅呈現出稀疏或分散的熒光模式。并且該數據集僅由兩位科研人員進行了主觀標注，數據集具有一定局限性。Bian等[8]提出了一種深度學習分類算法類器官神經網絡（organoid network，OrgaNet），并構建了第一個專用數據集來實現類器官活力評估，其以96.90%的準確率實現了最佳分類，但針對明場情況下的效果不是很好。于是，Powell等[9]提出了一個深度類器官分類（deepOrganoid）模型，deepOrganoid數據集涵蓋9個結腸癌患者來源的類器官的原始明場圖像、Z投影和生化注釋，具有生物、化學和技術多樣性，可以對明場類器官圖像分類，并評估類器官活力的變化，為精準治療提供了新的思路。
表1
深度學習在類器官分類中的研究成果
Table1.
Research results of deep learning algorithm in organoid classification
為確定類器官的結構成熟度，Abdul等[10]開發了一種名為基于深度學習的圖像分析工具（deep learning-based image analysis tool，D-CryptO），研究者使用自定義數據集對6個預訓練深度神經網絡模型進行了比較，其中極端啟發式網絡（extreme inception，XCeption）在兩類結腸類器官數據集（一類由出芽和球形類器官組成，另一類為不透明和透明的類器官樣本）均表現出最佳的檢測性能，分類準確率分別為98.00%和90.87%，因此被選為最終的模型。D-CryptO可確定結腸類器官樣本的結構成熟程度，檢測結腸類器官樣本對不同化療藥物的微小變化。該工具還可以擴展到其他器官樣本類型，以促進三維組織形態分析的研究。但考慮到D-CryptO是針對結腸器官樣品的形態學特征進行訓練的，因此在處理其他類型的器官樣品時，可能需要重新訓練和調整D-CryptO模型。
鑒于類器官具有特征多樣且變化迅速的特性，傳統的特征提取方法已難以滿足研究需求。因此，研究者開始轉向采用U型網絡（U-Net）模型，以更精準地提取類器官的關鍵特征。Okamoto等[11]提出了一種基于人工智能的分類器，該分類器通過訓練21例來自IV期結直腸癌患者的患者衍生類器官數據集，將結直腸癌類器官分為6類。該研究使用了兩種深度學習模型：U-Net和密集連接卷積網絡201（densely connected convolutional networks 201，densNet201），其中U-Net用于從顯微鏡圖像中提取特征，而densNet201用于對類器官進行分類。但該研究使用的樣本數量較小，可能限制了對結直腸癌形態多樣性的全面理解。此數據集構建基于人工觀察和人工智能模型分類，盡管人工智能模型表現良好，但仍可能存在主觀性和誤差。
1.2 基于深度學習的類器官檢測研究
目標檢測的任務是從圖像中準確識別所有目標對象，并確定其類別及位置。然而，類器官通常處于三維培養環境中，圖像常受到多種成像偽影的干擾，這極大地增加了人工檢測這些培養物形態和生長特征的難度。此外，手動測量和計數類器官不僅效率低下，而且容易出錯。深度學習在類器官檢測中的研究成果，總結如表2所示。Kassis等[12]創建了亮場模式下的人類腸道類器官數據集，使用基于第2代啟發式網絡（inception version 2，Inception v2）和殘差神經網絡（residual network，ResNet）改進的快速區域CNN（faster regions with CNN，Faster R-CNN）模型進行訓練，該模型能夠準確地檢測和計數亮場圖像中的腸道類器官培養物，平均精度均值（mean average precision，mAP）為80%，檢測質量較高且節約時間。同時該模型還可利用邊界框對明場圖像中的類器官進行實例注釋，這可以量化類器官的數量，但不能量化高級類器官特征，例如大小、密度和偏心率等。對此，Bremer等[13]開發了一個基于深度學習的廣義類器官注釋工具，使用實例分割和類器官的像素級識別來量化高級類器官特征，可適用于多種類器官數據集，還可以注釋在不同實驗室中生成的各種類器官。上述這些方法可以緩解類器官原始數據問題。Abdul等[14]對比了6種不同的CNN模型，其中具有數據增強的Faster R-CNN結合殘差神經網絡101（residual network101，ResNet101）（Faster R-CNN/ResNet101）達到了83%的平均精度均值，由此開發了一種名為“基于深度學習的明場圖像人肺上皮球分類（human lung epithelial spheroid classification from brightfield images using deep learning，Deep-LUMEN）”的深度學習算法。該模型可用于檢測明場顯微圖像中肺上皮球體的形態變化，從而區分極化和非極化肺上皮球體。然而，該研究訓練數據集中的圖像數量接近4 000張，測試集僅有197張圖像，這種情況可能導致測試結果不夠全面或不夠具有代表性，進而影響對所得到結果的準確性和可靠性的評估。
表2
深度學習在類器官檢測中的研究成果
Table2.
Research results of deep learning algorithm in organoid detection
近幾年，“你只看一次”（you only look once，YOLO）算法被廣泛運用于各個領域，其針對目標檢測任務展現出的快速、高效以及出色的全局特征提取能力，與類器官檢測任務完美契合。Domènech-Moreno等[15]使用YOLO第5代版本（YOLO version 5，YOLOv5）作為小鼠腸道類器官檢測的模型，他們成功地開發出了一種能夠自動檢測和分類腸道類器官樣本形態的工具——簡便類器官分類工具（Tellu）。這個工具可以快速、準確和可重復地分析腸道類器官樣本的形態特征，檢測準確率高達79%。但當多個類器官樣本密集重疊時，就可能導致Tellu算法和人工都無法準確識別、區分重疊的類器官樣本。Yang等[16]利用改進的YOLO第3代版本（YOLO version 3，YOLOv3）模型對胃類器官樣本的細胞衰老情況進行了評估。該模型結合了卷積塊注意力模塊（convolutional block attention module，CBAM）與YOLOv3目標檢測算法（CBAM-YOLOv3），對胃類器官樣本進行識別，準確率高達93.20%。相較于傳統方法，該模型不僅能準確評估類器官樣本的平均直徑、數量等參數，更在細胞衰老評估中凸顯其優勢，借助此模型研究人員可以迅速且精準地掌握胃類器官樣本的生長狀態，并實時監測活體生物庫情況。然而，該研究中收集的圖像是靜態圖像，實際應用時，需要對顯微鏡的圖像捕獲過程進行實時評估。Leng等[17]基于文獻[12]的腸道類器官數據集開發了一種改進的輕量級模型——基于深度學習的類器官模型（deep organoid module，Deep-Orga）。該模型基于YOLO第X代版本（YOLO version X，YOLOX）模型進行改進，通過使用重參化視覺幾何組（re-parameterization visual geometry group，RepVGG）模型改進YOLOX的骨干網絡，以增強推理速度和性能，同時在YOLOX的中間層引入了平衡特征金字塔（balanced feature pyramid，BFP）模塊，該模塊可以融合不同層級的特征信息，使每一層的特征更加可區分。此外，還使用平衡L1損失來平衡模型的分類和定位損失，進一步提高了模型的檢測性能，成功解決了腸道類器官培養物形態評估的主觀性和耗時性問題。Deep-Orga模型存在兩個主要限制：一是模型輕量化不足，相比YOLOX模型，它引入了更多參數和計算量，導致推理時間增加；二是使用的數據集標注存在缺陷，由于標注的主觀性，許多類器官樣本未被標記，影響了模型的檢測性能。
1.3 基于深度學習的類器官分割研究
圖像分割，是將圖像劃分為許多具有獨特屬性的特定區域，并提取出目標特征的技術和過程。近年來，分割算法U-Net廣泛應用于醫學領域，它具有快速、準確的圖像分割能力。鑒于類器官圖像具有背景復雜、細胞密集、特征復雜的特點，U-Net逐漸成為類器官研究最熱門的算法，其通過結合低分辨率和高分辨率特征圖，可有效融合低級和高級圖像特征[18]，其典型的研究成果匯總如表3所示。Wang等[19]提出了一種改進的將U-Net模型融合優化算法與卷積塊注意力模塊的殘差深度注意力模型（residual deep attention U-Net，RDAU-Net）。該研究創建的數據集包含了不同藥物處理的膀胱癌細胞系的類器官樣本圖像，共計200張，處理時間為1～7 d。其圖像經過預處理，增強器官樣本和背景之間的對比度，并減少類器官樣本的干擾。研究中，RDAU-Net使用殘差結構和膨脹率動態卷積模塊來替代原來U-Net中的雙層卷積模塊，增加了卷積模塊的感受野和編碼器的特征提取能力。此外，原來的最大池化下采樣被卷積核大小為5和步幅為2的卷積所取代，以進一步減少編碼器下采樣部分的信息丟失，在編碼器最后兩層的動態卷積模塊之后添加坐標注意力（coordinate attention，CA）模塊，以細化和加強提取的特征；跳過連接部分使用注意力門（attention gate，AG）來權衡特征，抑制不相關的區域特征，并減少語義差距。該研究解決了類器官樣本基于藥物篩選中的圖像分割問題，并實現了自動化的分割和面積計算，為藥物篩選提供了有效的工具。但隨著時間的推移，數據集中一些類器官逐漸聚集在一起，RDAU-Net在二維平面上再難區分，需要新的模型對類器官進行分割和重建。考慮到U-Net處理小目標時容易丟失細節，Zhang等[20]針對該膀胱癌類器官數據集又提出了一種基于U方網絡（U-squared net，U2-Net）的融合區域注意力引導模塊（region attention guided，RAG）和全局上下文模塊（global context module，GCM）的模型（attention-guided contextual U2-Net，ACU2-Net）作為膀胱癌類器官圖像分割方法。ACU2-Net模型是在U2-Net模型的基礎上引入了兩個模塊：RAG模塊和GCM模塊，RAG模塊通過在U2-Net網絡的跳躍連接部分插入通道注意力機制，提高了模型對膀胱癌類器官樣本特征的學習能力和處理細節信息的能力；GCM模塊則通過獲取不同尺度的感受野特征，最大限度地傳遞膀胱癌類器官樣本顯著區域的特征信息，避免了在特征提取過程中丟失小目標的細節。這些改進使得ACU2-Net模型能夠更好地學習膀胱癌類器官樣本的特征，并處理詳細信息，從而提高了分割能力。但研究僅針對膀胱癌類器官樣本的二維圖像進行分割，無法解決復雜背景和混合效應等問題。Park等[21]使用了基于多尺度U-Net的深度學習模型，命名為類器官提取器（OrgaExtractor），其所采用的數據集包含了248張人類結腸組織中的正常結腸小囊體的二維圖像。OrgaExtractor可用于對不同大小的類器官樣本進行準確的分割，其在結腸類器官上的分割準確率高達85%。總的來看，U-Net是一種非常適合類器官圖像分割任務的深度學習模型，但其在計算資源消耗方面存在一定的問題。為了解決這個問題，Brémond Martin等[22]研究人員對U-Net進行了優化，提出了多尺度U-Net（multi-scale U-net，Mu-Net）模型，其所用數據集包含了腦類器官培養物的亮場圖像。Mu-Net模型通過減少網絡層數和卷積核大小來降低計算資源消耗，相比于U-Net，Mu-Net具有更少的參數、更小的內存占用和更高的計算效率，這使得Mu-Net模型在處理圖像分割任務時具有更高的效率和性能。該研究使用了40個原始圖像和40個合成圖像進行交叉驗證，以評估不同模型和數據增強策略的性能，雖然在一定程度上解決了數據集少的問題，但小數據集不可避免地會影響模型的性能和準確性，導致MU-Net模型在神經上皮區域分割方面的準確性較差。
表3
深度學習在類器官分割中的研究成果
Table3.
Research results of deep learning algorithm in organoid segmentation
根據上述研究，雖然二維圖像能夠在一定程度上表征類器官，但三維圖像更能展現其復雜性和形態特征，針對類器官三維圖像分割逐漸成為了研究的重點。Borten等[23]開發一種自動化的亮場形態測量方法，稱為類器官分割器（OrganoSeg）。這是一種可以快速、準確地對三維類器官群（包括5 167個乳腺癌球狀體和5 743個結腸癌和結直腸癌類器官）進行分割和測量的方法，與傳統的手動分割和可視化檢查相比，該方法具有更高的效率和準確性。此外，通過將形態測量數據與轉錄組數據關聯分析，揭示了類器官樣本形態異質性與生物分子變化之間的關系。雖然該方法具有一定優勢，但仍然依賴于傳統的圖像處理技術，并且需要調整多個參數以適應具有類似光學條件的任何給定圖像集。Chen等[24]使用基于U-Net的改進CNN算法對三維腫瘤球類器官進行邊界檢測，該算法基于明場顯微圖像進行訓練，分割性能優于基于閾值或迭代的方法。該研究雖然提出過剩周長指數和多尺度熵指數可認為是評估腫瘤侵襲性更為準確的指標，但并沒有提供足夠的實驗證據來支持這一觀點，也缺少比較實驗。Winkelmaier等[25]提出了一種增強的損失函數，用于更準確地分割相鄰細胞核之間的邊界。該損失函數包含兩個交叉熵項，分別衡量預測與真實標簽的相似性以及根據細胞核邊界加權的像素誤差。當結合U-Net模型進行細胞分割時，相較于傳統U-Net，該方法在像素級和對象級檢測上均有改進。但是，該研究只采用F1分數（F1 score）和聚合雅卡爾指數（aggregated Jaccard index，AJI）作為性能評估指標，沒有提供其他常用的更全面的模型性能評估指標，如準確率、召回率等。de Medeiros等[26]提出了一個腸道類器官圖像處理框架，該框架結合了特定的成像優化和深度學習技術，用于在三維圖像中分割單個類器官。然而，該研究所提實驗過程中可能存在一些實驗操作的不確定性和難以控制的因素，例如樣品在固定過程中的漂移可能會導致測量數據丟失或不準確，從而影響了該模型的分割能力。Deininger等[27]通過高場磁共振監測大腦類器官數據集以訓練一個三維 U-Net神經網絡模型，以期解決二維 U-Net在分析三維圖像時存在的監測和分析問題。該研究實現了對三維腦類器官樣本的準確分割，并開發了一種非侵入性的磁共振成像和自動化圖像分析流程。
1.4 基于深度學習的類器官追蹤研究
類器官的生長和藥物反應既是縱向的也是動態的，研究者通常使用延時顯微鏡追蹤類器官，使得在單細胞水平上研究它們的生長和穩態成為可能。然而類器官細胞間的緊密排列和細胞活動的動態性，使人工追蹤每個細胞的軌跡和變化變得異常困難。本文將深度學習算法在類器官追蹤中的研究成果總結如表4所示。Bian等[28]首次創建了一個動態高通量小鼠肝臟類器官和肺泡類器官數據集，并通過兩個獨立的深度學習模型來檢測和跟蹤類器官。其中，檢測部分選擇了主流的目標檢測模型——單階段多盒檢測器（single shot multibox detector，SSD），而跟蹤部分設計了一種將ResNet作為骨干的新深度神經網絡架構。該模型在高通量類器官樣本圖像上具有良好的性能和泛化能力，但研究用于創建高通量圖像的圖像拼接和合成算法是由商業軟件提供的，這導致合成圖像的質量可能不穩定，并且檢測和跟蹤任務是由兩個獨立的部分組成，前者的性能可對后者產生重大影響。
表4
深度學習在類器官追蹤中的研究成果
Table4.
Research results of deep learning in organoid tracking
在明場類器官圖像分析領域，已經出現許多軟件工具，這些工具極大地促進了分析過程的自動化。但由于許多現有平臺要求對細胞核進行轉基因標記[29]，增加了實驗時間和復雜性，并可能改變細胞動力學，且許多軟件工具專注于單時間點分析，僅提供群體批量測量而沒有單個類器官測量；又或者僅限于邊界框檢測[30]，無法在單個類器官水平上獲得有用的形態學信息，比如類器官尖峰或起泡形狀的變化，因此可能在邊界框測量中被遺漏[31]，繼而難以揭示類器官對外部刺激的重要反應。這些軟件大多數被開發用于分析來自單一類型組織的類器官，或者僅能應對一種特定光學條件下獲得的圖像，而無法在其他條件下使用。對此，Matthews等[32]開發了名為類器智析（OrganoID）的工具，它基于U-Net結構，在網絡第1層僅使用8個過濾器，并采用指數線性單元激活函數來避免梯度消失問題；最終卷積層使用s型激活函數，輸出每個像素上存在類器官的概率。該軟件在胰腺癌類器官圖像上訓練，并在多種組織圖像上驗證，能準確分割和跟蹤多種類器官樣本，無需細胞標記或參數調整，也不依賴熒光技術，適用于亮場和相差顯微鏡圖像中的類器官樣本識別與跟蹤。但OrganoID平臺在訓練和測試中使用了較小的圖像數據集，可能在形態學差異大的器官樣本上性能受限，需額外驗證和擴展數據集以克服此問題。同時，該平臺無法區分重疊的器官樣本，需通過驗證、擴展數據集和多焦平面分析來解決。
隨著研究的深入，簡單的追蹤已經不能滿足研究者的追求，Kok等[30]為了精確追蹤類器官中的細胞動態，提出了一種創新的CNN類器官半自動跟蹤算法。該算法不僅考慮了細胞的運動軌跡，還綜合了細胞核體積的變化以及細胞軌跡的長度等多個維度，從而實現對細胞行為的全面分析。為確保數據的準確性，他們還開發了一個手動糾錯工具，能夠檢查和糾正可能出現的細胞跟蹤錯誤。這種方法在分析細胞核體積和位置快速變化時表現出色，為類器官細胞追蹤提供了有力的技術支持，但由于細胞密度高且細胞運動快，半自動追蹤仍然需要人工干預來修正錯誤，這意味著整個追蹤過程仍然需要大量的時間和人力投入。Hradecka等[33]提出了一種基于深度學習的分割和追蹤算法，該算法使用高分辨率像素到像素轉換（pix2pixHD）生成的圖像進行U-Net訓練，其訓練數據集為6種表型的小鼠乳腺上皮類器官，實現了對乳腺上皮類器官的精確實例分割和自動校正跟蹤。這一方法為生物圖像數據的分析提供了可重復且省力的解決方案，有助于研究者更加高效地獲取乳腺上皮類器官的結構和功能信息。
在類器官樣本的多維度分析和重建方面，Du等[34]取得了令人矚目的成果，他們開發的智能“類器官時序解析臺”（OrgaTracker系統）集成了改進的YOLOv5和U-Net算法，使用了人類結腸腫瘤類器官數據集和小鼠腸道類器官數據集進行訓練，能夠實時地分割類器官樣本區域，并能準確捕捉和分析樣本的融合過程。該系統還對小腸類器官樣本進行了芽生計數和骨架分析，為評估類器官樣本的健康生長情況提供了有力支持。此外，他們首次將生成對抗網絡（generative adversarial network，GAN）應用于類器官樣本圖像生成，能夠生成具有不同特征的類器官樣本的輪廓和細節紋理。然而，該研究仍面臨一些局限，主要是圖像采集過程復雜且耗時，可能導致資源浪費；此外，GAN模型生成的圖像缺乏相應的圖像評估標準，只能靠人工評估，很難評估生成的圖像的真實性。
Zheng等[35]則關注于類器官細胞中細胞命運的識別問題。他們開發的類型跟蹤器方法（TypeTracker）通過CNN對染色后的小鼠腸道類器官數據集進行訓練，實現了空間和時間上的精確跟蹤，并將終點細胞類型沿著分支譜系樹進行傳播，從而實現了對細胞命運的準確識別。這一方法有助于揭示類器官細胞的分化過程和發育機制，為深入理解類器官生物學提供了有力工具。然而，由于細胞的短暫命運可能在觀察期間發生變化，且存在反向轉變的可能性，同時使用的抗體可能無法識別未成熟的細胞類型，這可能導致TypeTracker無法正常檢測到這些細胞。
2 討論與總結
近年來，類器官圖像深度感知技術研究取得了積極成果，深度學習在該領域展現了優異的處理性能，同時具備大量復雜類器官圖像的分析能力，在自動學習特征表示的同時，從海量數據中進行特征提取，研究者們使用目標檢測和圖像分割等深度感知方法來評估類器官多個功能指標，相較于傳統人工方法高效且準確，加快了類器官的研究步伐。然而，這些方法也存在一定的局限性：
（1）類器官原始數據有限。深度學習模型需要大量數據用于訓練[36]，以獲取優異的結果。然而，現階段的多數類器官深度學習模型過于依賴監督學習，這就需要大量已標注數據輸入訓練，而類器官圖像數據獲取與標注非常困難，幾千張圖像就需要消耗高昂的成本，且這些數據集都是人工手動標注，具有很強的主觀性。
（2）相同任務下模型性能評價指標不統一。從本文的表1～表4可以看出，在評價不同模型時，采用了不同的性能評價指標，模型評價參數多樣性使得難以直接對比各模型間的性能，從而影響學者們在實際應用中的研究、選擇與部署。為了促進類器官深度感知技術在科研與實際應用中的推廣，應統一相同任務下模型的評價指標，有助于推動類器官深度感知技術的發展和進步。
（3）計算力支持不足。顯微光學類器官成像具有很高的分辨率，目前的計算機算力很難支持海量高分辨率類器官圖像進行深度學習訓練。因此，大多數研究人員通常將原始圖像劃分為幾個圖像塊的方法來降低圖像分辨率，這就會導致圖像中的局部任務目標區域丟失[24]，而圖像分辨率降低也會造成網絡模型對特征處理能力的降低。
（4）研究具有局限性。類器官深度感知研究中使用的數據集和模型可能存在一定局限性，很多研究只包含特定類型的類器官樣本，并沒有在不同數據集上驗證模型的通用性。
（5）模型可解釋性差。深度學習模型從誕生之日起就一直遭受算法黑盒問題的困擾[37]。由于其結構復雜、計算參數多，導致模型非線性計算機構無法解釋，盡管模型輸出結果快速而準確，但其原因和確定參數尚不明確其中的設置原理。
（6）用于類器官分析的深度學習方法相對簡單。目前，大多數將深度學習與類器官結合的研究只涉及類器官的識別與分割方向，其識別種類多數為二分類或三分類；但實際需求中，仍存在許多極具意義的功能性指標可用于類器官分析，在深度感知技術的幫助下不斷被發現與量化。
（7）缺乏生物學驗證。盡管在很多研究中使用了多種類型類器官樣本進行模型驗證，但仍然缺乏對算法結果的生物學驗證，多數研究中并沒有提供與傳統人工分析結果的對比交叉驗證，也沒有驗證算法結果對生物學特征表示的準確性和可靠性。
在未來的研究中，研究者們應收集更多高質量的類器官圖像數據，建立一個針對不同類器官的標準化數據訓練庫，同時需要推動模型性能評價指標的標準化與統一化。一方面，可以針對不同任務借鑒已被廣泛認可的深度學習評價指標，如對于檢測與分割任務應使用準確率、精確率、召回率、F1分數；對于檢測任務使用平均精度均值；對于分割任務使用平均骰子系數（dice coefficient）、AUC等[38]，這樣可以很容易地量化模型在不同任務下的性能。此外，還應嘗試整合更多領域的算法感知技術和多種類型的數據集，將一些新的技術應用到類器官圖像深度感知研究中。開發更加自動化、智能化與集成化的圖像深度感知系統，Park等[39]利用遷移學習的方法訓練CNN，對腎臟器官樣本的明場圖像進行深度學習并預測其分化狀態；Brémond- Martin等[40]設計了一種改進型對抗性自動編碼器GAN（adversarial autoencoder GAN，AAEGAN）算法模型，AAEGAN模型兼具了自動編碼器和GAN網絡的優異性能，能夠學習圖像數據的潛在表示，同時生成逼真的類器官圖像；Beghin等[41]設計了一種微型化的三維細胞培養芯片，結合單目標光片顯微成像技術，實現了高密度的類器官培養和三維成像。將近似于這些系統的技術應用于類器官研究與分析中，有助于發現減輕或治愈疾病的新藥，或探索其他治療方法，同時加深人類對復雜生物過程的理解。類器官圖像深度感知技術的前景和未來是可以預見的，隨著相關研究的深入有可能會極大地改善臨床醫學處理方法和生物醫學工程方式。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：孫渝負責文獻資料的收集、分析以及論文初稿的撰寫，張瀚文、江浩負責論文資料的整理并協助論文修訂，黃鳳良、羅剛銀負責論文寫作思路的制定及論文審閱修訂。
0 引言
類器官是一種來源于干細胞的自組織三維（three dimensions，3D）培養物，它能夠復制不同組織的細胞類型、結構、生物學復雜性和關鍵功能[1]，從而可以模擬器官的發育、組織再生和疾病進展。類器官與傳統二維（two dimensions，2D）細胞系相比，可以更好地模擬復雜的生理環境，且基因組相對穩定，適合生物研究和高通量篩選；與動物模型相比，類器官源于人類，可以更準確地模擬人體器官和疾病發展模型，很大程度上符合實驗倫理要求[2]。隨著技術發展，科學家們能夠通過特定培養方法將胚胎干細胞和誘導多能干細胞轉化為類似于人體組織的各種三維結構，從而成功培育出多種非腫瘤衍生類器官。而腫瘤類器官技術的出現則為癌癥研究帶來了新突破，這種技術利用腫瘤組織中的腫瘤特異性干細胞，引入到三維組織培養中形成細胞簇，模擬體內腫瘤特征和腫瘤細胞的異質性；同時，腫瘤類器官可以針對特定個體進行培養，為個性化腫瘤治療提供全新的思路與方法，為未來醫學發展開辟新道路。
定期觀察和評估培養過程中類器官的持續形態變化，對研究特定培養基中生長的類器官至關重要[3]，研究者們通常使用顯微鏡來有效觀察和評估類器官的形態變化[4]。由于類器官的三維培養性質，為準確捕獲類器官圖像需多次調整焦平面，因此成像過程繁瑣而復雜。此外，類器官的異質性、組織重疊、成像模糊和雜質閉塞等特點，更是讓類器官研究與分析較為困難，其所需要的海量圖像數據，也使傳統人工分析方法難以滿足現有技術發展需求，亟需新的技術方法來解決對類器官圖像快速高效進行分析這一難題。
圖像深度智能感知技術是人工智能（artificial intelligence，AI）研究領域的一項新興技術，通過在大型數據集上訓練，以完成圖像預測、分類和其他復雜圖像感知任務。近年來，深度學習的發展促進了生物醫學成像領域中圖像數據的高通量分析，以卷積神經網絡（convolutional neural networks，CNN）為基礎的算法被廣泛應用于類器官圖像處理。通過自適應感知算法，可以從顯微圖像中挖掘可量化的二維和空間細胞特征，使研究人員能夠快速精準地分析不同條件下的類器官結構與功能[5]。通過將類器官與深度感知技術結合，研究者可以創建更復雜、更準確的人體器官功能或疾病模型，為藥物發現、疾病診斷和治療開發提供強有力的工具[6]。
目前，雖然深度學習已經廣泛應用于類器官圖像感知研究領域，研究者針對不同類型的類器官也提出了各種算法模型、研究工具，然而關于深度學習與類器官研究的綜述極少。因此，本文主要從圖像感知算法角度回顧深度學習與類器官的研究進展，按類器官圖像分析的相關任務，分別從分類識別、模式檢測、圖像分割與動態跟蹤4個方面進行單獨闡述，總結當前深度學習在類器官研究中面臨的挑戰，并對未來研究方向進行展望。
1 基于深度學習的類器官研究
1.1 基于深度學習的類器官分類研究
目標分類是醫學圖像分析的核心領域，深度學習技術為這一領域帶來了自動、高效且精準的解決方案。而在類器官研究領域，分類任務尤為重要。類器官作為模擬人體真實組織結構的體外模型，其形態特征的細微變化往往能夠反映出細胞或組織的生理狀態和功能變化，深度學習技術的運用為類器官分類帶來了前所未有的突破。如表1所示，總結了深度學習在類器官分類中的研究成果，例如：Kegeles等[7]在研究中發現，同一批次的視網膜類器官分化差異明顯，導致在后續操作前必須通過顯微鏡進行繁瑣且低效的手動挑選，為解決這一問題，他們對比了視覺對象識別數據庫（ImageNet）預訓練的多種CNN，發現殘差神經網絡50（residual network 50，ResNet50）模型表現最佳，其特征曲線下面積（area under curve，AUC）值最高。該模型在預測早期視網膜類器官命運方面甚至超越了專家水平，為評估明場條件下的視網膜類器官分化提供了一種穩定的方法。但該研究僅將視網膜類器官的分化分為三類，沒有展現出明顯可分離的視網膜區域，僅呈現出稀疏或分散的熒光模式。并且該數據集僅由兩位科研人員進行了主觀標注，數據集具有一定局限性。Bian等[8]提出了一種深度學習分類算法類器官神經網絡（organoid network，OrgaNet），并構建了第一個專用數據集來實現類器官活力評估，其以96.90%的準確率實現了最佳分類，但針對明場情況下的效果不是很好。于是，Powell等[9]提出了一個深度類器官分類（deepOrganoid）模型，deepOrganoid數據集涵蓋9個結腸癌患者來源的類器官的原始明場圖像、Z投影和生化注釋，具有生物、化學和技術多樣性，可以對明場類器官圖像分類，并評估類器官活力的變化，為精準治療提供了新的思路。
表1
深度學習在類器官分類中的研究成果
Table1.
Research results of deep learning algorithm in organoid classification
為確定類器官的結構成熟度，Abdul等[10]開發了一種名為基于深度學習的圖像分析工具（deep learning-based image analysis tool，D-CryptO），研究者使用自定義數據集對6個預訓練深度神經網絡模型進行了比較，其中極端啟發式網絡（extreme inception，XCeption）在兩類結腸類器官數據集（一類由出芽和球形類器官組成，另一類為不透明和透明的類器官樣本）均表現出最佳的檢測性能，分類準確率分別為98.00%和90.87%，因此被選為最終的模型。D-CryptO可確定結腸類器官樣本的結構成熟程度，檢測結腸類器官樣本對不同化療藥物的微小變化。該工具還可以擴展到其他器官樣本類型，以促進三維組織形態分析的研究。但考慮到D-CryptO是針對結腸器官樣品的形態學特征進行訓練的，因此在處理其他類型的器官樣品時，可能需要重新訓練和調整D-CryptO模型。
鑒于類器官具有特征多樣且變化迅速的特性，傳統的特征提取方法已難以滿足研究需求。因此，研究者開始轉向采用U型網絡（U-Net）模型，以更精準地提取類器官的關鍵特征。Okamoto等[11]提出了一種基于人工智能的分類器，該分類器通過訓練21例來自IV期結直腸癌患者的患者衍生類器官數據集，將結直腸癌類器官分為6類。該研究使用了兩種深度學習模型：U-Net和密集連接卷積網絡201（densely connected convolutional networks 201，densNet201），其中U-Net用于從顯微鏡圖像中提取特征，而densNet201用于對類器官進行分類。但該研究使用的樣本數量較小，可能限制了對結直腸癌形態多樣性的全面理解。此數據集構建基于人工觀察和人工智能模型分類，盡管人工智能模型表現良好，但仍可能存在主觀性和誤差。
1.2 基于深度學習的類器官檢測研究
目標檢測的任務是從圖像中準確識別所有目標對象，并確定其類別及位置。然而，類器官通常處于三維培養環境中，圖像常受到多種成像偽影的干擾，這極大地增加了人工檢測這些培養物形態和生長特征的難度。此外，手動測量和計數類器官不僅效率低下，而且容易出錯。深度學習在類器官檢測中的研究成果，總結如表2所示。Kassis等[12]創建了亮場模式下的人類腸道類器官數據集，使用基于第2代啟發式網絡（inception version 2，Inception v2）和殘差神經網絡（residual network，ResNet）改進的快速區域CNN（faster regions with CNN，Faster R-CNN）模型進行訓練，該模型能夠準確地檢測和計數亮場圖像中的腸道類器官培養物，平均精度均值（mean average precision，mAP）為80%，檢測質量較高且節約時間。同時該模型還可利用邊界框對明場圖像中的類器官進行實例注釋，這可以量化類器官的數量，但不能量化高級類器官特征，例如大小、密度和偏心率等。對此，Bremer等[13]開發了一個基于深度學習的廣義類器官注釋工具，使用實例分割和類器官的像素級識別來量化高級類器官特征，可適用于多種類器官數據集，還可以注釋在不同實驗室中生成的各種類器官。上述這些方法可以緩解類器官原始數據問題。Abdul等[14]對比了6種不同的CNN模型，其中具有數據增強的Faster R-CNN結合殘差神經網絡101（residual network101，ResNet101）（Faster R-CNN/ResNet101）達到了83%的平均精度均值，由此開發了一種名為“基于深度學習的明場圖像人肺上皮球分類（human lung epithelial spheroid classification from brightfield images using deep learning，Deep-LUMEN）”的深度學習算法。該模型可用于檢測明場顯微圖像中肺上皮球體的形態變化，從而區分極化和非極化肺上皮球體。然而，該研究訓練數據集中的圖像數量接近4 000張，測試集僅有197張圖像，這種情況可能導致測試結果不夠全面或不夠具有代表性，進而影響對所得到結果的準確性和可靠性的評估。
表2
深度學習在類器官檢測中的研究成果
Table2.
Research results of deep learning algorithm in organoid detection
近幾年，“你只看一次”（you only look once，YOLO）算法被廣泛運用于各個領域，其針對目標檢測任務展現出的快速、高效以及出色的全局特征提取能力，與類器官檢測任務完美契合。Domènech-Moreno等[15]使用YOLO第5代版本（YOLO version 5，YOLOv5）作為小鼠腸道類器官檢測的模型，他們成功地開發出了一種能夠自動檢測和分類腸道類器官樣本形態的工具——簡便類器官分類工具（Tellu）。這個工具可以快速、準確和可重復地分析腸道類器官樣本的形態特征，檢測準確率高達79%。但當多個類器官樣本密集重疊時，就可能導致Tellu算法和人工都無法準確識別、區分重疊的類器官樣本。Yang等[16]利用改進的YOLO第3代版本（YOLO version 3，YOLOv3）模型對胃類器官樣本的細胞衰老情況進行了評估。該模型結合了卷積塊注意力模塊（convolutional block attention module，CBAM）與YOLOv3目標檢測算法（CBAM-YOLOv3），對胃類器官樣本進行識別，準確率高達93.20%。相較于傳統方法，該模型不僅能準確評估類器官樣本的平均直徑、數量等參數，更在細胞衰老評估中凸顯其優勢，借助此模型研究人員可以迅速且精準地掌握胃類器官樣本的生長狀態，并實時監測活體生物庫情況。然而，該研究中收集的圖像是靜態圖像，實際應用時，需要對顯微鏡的圖像捕獲過程進行實時評估。Leng等[17]基于文獻[12]的腸道類器官數據集開發了一種改進的輕量級模型——基于深度學習的類器官模型（deep organoid module，Deep-Orga）。該模型基于YOLO第X代版本（YOLO version X，YOLOX）模型進行改進，通過使用重參化視覺幾何組（re-parameterization visual geometry group，RepVGG）模型改進YOLOX的骨干網絡，以增強推理速度和性能，同時在YOLOX的中間層引入了平衡特征金字塔（balanced feature pyramid，BFP）模塊，該模塊可以融合不同層級的特征信息，使每一層的特征更加可區分。此外，還使用平衡L1損失來平衡模型的分類和定位損失，進一步提高了模型的檢測性能，成功解決了腸道類器官培養物形態評估的主觀性和耗時性問題。Deep-Orga模型存在兩個主要限制：一是模型輕量化不足，相比YOLOX模型，它引入了更多參數和計算量，導致推理時間增加；二是使用的數據集標注存在缺陷，由于標注的主觀性，許多類器官樣本未被標記，影響了模型的檢測性能。
1.3 基于深度學習的類器官分割研究
圖像分割，是將圖像劃分為許多具有獨特屬性的特定區域，并提取出目標特征的技術和過程。近年來，分割算法U-Net廣泛應用于醫學領域，它具有快速、準確的圖像分割能力。鑒于類器官圖像具有背景復雜、細胞密集、特征復雜的特點，U-Net逐漸成為類器官研究最熱門的算法，其通過結合低分辨率和高分辨率特征圖，可有效融合低級和高級圖像特征[18]，其典型的研究成果匯總如表3所示。Wang等[19]提出了一種改進的將U-Net模型融合優化算法與卷積塊注意力模塊的殘差深度注意力模型（residual deep attention U-Net，RDAU-Net）。該研究創建的數據集包含了不同藥物處理的膀胱癌細胞系的類器官樣本圖像，共計200張，處理時間為1～7 d。其圖像經過預處理，增強器官樣本和背景之間的對比度，并減少類器官樣本的干擾。研究中，RDAU-Net使用殘差結構和膨脹率動態卷積模塊來替代原來U-Net中的雙層卷積模塊，增加了卷積模塊的感受野和編碼器的特征提取能力。此外，原來的最大池化下采樣被卷積核大小為5和步幅為2的卷積所取代，以進一步減少編碼器下采樣部分的信息丟失，在編碼器最后兩層的動態卷積模塊之后添加坐標注意力（coordinate attention，CA）模塊，以細化和加強提取的特征；跳過連接部分使用注意力門（attention gate，AG）來權衡特征，抑制不相關的區域特征，并減少語義差距。該研究解決了類器官樣本基于藥物篩選中的圖像分割問題，并實現了自動化的分割和面積計算，為藥物篩選提供了有效的工具。但隨著時間的推移，數據集中一些類器官逐漸聚集在一起，RDAU-Net在二維平面上再難區分，需要新的模型對類器官進行分割和重建。考慮到U-Net處理小目標時容易丟失細節，Zhang等[20]針對該膀胱癌類器官數據集又提出了一種基于U方網絡（U-squared net，U2-Net）的融合區域注意力引導模塊（region attention guided，RAG）和全局上下文模塊（global context module，GCM）的模型（attention-guided contextual U2-Net，ACU2-Net）作為膀胱癌類器官圖像分割方法。ACU2-Net模型是在U2-Net模型的基礎上引入了兩個模塊：RAG模塊和GCM模塊，RAG模塊通過在U2-Net網絡的跳躍連接部分插入通道注意力機制，提高了模型對膀胱癌類器官樣本特征的學習能力和處理細節信息的能力；GCM模塊則通過獲取不同尺度的感受野特征，最大限度地傳遞膀胱癌類器官樣本顯著區域的特征信息，避免了在特征提取過程中丟失小目標的細節。這些改進使得ACU2-Net模型能夠更好地學習膀胱癌類器官樣本的特征，并處理詳細信息，從而提高了分割能力。但研究僅針對膀胱癌類器官樣本的二維圖像進行分割，無法解決復雜背景和混合效應等問題。Park等[21]使用了基于多尺度U-Net的深度學習模型，命名為類器官提取器（OrgaExtractor），其所采用的數據集包含了248張人類結腸組織中的正常結腸小囊體的二維圖像。OrgaExtractor可用于對不同大小的類器官樣本進行準確的分割，其在結腸類器官上的分割準確率高達85%。總的來看，U-Net是一種非常適合類器官圖像分割任務的深度學習模型，但其在計算資源消耗方面存在一定的問題。為了解決這個問題，Brémond Martin等[22]研究人員對U-Net進行了優化，提出了多尺度U-Net（multi-scale U-net，Mu-Net）模型，其所用數據集包含了腦類器官培養物的亮場圖像。Mu-Net模型通過減少網絡層數和卷積核大小來降低計算資源消耗，相比于U-Net，Mu-Net具有更少的參數、更小的內存占用和更高的計算效率，這使得Mu-Net模型在處理圖像分割任務時具有更高的效率和性能。該研究使用了40個原始圖像和40個合成圖像進行交叉驗證，以評估不同模型和數據增強策略的性能，雖然在一定程度上解決了數據集少的問題，但小數據集不可避免地會影響模型的性能和準確性，導致MU-Net模型在神經上皮區域分割方面的準確性較差。
表3
深度學習在類器官分割中的研究成果
Table3.
Research results of deep learning algorithm in organoid segmentation
根據上述研究，雖然二維圖像能夠在一定程度上表征類器官，但三維圖像更能展現其復雜性和形態特征，針對類器官三維圖像分割逐漸成為了研究的重點。Borten等[23]開發一種自動化的亮場形態測量方法，稱為類器官分割器（OrganoSeg）。這是一種可以快速、準確地對三維類器官群（包括5 167個乳腺癌球狀體和5 743個結腸癌和結直腸癌類器官）進行分割和測量的方法，與傳統的手動分割和可視化檢查相比，該方法具有更高的效率和準確性。此外，通過將形態測量數據與轉錄組數據關聯分析，揭示了類器官樣本形態異質性與生物分子變化之間的關系。雖然該方法具有一定優勢，但仍然依賴于傳統的圖像處理技術，并且需要調整多個參數以適應具有類似光學條件的任何給定圖像集。Chen等[24]使用基于U-Net的改進CNN算法對三維腫瘤球類器官進行邊界檢測，該算法基于明場顯微圖像進行訓練，分割性能優于基于閾值或迭代的方法。該研究雖然提出過剩周長指數和多尺度熵指數可認為是評估腫瘤侵襲性更為準確的指標，但并沒有提供足夠的實驗證據來支持這一觀點，也缺少比較實驗。Winkelmaier等[25]提出了一種增強的損失函數，用于更準確地分割相鄰細胞核之間的邊界。該損失函數包含兩個交叉熵項，分別衡量預測與真實標簽的相似性以及根據細胞核邊界加權的像素誤差。當結合U-Net模型進行細胞分割時，相較于傳統U-Net，該方法在像素級和對象級檢測上均有改進。但是，該研究只采用F1分數（F1 score）和聚合雅卡爾指數（aggregated Jaccard index，AJI）作為性能評估指標，沒有提供其他常用的更全面的模型性能評估指標，如準確率、召回率等。de Medeiros等[26]提出了一個腸道類器官圖像處理框架，該框架結合了特定的成像優化和深度學習技術，用于在三維圖像中分割單個類器官。然而，該研究所提實驗過程中可能存在一些實驗操作的不確定性和難以控制的因素，例如樣品在固定過程中的漂移可能會導致測量數據丟失或不準確，從而影響了該模型的分割能力。Deininger等[27]通過高場磁共振監測大腦類器官數據集以訓練一個三維 U-Net神經網絡模型，以期解決二維 U-Net在分析三維圖像時存在的監測和分析問題。該研究實現了對三維腦類器官樣本的準確分割，并開發了一種非侵入性的磁共振成像和自動化圖像分析流程。
1.4 基于深度學習的類器官追蹤研究
類器官的生長和藥物反應既是縱向的也是動態的，研究者通常使用延時顯微鏡追蹤類器官，使得在單細胞水平上研究它們的生長和穩態成為可能。然而類器官細胞間的緊密排列和細胞活動的動態性，使人工追蹤每個細胞的軌跡和變化變得異常困難。本文將深度學習算法在類器官追蹤中的研究成果總結如表4所示。Bian等[28]首次創建了一個動態高通量小鼠肝臟類器官和肺泡類器官數據集，并通過兩個獨立的深度學習模型來檢測和跟蹤類器官。其中，檢測部分選擇了主流的目標檢測模型——單階段多盒檢測器（single shot multibox detector，SSD），而跟蹤部分設計了一種將ResNet作為骨干的新深度神經網絡架構。該模型在高通量類器官樣本圖像上具有良好的性能和泛化能力，但研究用于創建高通量圖像的圖像拼接和合成算法是由商業軟件提供的，這導致合成圖像的質量可能不穩定，并且檢測和跟蹤任務是由兩個獨立的部分組成，前者的性能可對后者產生重大影響。
表4
深度學習在類器官追蹤中的研究成果
Table4.
Research results of deep learning in organoid tracking
在明場類器官圖像分析領域，已經出現許多軟件工具，這些工具極大地促進了分析過程的自動化。但由于許多現有平臺要求對細胞核進行轉基因標記[29]，增加了實驗時間和復雜性，并可能改變細胞動力學，且許多軟件工具專注于單時間點分析，僅提供群體批量測量而沒有單個類器官測量；又或者僅限于邊界框檢測[30]，無法在單個類器官水平上獲得有用的形態學信息，比如類器官尖峰或起泡形狀的變化，因此可能在邊界框測量中被遺漏[31]，繼而難以揭示類器官對外部刺激的重要反應。這些軟件大多數被開發用于分析來自單一類型組織的類器官，或者僅能應對一種特定光學條件下獲得的圖像，而無法在其他條件下使用。對此，Matthews等[32]開發了名為類器智析（OrganoID）的工具，它基于U-Net結構，在網絡第1層僅使用8個過濾器，并采用指數線性單元激活函數來避免梯度消失問題；最終卷積層使用s型激活函數，輸出每個像素上存在類器官的概率。該軟件在胰腺癌類器官圖像上訓練，并在多種組織圖像上驗證，能準確分割和跟蹤多種類器官樣本，無需細胞標記或參數調整，也不依賴熒光技術，適用于亮場和相差顯微鏡圖像中的類器官樣本識別與跟蹤。但OrganoID平臺在訓練和測試中使用了較小的圖像數據集，可能在形態學差異大的器官樣本上性能受限，需額外驗證和擴展數據集以克服此問題。同時，該平臺無法區分重疊的器官樣本，需通過驗證、擴展數據集和多焦平面分析來解決。
隨著研究的深入，簡單的追蹤已經不能滿足研究者的追求，Kok等[30]為了精確追蹤類器官中的細胞動態，提出了一種創新的CNN類器官半自動跟蹤算法。該算法不僅考慮了細胞的運動軌跡，還綜合了細胞核體積的變化以及細胞軌跡的長度等多個維度，從而實現對細胞行為的全面分析。為確保數據的準確性，他們還開發了一個手動糾錯工具，能夠檢查和糾正可能出現的細胞跟蹤錯誤。這種方法在分析細胞核體積和位置快速變化時表現出色，為類器官細胞追蹤提供了有力的技術支持，但由于細胞密度高且細胞運動快，半自動追蹤仍然需要人工干預來修正錯誤，這意味著整個追蹤過程仍然需要大量的時間和人力投入。Hradecka等[33]提出了一種基于深度學習的分割和追蹤算法，該算法使用高分辨率像素到像素轉換（pix2pixHD）生成的圖像進行U-Net訓練，其訓練數據集為6種表型的小鼠乳腺上皮類器官，實現了對乳腺上皮類器官的精確實例分割和自動校正跟蹤。這一方法為生物圖像數據的分析提供了可重復且省力的解決方案，有助于研究者更加高效地獲取乳腺上皮類器官的結構和功能信息。
在類器官樣本的多維度分析和重建方面，Du等[34]取得了令人矚目的成果，他們開發的智能“類器官時序解析臺”（OrgaTracker系統）集成了改進的YOLOv5和U-Net算法，使用了人類結腸腫瘤類器官數據集和小鼠腸道類器官數據集進行訓練，能夠實時地分割類器官樣本區域，并能準確捕捉和分析樣本的融合過程。該系統還對小腸類器官樣本進行了芽生計數和骨架分析，為評估類器官樣本的健康生長情況提供了有力支持。此外，他們首次將生成對抗網絡（generative adversarial network，GAN）應用于類器官樣本圖像生成，能夠生成具有不同特征的類器官樣本的輪廓和細節紋理。然而，該研究仍面臨一些局限，主要是圖像采集過程復雜且耗時，可能導致資源浪費；此外，GAN模型生成的圖像缺乏相應的圖像評估標準，只能靠人工評估，很難評估生成的圖像的真實性。
Zheng等[35]則關注于類器官細胞中細胞命運的識別問題。他們開發的類型跟蹤器方法（TypeTracker）通過CNN對染色后的小鼠腸道類器官數據集進行訓練，實現了空間和時間上的精確跟蹤，并將終點細胞類型沿著分支譜系樹進行傳播，從而實現了對細胞命運的準確識別。這一方法有助于揭示類器官細胞的分化過程和發育機制，為深入理解類器官生物學提供了有力工具。然而，由于細胞的短暫命運可能在觀察期間發生變化，且存在反向轉變的可能性，同時使用的抗體可能無法識別未成熟的細胞類型，這可能導致TypeTracker無法正常檢測到這些細胞。
2 討論與總結
近年來，類器官圖像深度感知技術研究取得了積極成果，深度學習在該領域展現了優異的處理性能，同時具備大量復雜類器官圖像的分析能力，在自動學習特征表示的同時，從海量數據中進行特征提取，研究者們使用目標檢測和圖像分割等深度感知方法來評估類器官多個功能指標，相較于傳統人工方法高效且準確，加快了類器官的研究步伐。然而，這些方法也存在一定的局限性：
（1）類器官原始數據有限。深度學習模型需要大量數據用于訓練[36]，以獲取優異的結果。然而，現階段的多數類器官深度學習模型過于依賴監督學習，這就需要大量已標注數據輸入訓練，而類器官圖像數據獲取與標注非常困難，幾千張圖像就需要消耗高昂的成本，且這些數據集都是人工手動標注，具有很強的主觀性。
（2）相同任務下模型性能評價指標不統一。從本文的表1～表4可以看出，在評價不同模型時，采用了不同的性能評價指標，模型評價參數多樣性使得難以直接對比各模型間的性能，從而影響學者們在實際應用中的研究、選擇與部署。為了促進類器官深度感知技術在科研與實際應用中的推廣，應統一相同任務下模型的評價指標，有助于推動類器官深度感知技術的發展和進步。
（3）計算力支持不足。顯微光學類器官成像具有很高的分辨率，目前的計算機算力很難支持海量高分辨率類器官圖像進行深度學習訓練。因此，大多數研究人員通常將原始圖像劃分為幾個圖像塊的方法來降低圖像分辨率，這就會導致圖像中的局部任務目標區域丟失[24]，而圖像分辨率降低也會造成網絡模型對特征處理能力的降低。
（4）研究具有局限性。類器官深度感知研究中使用的數據集和模型可能存在一定局限性，很多研究只包含特定類型的類器官樣本，并沒有在不同數據集上驗證模型的通用性。
（5）模型可解釋性差。深度學習模型從誕生之日起就一直遭受算法黑盒問題的困擾[37]。由于其結構復雜、計算參數多，導致模型非線性計算機構無法解釋，盡管模型輸出結果快速而準確，但其原因和確定參數尚不明確其中的設置原理。
（6）用于類器官分析的深度學習方法相對簡單。目前，大多數將深度學習與類器官結合的研究只涉及類器官的識別與分割方向，其識別種類多數為二分類或三分類；但實際需求中，仍存在許多極具意義的功能性指標可用于類器官分析，在深度感知技術的幫助下不斷被發現與量化。
（7）缺乏生物學驗證。盡管在很多研究中使用了多種類型類器官樣本進行模型驗證，但仍然缺乏對算法結果的生物學驗證，多數研究中并沒有提供與傳統人工分析結果的對比交叉驗證，也沒有驗證算法結果對生物學特征表示的準確性和可靠性。
在未來的研究中，研究者們應收集更多高質量的類器官圖像數據，建立一個針對不同類器官的標準化數據訓練庫，同時需要推動模型性能評價指標的標準化與統一化。一方面，可以針對不同任務借鑒已被廣泛認可的深度學習評價指標，如對于檢測與分割任務應使用準確率、精確率、召回率、F1分數；對于檢測任務使用平均精度均值；對于分割任務使用平均骰子系數（dice coefficient）、AUC等[38]，這樣可以很容易地量化模型在不同任務下的性能。此外，還應嘗試整合更多領域的算法感知技術和多種類型的數據集，將一些新的技術應用到類器官圖像深度感知研究中。開發更加自動化、智能化與集成化的圖像深度感知系統，Park等[39]利用遷移學習的方法訓練CNN，對腎臟器官樣本的明場圖像進行深度學習并預測其分化狀態；Brémond- Martin等[40]設計了一種改進型對抗性自動編碼器GAN（adversarial autoencoder GAN，AAEGAN）算法模型，AAEGAN模型兼具了自動編碼器和GAN網絡的優異性能，能夠學習圖像數據的潛在表示，同時生成逼真的類器官圖像；Beghin等[41]設計了一種微型化的三維細胞培養芯片，結合單目標光片顯微成像技術，實現了高密度的類器官培養和三維成像。將近似于這些系統的技術應用于類器官研究與分析中，有助于發現減輕或治愈疾病的新藥，或探索其他治療方法，同時加深人類對復雜生物過程的理解。類器官圖像深度感知技術的前景和未來是可以預見的，隨著相關研究的深入有可能會極大地改善臨床醫學處理方法和生物醫學工程方式。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：孫渝負責文獻資料的收集、分析以及論文初稿的撰寫，張瀚文、江浩負責論文資料的整理并協助論文修訂，黃鳳良、羅剛銀負責論文寫作思路的制定及論文審閱修訂。
