白血病是一種常見多發且較為兇險的血液疾病，其早期發現與治療至關重要。目前白血病類型的診斷主要依靠病理醫師對血細胞圖像進行形態學檢查，該過程枯燥、費時，且診斷結果有較強的主觀性，易發生誤診與漏診。針對上述問題，本文提出了一種基于改進Vision Transformer的血細胞圖像識別方法。首先，使用快速區域卷積神經網絡從圖像中定位并裁剪出單個血細胞圖像切片。然后，將單細胞圖像劃分為多個圖像塊并輸入到編碼層中進行特征提取。本文基于Transformer的自注意機制提出了稀疏注意力模塊，該模塊能夠篩選出圖像中的辨識性區域，進一步提升模型的細粒度特征表達能力。最后，本文采用對比損失函數，進一步增加分類特征的類內一致性與類間差異性。實驗結果表明，本文模型在慕尼黑血細胞形態學數據集上的識別準確率為91.96%，有望為醫師臨床診斷提供參考依據。
針對結腸息肉圖像分割時空間歸納偏差和全局上下文信息的有效表示缺失，導致邊緣細節信息丟失和病變區域誤分割等問題，提出一種融合Transformer和跨級相位感知的結腸息肉分割方法。該方法一是從變換的全局特征角度出發，運用分層Transformer編碼器逐層提取病變區域的語義信息和空間細節；二是通過相位感知融合模塊（PAFM）捕獲各階段跨層次交互信息，有效聚合多尺度上下文信息；三是設計位置導向功能模塊（POF）有效整合全局與局部特征信息，填補語義空白，抑制背景噪聲；四是利用殘差軸反向注意力模塊（RA-IA）來提升網絡對邊緣像素點的識別能力。在公共數據集CVC-ClinicDB、Kvasir、CVC-ColonDB和EITS上進行實驗測試，其Dice相似性系數分別為94.04%、92.04%、80.78%和76.80%，平均交并比分別為89.31%、86.81%、73.55%和69.10%。仿真實驗結果表明，本文提出的方法能有效地分割結腸息肉圖像，為結直腸息肉的診斷提供了新窗口。
藥物組合的協同作用能夠解決單一藥物療法的獲得耐藥性問題，對于癌癥等復雜疾病的治療具有巨大的潛力。在本項研究中，為了探索不同藥物分子間相互作用對于抗癌藥物療效的影響，我們提出了一種基于Transformer的深度學習預測模型——SMILESynergy。首先用藥物的文本數據——簡化分子線性輸入規范（SMILES）表征藥物分子，其次通過SMILES Enumeration生成藥物分子的異構體進行數據增強，然后利用Transformer中的注意力機制對數據增強后的藥物進行編解碼，最后連接一個多層感知器（MLP）獲得藥物的協同作用值。實驗結果表明我們的模型在O’Neil數據集的回歸分析中均方誤差為51.34，分類分析中準確率為0.97，預測性能均優于DeepSynergy和MulinputSynergy模型。SMILESynergy具有更好的預測性能，可輔助研究人員快速篩選最優藥物組合以提高癌癥治療效果。
針對計算機斷層掃描血管造影（CTA）圖像的冠狀動脈人工手動分割效率低下，而現有深度學習分割模型在冠狀動脈圖像上分割準確率較低的問題，受Transformer的啟發，本文提出了一種雙并行分支編碼器的分割模型——DUNETR。該網絡以Transformer和卷積神經網絡（CNN）作為雙編碼器，Transformer編碼器負責將三維（3D）冠狀動脈數據轉變成一維（1D）序列問題進行學習并捕獲其有效的全局多尺度特征信息，CNN編碼器則提取3D冠狀動脈的局部特征，二者所提取到的不同特征信息通過噪聲降低的特征融合（NRFF）模塊的拼接融合后連接到解碼器。在公開數據集上的實驗結果表明，提出的DUNETR網絡結構模型在Dice相似性系數方面達到了81.19%，召回率達到了80.18%，相比對比實驗中次好結果模型有0.49%和0.46%的提升，超越了其他常規深度學習方法。將Transformer和CNN作為雙編碼器而共同提取到的豐富特征信息，會有助于進一步提升3D冠狀動脈分割的效果。同時，該模型也為其他血管狀器官分割提供了新思路。
醫學跨模態檢索旨在實現不同模態間醫療案例的語義相似性搜索，如通過超聲報告快速定位相關的超聲圖像，或利用超聲圖像反向檢索匹配的超聲報告。然而，現有醫學跨模態哈希檢索方法面臨顯著挑戰，包括不同模態之間的語義差異、視覺差異及哈希算法在大規模數據下的可擴展性問題。為應對這些挑戰，本文提出了一種基于Transformer語義對齊的醫學圖像跨模態哈希檢索算法（Medical image Semantic Alignment Cross-modal Hashing，MSACH）。該算法通過分段式訓練策略，結合模態特征提取與哈希函數學習，有效提取包含重要語義信息的低維特征，并通過Transformer編碼器進行跨模態語義學習。通過流形相似度約束、平衡約束和線性分類網絡約束，增強了哈希碼的可判別性。實驗結果表明，MSACH 算法在兩個數據集上的平均檢索精度比傳統方法分別提高了11.8%和12.8%。該算法在提升檢索精度、處理大規模醫學數據方面表現出色，具有較好的應用前景。
皮膚惡性黑色素瘤是一種常見的惡性腫瘤，針對病灶區域進行準確的分割對于該病的早期診斷非常重要。為了實現對皮膚病灶區域進行更有效、準確的分割，本文提出了一種基于變換器（Transformer）的并聯網絡結構。該網絡由兩條并聯支路構成：前者為本文新構建的多重殘差頻域通道注意網絡（MFC），后者為視覺變換網絡（ViT）。首先，在MFC網絡支路中，本文將多重殘差模塊和頻域通道注意力模塊（FCA）進行融合，在提高網絡魯棒性的同時加強對圖像細節特征的提取；其次，在ViT網絡支路中采用Transformer中的多頭自注意機制（MSA）使圖像的全局特征得以保留；最后，通過并聯的方式將兩條支路提取的特征信息結合起來，更有效地實現對圖像的分割。為了驗證本文算法，本文在國際皮膚成像合作組織（ISIC）2018年所公開的皮膚鏡圖像數據集上進行實驗，結果表明本文算法的分割結果中交并比（IoU）和戴斯（Dice）系數分別達到了90.15%和94.82%，相比于最新的皮膚黑色素瘤分割網絡均有較好的提升。因此，本文提出的網絡能夠更好地對病灶區域進行分割，為皮膚科醫生提供更準確的病灶數據。
結合正電子發射斷層掃描（PET）和計算機斷層掃描（CT）的PET/CT成像技術是目前較先進的影像學檢查手段，主要用于腫瘤篩查、良惡性鑒別診斷和分期分級。本文提出了一種基于PET/CT雙模態圖像的乳腺癌病灶分割方法，設計了一種雙路U型網絡框架，主要包括編碼器模塊、特征融合模塊和解碼器模塊三個組成部分。其中，編碼器模塊使用傳統的卷積進行單模態圖像特征提取；特征融合模塊采用協同學習特征融合技術，并使用轉換器（Transformer）提取融合圖的全局特征；解碼器模塊主要采用多層感知機以實現病灶分割。本文實驗使用實際臨床PET/CT數據評估算法的有效性，實驗結果表明乳腺癌病灶分割的精確率、召回率和準確率分別達到95.67%、97.58%和96.16%，均優于基線算法。研究結果證明了本文實驗設計的卷積與Transformer相結合的單、雙模態特征提取方式的合理性，為多模態醫學圖像分割或分類等任務的特征提取方法提供參考。
針對醫學圖像分割中U型網絡（U-Net）及其變體下采樣過程中單尺度信息丟失、模型參數量較大的問題，本文提出了一種基于像素編碼和空間注意力的多尺度醫學圖像分割方法。首先，通過重新設計變換器（Transformer）結構輸入策略，提出了像素編碼模塊，使模型能夠從多尺度圖像特征中提取全局語義信息，獲取更豐富的特征信息，同時在Transformer模塊中引入可變形卷積，加快收斂速度的同時提升模塊性能。其次，引入空間注意力模塊并加入殘差連接，使模型能夠重點關注融合后特征圖的前景信息。最后，通過消融實驗實現網絡輕量化并提升分割精度，加快模型收斂。本文所提算法在國際計算機醫學圖像輔助協會官方公開多器官分割公共數據集——突觸（Synapse）數據庫中得到令人滿意的結果，戴斯相似性系數（DSC）和95%豪斯多夫距離系數（HD95）分別為77.65和18.34。實驗結果表明，本文算法能夠提高多器官分割結果，有望完善多尺度醫學圖像分割算法的空白，并為專業醫師提供輔助診斷。