最近很多研究提出了醫學視覺問答（MVQA）的注意力模型。在醫學研究中，不僅“視覺注意力”的建模至關重要，對“問題注意力”進行建模同樣具有重大意義。為了在醫學圖像和問題的注意過程中進行雙向推理，本文提出一種新的MVQA架構，稱為MCAN。該架構融入一種跨模態共同注意網絡FCAF，用于識別問題中的關鍵詞和圖像中的主要部分。通過元學習通道注意模塊（MLCA）自適應地為每個單詞和區域進行權重評定，以反映模型在推理過程中對各個單詞和區域的重視程度。此外，本研究專門設計和制作了一種面向醫學領域的詞嵌入模型Med-GloVe，進一步提升模型的準確率和應用價值。實驗證明，本文提出的MCAN架構在Path-VQA數據集的自由形式問題上，準確率提高了7.7%；在VQA-RAD數據集的封閉式問題上，準確率提高了4.4%，有效提升了醫學視覺問答的準確性。