醫學圖像由于成像模式、圖像質量、患者間及患者在不同病程時的圖像變化等差異以及對魯棒性的嚴格要求, 它的配準成為難點。我們受語義模型, 尤其是視覺詞包模型在計算機視覺中巨大成功的啟發, 將語義模型推廣到醫學圖像配準。由于醫學圖像大都具有對比度差、動態范圍小、只含灰度信息等特點, 傳統的視覺詞包往往效果不夠理想。本文根據相關研究工作, 提出了更適用于醫學圖像處理的方向性視覺詞包模型, 并基于該語義模型進行醫學圖像配準。我們由專家人工指定關鍵的解剖結構, 使用方向性視覺詞包, 借助由粗到細的金字塔搜索策略和k-means聚類方法, 準確定位關鍵結構的位置, 并重點配準它們附近的區域。在心臟圖像上進行的實驗表明, 該方法可保證在特定區域內達到較高的配準精度。