皮膚老化是人體衰老進程中最明顯的標志,對其進行定性或定量評價具有重要意義,并可廣泛應用于人體衰老程度研究以及抗衰老措施功效評價等領域。針對傳統人為皮膚老化分級的主觀性,本文探索用自組織映射(SOM)神經網絡實現對皮膚老化程度的自動分級。首先,采用便攜式數碼顯微鏡獲取人體前臂腹側皮膚圖像,經圖像處理分析,提取皮膚紋理參數:皮溝平均寬度和交點個數,用于表征皮膚紋理老化的變化情況;其次,將紋理參數值輸入 SOM 神經網絡,用于網絡訓練學習及分級。結果顯示,本文所設計的基于機器視覺下的皮膚老化評價方法,與人工方法相比較,分類一致率達 80.8%,可實現較為客觀且快速的皮膚老化分級。
引用本文: 李玲玉, 薛錦霞, 賀向前, 張勝, 樊楚. 基于機器視覺下的皮膚老化分級研究. 生物醫學工程學雜志, 2017, 34(3): 449-455. doi: 10.7507/1001-5515.201604042 復制
版權信息: ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有,未經授權不得轉載、改編
引言
皮膚老化是人體衰老在身體外部表現最為直觀、明顯的變化[1]。皮膚老化受內外因素的共同作用,內在因素為隨著年齡的增長,皮膚發育自然老化,外在因素包括人體皮膚與外界環境的接觸、疾病、活動習慣等,如陽光照射、重體力勞動引起的肌肉頻繁運動等[2-3]。對老化的皮膚進行測定是判斷皮膚老化程度,同時也是判斷人體衰老程度的重要手段,此外,測定結果也可對抗衰老、防皺產品功效或治療方案療效進行評估,對人們選取何種抗衰老措施具有一定指導意義[4-5]。
皮膚紋理是皮膚表面最重要的特征之一[6],在低倍放大情況下(×10),Hashimoto[7]依據紋理線的寬度和深度,將紋理線分為初級線和次級線。他提出,初級線較寬,深度為 20~100 μm,依據身體部位和年齡的不同而有所變化;次級線較細,是初級線的分支,深度為 5~40 μm。研究者們依據初級線和次級線的變化,將老化程度分為幾個等級,進而評價皮膚老化程度。例如:用于評價手背部皮膚老化的 Beagley-Gibson 分級標準[8]。在此類描述性標準中,針對不同程度的老化,其描述包括:隨著老化程度的增加,初級線變寬減少、次級線減少以致消失,以及初級線和次級線交叉形成的多邊形頂點的減少或消失。這表明,初級線和次級線的寬度、數量,以及多邊形頂點的數量都可以用來表征皮膚老化。
皮膚老化評價在皮膚學領域廣受關注,依據描述性的語言或等級圖譜評價皮膚老化,這些方式受主觀因素影響大。借助電子設備,對皮膚進行自動評價,可實現對護膚品功效、抗衰老措施療效進行自動評價,也可減少醫生工作強度。本文基于前輩學者們對皮膚老化的描述性以及圖譜式分級標準,在總結概括分級標準時,主要依據的是皮膚表面紋理變化后,借助機器視覺以及利用數字圖像處理技術對皮膚圖像進行分析,進而提取可表征皮膚老化的皮膚紋理參數;之后利用模式識別技術,即采用自組織映射(self-organizing map,SOM)神經網絡實現數據的自動聚類[9],以期達到對新個體的自動老化分級。
1 試驗數據獲取與方法
1.1 皮膚圖像采集
試驗選取常用于皮膚研究中的人體前臂腹側皮膚作為采集部位[10],具體為右前臂腹側中段皮膚。試驗對象為中國西南地區健康成年志愿者,具體采集標準如下:無皮膚病史(例如:濕疹、特應性皮炎、牛皮癬等);從事室內工作;無吸煙飲酒史;身體質量指數(body mass index,BMI)在中國標準范圍內(18.5≤BMI<24)。采集圖像時,志愿者處于放松狀態,以達到皮膚紋理結構的自然狀態;同時記錄志愿者性別、年齡、身高、體重、工作類型等信息。
依據上述采集標準,最終試驗收集了 120 例志愿者,年齡 22~88 歲,平均年齡 49.7 歲。男性、女性各 60 例,各年齡段(即 20~29、30~39、40~49、50~59、60~69 以及 70 歲以上)人數相同,如表 1 所示。
試驗采集設備為杭州富光科技有限公司生產的便攜式數碼顯微鏡 MDA2000。采集圖像時,設備各項性能參數設置相同,圖片尺寸大小設置為 800×600,放大倍數為 40 倍。如圖 1 所示,為試驗所采集的一位 39 歲女性志愿者的前臂腹側皮膚圖像,上文中提到的初級線、次級線在本試驗中統稱為皮溝[11];初級線或次級線交錯形成的多邊形頂點,在本試驗中稱之為交點。
 表1
                志愿者信息統計
		 	
		 			 				Table1.
    			Demographics of subjects
			
						表1
                志愿者信息統計
		 	
		 			 				Table1.
    			Demographics of subjects
       		
       				 圖1
				皮膚表面紋理結構示意圖
			
												
				Figure1.
				Skin surface texture image
						
				圖1
				皮膚表面紋理結構示意圖
			
												
				Figure1.
				Skin surface texture image
			
								1.2 皮膚圖像分級
皮膚老化程度不同,皮膚表面紋理也有所變化,如皮溝變粗、減少或消失,交點個數相應減少[12],依據這些變化,參考 Beagley-Gibson 分級標準[8],有經驗的分級專家結合本試驗所收集的皮膚圖像,將皮膚老化程度分為 4 個等級(即:0,無明顯老化;1,輕微老化;2,中度老化;3,重度老化)。如表 2 所示,為實驗所采用的老化等級標準的文字描述。依據此標準,對皮膚老化分級者進行培訓學習,之后進行皮膚老化人工分級。
 表2
                皮膚老化分級標準
		 	
		 			 				Table2.
    			Criteria for grading skin aging of ventral forearm
			
						表2
                皮膚老化分級標準
		 	
		 			 				Table2.
    			Criteria for grading skin aging of ventral forearm
       		
       				1.3 皮膚圖像處理
為實現對皮膚老化的自動分級,本實驗主要對皮溝和交點這兩個紋理特征進行研究。利用 MATLAB R2012b (Matrix Laboratory,MathWorks 公司,美國)軟件編寫程序進行特征提取[13]。
1.3.1 皮膚圖像預處理 預處理過程主要包括圖像裁剪、圖像灰度化、圖像增強,處理過程如圖 2 所示。① 圖像裁剪:在處理過程中,將圖像裁剪為 400×300 像素,保留圖像中間部位,用于之后的實驗過程。經此處理,既保證了輸入圖像的清晰度,又提高了程序處理速度。② 圖像灰度化:將裁剪后的彩色圖像轉化為灰度圖像,保留所需的紋理信息的同時,進一步提高處理速度。③ 圖像增強:本實驗所研究的兩個特征,都是基于皮溝這一紋理特征,因此需要提取皮溝特征。如圖 2 所示,可以看出,灰度圖像中皮溝與背景間的對比度較弱,這不利于皮溝的分割。本實驗采用對比度受限直方圖均衡化(contrast limited adaptive histogram equalization,CLAHE)對灰度圖像進行增強操作[14],增加皮溝與背景之間的對比度。
 圖2
				皮膚圖像預處理
			
												
				Figure2.
				Skin image preprocessing
						
				圖2
				皮膚圖像預處理
			
												
				Figure2.
				Skin image preprocessing
			
								1.3.2 皮膚圖像分割 皮膚圖像的皮溝特征是本文的研究重點,通過分割,將灰度圖像轉化為二值圖像,即將皮溝與背景分割開來,之后提取紋理特征參數用于神經網絡輸入。對 CLAHE 增強之后的灰度圖像進行 Otsu 閾值分割(即大津算法)[15],分割效果如圖 3 “Otsu 閾值分割圖像”所示,可以看出所得到的分割圖像基本上將皮溝與背景分割開來。同時也可看出,有過分割、欠分割現象存在。為改善或削弱這兩種現象,給予不同的處理形式。
(1)中值濾波:如圖 3 “Otsu 閾值分割圖像”所示的白色背景(像素值為 1)中包含的黑色像素(像素值為 0),屬于背景噪聲,也相當于皮溝的過分割現象。這種噪聲以黑色點疊加在圖像上,類似椒鹽噪聲的性質[16]。而常用的中值濾波器對椒鹽噪聲非常有效[17],因此,采用中值濾波對 Otsu 閾值分割圖像進行處理。實驗結果如圖 3 “中值濾波圖像”所示,可以看出噪聲基本被消除。
(2)邏輯或運算:經中值濾波去除噪聲后,圖像有一定程序的模糊。為改善這一現象,將 Otsu 閾值分割圖像與中值濾波圖像進行邏輯或運算(有 1 則為 1),得到清晰的皮溝分割圖像,如圖 3 “邏輯或運算圖像”所示。
(3)刪除小面積元素:接下來對圖像中欠分割現象進行改善,對于欠分割現象,主要為分割圖像中皮溝(前景)中出現的少量白色像素。軟件 MATLAB 提供的 bwareaopen 函數[13],其主要作用是去除二值圖像中小的連接對象,本實驗利用 bwareaopen 函數得到最終的“皮溝分割圖像”,用于之后特征參數的計算。
 圖3
				皮膚圖像分割
			
												
				Figure3.
				Skin image segmentation
						
				圖3
				皮膚圖像分割
			
												
				Figure3.
				Skin image segmentation
			
								1.3.3 特征提取 如圖 3 所示為皮膚紋理結構,對于皮溝而言,從年齡縱向來看,單條皮溝寬度不足以代表個體的紋理特征變化,本實驗利用皮溝的平均寬度來量化紋理變化;此外,本實驗也著重研究皮溝交錯形成的交點這一特征。
(1)皮溝平均寬度:為了計算皮溝平均寬度,需進一步對分割圖像進行形態學細化操作。利用基本數學概念:面積=長×寬,將皮溝平均寬度求出,公式如下:
| ${\text{皮溝平均面積}} = \frac{{{\text{皮溝總面積}}}}{{{\text{皮溝長度}}}} = \frac{{{S_T}}}{{{S_t}}}$ | 
其中,ST 為皮溝分割圖像(如圖 4 所示“皮溝分割圖像”)中黑色像素總和,代表皮溝總面積;St 為單像素寬度皮溝圖像(如圖 4 所示“最初細化圖像”)中白色像素總和,代表皮溝長度。兩者計算公式如下所示:
| ${S_T} = \sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {\{ {f_T}(i,j) = 0\} } } $ | 
| ${S_t} = \sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {\{ {f_t}(i,j) = 1\} } } $ | 
 圖4
				皮膚圖像細化
			
												
				Figure4.
				Skin image thinning
						
				圖4
				皮膚圖像細化
			
												
				Figure4.
				Skin image thinning
			
								(2)交點個數:統計交點個數前,要先檢測到交點。在課題組前期研究結果文獻[18]的基礎上,重新編寫交點檢測程序。如圖 4 所示的“最初細化圖像”為“皮溝分割圖像”求補后的細化圖像,此時細化結果毛刺較多,會引入偽交點,不利于交點的提取。利用中值濾波的模糊特性,將分割圖像再次進行濾波操作,之后再對其進行細化,得到較理想的細化圖像(如圖 4 “細化圖像”所示),用于之后交點的檢測。
利用一個 3×3 模板遍歷整幅細化圖像,若某一白色像素點的八鄰域中,有且僅有 3 個像素的值為 1,稱該像素點為交點[19],交點檢測過程如圖 5 所示。圖 5 “交點檢測結果”所示結果為最初檢測到的交點。可以看出,在人類視覺上認為是一個交點的地方,程序檢測出來的卻有多個點(如圖 5 中紅色圓圈標注處),為適應人類視覺,提高交點檢測精度,將離得近的點合并為一個交點。本實驗中利用形態學膨脹操作來實現。執行膨脹操作后,各交點區域大小不等,為得到較為美觀的結果,取交點區域的質心進行顯示,圖 5 “交點合并圖像”所示為檢測的交點與細化圖像的疊加結果。之后利用軟件 MATLAB 中 bwconncomp 函數來統計二值圖像中的交點個數[13]。
 圖5
				交點檢測過程
			
												
				Figure5.
				Detecting steps of intersections
						
				圖5
				交點檢測過程
			
												
				Figure5.
				Detecting steps of intersections
			
								1.3.4 SOM 網絡訓練及分級 SOM 神經網絡是一種無導師監督的、采用自組織競爭型學習規則的神經網絡,由輸入層和輸出層(競爭層)組成[20]。在本文實驗中,在求得皮溝平均寬度和交點個數這 2 個皮膚紋理參數后,將其作為神經網絡的輸入數據,依據 SOM 神經網絡能夠自動找出輸入值之間類似度的特性,通過網絡學習及訓練,實現對輸入數據進行聚類。一旦網絡訓練完成,即可對新個體進行老化自動分級。
2 實驗結果與分析
2.1 人工分級結果
依據如表 2 所示的分級專家制定的皮膚老化標準,實驗中,由兩位分級者分別獨立地對試驗采集的 120 幅皮膚圖片進行人工分級,組內相關系數(intraclass correlation coefficient,ICC)統計結果顯示兩分級者之間有較高的一致性,如表 3 所示。
 表3
                前臂腹側皮膚圖片人工老化分級結果的組內相關系數
		 	
		 			 				Table3.
    			ICC between aging grading results of forearm skin images by human graders
			
						表3
                前臂腹側皮膚圖片人工老化分級結果的組內相關系數
		 	
		 			 				Table3.
    			ICC between aging grading results of forearm skin images by human graders
       		
       				最后,對于老化分級不一致的圖片,由兩位分級者再次進行評分,得到一致的分級結果。如表 4 所示為人工老化分級結果。
 表4
                人工老化分級結果
		 	
		 			 				Table4.
    			Skin aging grading results by human graders
			
						表4
                人工老化分級結果
		 	
		 			 				Table4.
    			Skin aging grading results by human graders
       		
       				2.2 皮溝分割效果評價
皮溝平均寬度以及交點個數這 2 個紋理特征參數都是基于皮溝這一特征,因此皮溝分割效果至關重要。本實驗借鑒文獻[5]中的方法對皮溝分割結果進行客觀評價,以本實驗皮溝分割圖像為參考對象,對過分割以及欠分割現象的削弱程度進行定量分析,最終驗證分割程序的有效性。
已知邏輯或運算削弱的是過分割現象,而 bwareaopen 函數改善的是欠分割現象,設最初分割結果即 Otsu 閾值分割結果(如圖 3 所示“Otsu 閾值分割圖像”)中黑色像素個數為 l,或運算結果(如圖 3 所示“邏輯或運算圖像”)中黑色像素為 m,那么過分割的像素個數為 l—m;設最終分割結果即皮溝分割圖像(如圖 3 所示“皮溝分割圖像”)中黑色像素為 n,那么欠分割像素個數為 n—m。分別用式(4)、式(5)來代表過分割或欠分割程度:
| ${\text{過分割程度}} = \frac{{l - m}}{n}$ | 
| ${\text{欠分割程度}} = \frac{{n - m}}{n}$ | 
其中,過分割程度和欠分割程度越大,表明程序對最初分割結果的改善效果越好。
如圖 6 所示,從分割效果客觀評價結果可以看出,本實驗程序對圖像過分割、欠分割現象有一定的改善。但是,該評價方法是將最初分割圖像與最終的分割結果進行了比較,還應在接下來的工作中探索無監督評價方法。
 圖6
				圖像分割效果客觀評價
			
												
				Figure6.
				Objective evaluation of image segmentation
						
				圖6
				圖像分割效果客觀評價
			
												
				Figure6.
				Objective evaluation of image segmentation
			
								2.3 交點檢測評估
為了評價本實驗程序對交點的檢測精度,實驗中,首先對 120 位志愿者皮膚圖像的交點個數進行手動計數,之后利用 SPSS 統計軟件對手動計數結果與程序計數結果進行皮爾遜相關性分析以及配對樣本 t 檢驗。
相關性分析結果顯示,兩者之間存在良好的正相關關系(r=0.952,P<0.001);配對樣本 t 檢驗結果顯示,兩者之間差異無統計學意義(P=0.078>0.05);以上統計學結果表明,實驗交點檢測精度較高,所編寫的交點檢測程序適用于皮膚圖像紋理交點檢測。如圖 7 所示,線性回歸圖中實線為線性回歸曲線,兩側虛線代表的是 95% 的預測區間。
 圖7
				手動計數與自動計數之間的相關性
			
												
				Figure7.
				Correlation between the number of intersections counted manually and that counted automatically
						
				圖7
				手動計數與自動計數之間的相關性
			
												
				Figure7.
				Correlation between the number of intersections counted manually and that counted automatically
			
								2.4 皮膚圖像處理結果
如圖 8 所示為不同年齡不同性別的皮膚圖像處理結果,其中從左側到右側依次為 CLAHE 增強圖像、皮溝分割圖像、交點檢測結果與 CLAHE 增強皮膚圖像的疊加結果圖。另外,皮溝平均寬度以及交點個數參數值標注在圖像右下方。從如圖 8 所示這三幅圖像來看,年齡越大,皮溝平均寬度值越大,交點個數值越小。但是這 2 個紋理參數與年齡之間存在的聯系,還有待進一步驗證。
 圖8
				不同年齡不同性別皮膚圖像分割結果及交點檢測結果
			
												
				Figure8.
				Segmentation results and intersection detecting results of skin images of subjects with different ages and genders
						
				圖8
				不同年齡不同性別皮膚圖像分割結果及交點檢測結果
			
												
				Figure8.
				Segmentation results and intersection detecting results of skin images of subjects with different ages and genders
			
								2.5 SOM 網絡分級結果
因人工皮膚老化標準將皮膚老化程度分為 0、1、2 和 3 共 4 個等級,因此輸出層設置為一維拓撲結構,即 SOM 神經網絡的競爭層有 4 個神經元。實驗分析的 120 例志愿者的皮膚圖像,在 SOM 網絡訓練實驗中,皮膚紋理參數值歸一化到 [—1,1] 之間,訓練次數設置為 1 000 次。
最終網絡聚類結果如表 5 所示,類別標號 0~3,數值越大說明老化程度越嚴重,0~3 類對應的人數分別為 34、31、31 和 24;與人工分級結果進行比較,分級結果較為理想,一致率達 80.8%。
 表5
                SOM 神經網絡分類結果
		 	
		 			 				Table5.
    			Skin aging grading result by SOM network
			
						表5
                SOM 神經網絡分類結果
		 	
		 			 				Table5.
    			Skin aging grading result by SOM network
       		
       				如圖 9 所示,為各個年齡段志愿者皮膚老化等級分級結果的均值與標準差,其中,分別用紅、橙、黃、綠、青、藍色代表 20、30、40、50、60 歲以及 70 歲以上年齡組。可以看出,隨年齡組的增長,皮膚老化等級均值大致呈上升趨勢,即表明年齡越大,其皮膚老化程度可能越高。如表 4、表 5 所示,人工分級結果以及 SOM 網絡訓練分類結果與年齡分布情況都不盡相同,也可見個體年齡小,其皮膚老化程度也會有比較嚴重的情況,反之亦然,這可能與個體自身以及外界環境影響程度等有關,也可能與本實驗所收集樣本數量相對較少有關,需在之后的研究中進一步驗證。
 圖9
				各年齡組皮膚老化分級結果(
							)
			
												
				Figure9.
				Skin aging grading results for different age groups (
							)
						
				圖9
				各年齡組皮膚老化分級結果(
							)
			
												
				Figure9.
				Skin aging grading results for different age groups (
							)
			
								3 討論
皮膚老化評價方法主要包括:人工主觀評價、機械測量評價和機器視覺評價。傳統的皮膚老化評價方法主要是有經驗的皮膚科醫師,通過視覺或者觸覺的方式來診斷或評估皮膚老化程度,存在一定的主觀因素。之后皮膚學研究領域的學者們也建立了多種多樣的皮膚老化分級標準。此類描述性語言的分級標準多是依據老化等級標本圖片的分級方式,老化評判結果易受人為因素影響,不夠客觀。隨著技術的發展,人們通過客觀定量的方法測量皮膚表面微地貌結構,進而用于評價皮膚老化。常用的皮膚輪廓測定法(如機械、光學輪廓測定法),需用硅膠材料獲取皮膚表面復膜。復膜制作過程復雜、耗時,不利于大規模皮膚樣本的采集和分析;而且在制作過程中也會因受力不均而導致所獲取的皮膚樣本變形等,這也不利于之后的皮膚老化評價;另外,所需測量設備也較為昂貴,綜合來看,不適用于皮膚老化分級評估的常規檢查。
近年來,研究者嘗試通過數字成像設備直接獲取皮膚圖像,進而利用機器視覺客觀評估皮膚紋理變化,提高皮膚診斷或評估的準確性和速度,為臨床醫生提供更準確和更豐富的皮膚信息。本研究即是通過便攜式數碼顯微鏡獲取人體皮膚圖像,再根據圖像以傳統人工皮膚老化評價手段以及客觀定量測定評價方法相比較,研究結果體現了以下三個方面的優勢:
(1)經濟:主觀評價或是機械測量評價方法大都采用皮膚硅膠復膜用于皮膚老化研究。皮膚硅膠復膜的制備以及測量所需設備限定了此類方法的適用范圍。本文采用便攜式數碼顯微鏡獲取皮膚圖像,設備輕便、易操作,節約成本的同時可直接獲取放大的、清晰的皮膚圖像。
(2)客觀:本文實驗借助機器視覺,依據皮膚紋理變化,采用數字圖像處理技術對皮膚圖像進行客觀量化分析,主要包括皮膚圖像的預處理、紋理分割以及紋理特征提取。這種評價方式是基于機器視覺下的分級,而不是依靠人類目測的主觀視覺分級。
(3)自動:在提取用于表征皮膚老化的紋理參數后,將其作為 SOM 神經網絡的輸入值進行網絡學習訓練,借助該網絡學習算法能自動找出輸入參數值之間的類似度特性,達到對訓練數據的聚類。之后即可對新的輸入參數值進行分類分級,實現自動的皮膚老化等級劃分。
此外,也應注意到,雖然皮膚硅膠復膜存在制作復雜等缺陷,但是這種方法可以得到皮膚的三維形貌結構,而本實驗所獲取的皮膚圖像僅是皮膚的二維結構圖像。機械測量方法大都是基于皮膚硅膠復膜來研究皮膚表面形貌,因此其研究的皮膚粗糙度參數[11],例如,粗糙度最大深度值,粗糙度平均深度值等,這些多為三維參數,而本文中探討的紋理參數為二維參數。那么,下一步研究中可以將三維參數與二維參數共同作為 SOM 神經網絡的輸入,即共同作為皮膚老化評價系統的輸入值,進而研究皮膚老化自動評價。另外,下一步研究中,應擴大皮膚樣本數量,進一步驗證年齡與皮膚老化之間的關系。
引言
皮膚老化是人體衰老在身體外部表現最為直觀、明顯的變化[1]。皮膚老化受內外因素的共同作用,內在因素為隨著年齡的增長,皮膚發育自然老化,外在因素包括人體皮膚與外界環境的接觸、疾病、活動習慣等,如陽光照射、重體力勞動引起的肌肉頻繁運動等[2-3]。對老化的皮膚進行測定是判斷皮膚老化程度,同時也是判斷人體衰老程度的重要手段,此外,測定結果也可對抗衰老、防皺產品功效或治療方案療效進行評估,對人們選取何種抗衰老措施具有一定指導意義[4-5]。
皮膚紋理是皮膚表面最重要的特征之一[6],在低倍放大情況下(×10),Hashimoto[7]依據紋理線的寬度和深度,將紋理線分為初級線和次級線。他提出,初級線較寬,深度為 20~100 μm,依據身體部位和年齡的不同而有所變化;次級線較細,是初級線的分支,深度為 5~40 μm。研究者們依據初級線和次級線的變化,將老化程度分為幾個等級,進而評價皮膚老化程度。例如:用于評價手背部皮膚老化的 Beagley-Gibson 分級標準[8]。在此類描述性標準中,針對不同程度的老化,其描述包括:隨著老化程度的增加,初級線變寬減少、次級線減少以致消失,以及初級線和次級線交叉形成的多邊形頂點的減少或消失。這表明,初級線和次級線的寬度、數量,以及多邊形頂點的數量都可以用來表征皮膚老化。
皮膚老化評價在皮膚學領域廣受關注,依據描述性的語言或等級圖譜評價皮膚老化,這些方式受主觀因素影響大。借助電子設備,對皮膚進行自動評價,可實現對護膚品功效、抗衰老措施療效進行自動評價,也可減少醫生工作強度。本文基于前輩學者們對皮膚老化的描述性以及圖譜式分級標準,在總結概括分級標準時,主要依據的是皮膚表面紋理變化后,借助機器視覺以及利用數字圖像處理技術對皮膚圖像進行分析,進而提取可表征皮膚老化的皮膚紋理參數;之后利用模式識別技術,即采用自組織映射(self-organizing map,SOM)神經網絡實現數據的自動聚類[9],以期達到對新個體的自動老化分級。
1 試驗數據獲取與方法
1.1 皮膚圖像采集
試驗選取常用于皮膚研究中的人體前臂腹側皮膚作為采集部位[10],具體為右前臂腹側中段皮膚。試驗對象為中國西南地區健康成年志愿者,具體采集標準如下:無皮膚病史(例如:濕疹、特應性皮炎、牛皮癬等);從事室內工作;無吸煙飲酒史;身體質量指數(body mass index,BMI)在中國標準范圍內(18.5≤BMI<24)。采集圖像時,志愿者處于放松狀態,以達到皮膚紋理結構的自然狀態;同時記錄志愿者性別、年齡、身高、體重、工作類型等信息。
依據上述采集標準,最終試驗收集了 120 例志愿者,年齡 22~88 歲,平均年齡 49.7 歲。男性、女性各 60 例,各年齡段(即 20~29、30~39、40~49、50~59、60~69 以及 70 歲以上)人數相同,如表 1 所示。
試驗采集設備為杭州富光科技有限公司生產的便攜式數碼顯微鏡 MDA2000。采集圖像時,設備各項性能參數設置相同,圖片尺寸大小設置為 800×600,放大倍數為 40 倍。如圖 1 所示,為試驗所采集的一位 39 歲女性志愿者的前臂腹側皮膚圖像,上文中提到的初級線、次級線在本試驗中統稱為皮溝[11];初級線或次級線交錯形成的多邊形頂點,在本試驗中稱之為交點。
 表1
                志愿者信息統計
		 	
		 			 				Table1.
    			Demographics of subjects
			
						表1
                志愿者信息統計
		 	
		 			 				Table1.
    			Demographics of subjects
       		
       				 圖1
				皮膚表面紋理結構示意圖
			
												
				Figure1.
				Skin surface texture image
						
				圖1
				皮膚表面紋理結構示意圖
			
												
				Figure1.
				Skin surface texture image
			
								1.2 皮膚圖像分級
皮膚老化程度不同,皮膚表面紋理也有所變化,如皮溝變粗、減少或消失,交點個數相應減少[12],依據這些變化,參考 Beagley-Gibson 分級標準[8],有經驗的分級專家結合本試驗所收集的皮膚圖像,將皮膚老化程度分為 4 個等級(即:0,無明顯老化;1,輕微老化;2,中度老化;3,重度老化)。如表 2 所示,為實驗所采用的老化等級標準的文字描述。依據此標準,對皮膚老化分級者進行培訓學習,之后進行皮膚老化人工分級。
 表2
                皮膚老化分級標準
		 	
		 			 				Table2.
    			Criteria for grading skin aging of ventral forearm
			
						表2
                皮膚老化分級標準
		 	
		 			 				Table2.
    			Criteria for grading skin aging of ventral forearm
       		
       				1.3 皮膚圖像處理
為實現對皮膚老化的自動分級,本實驗主要對皮溝和交點這兩個紋理特征進行研究。利用 MATLAB R2012b (Matrix Laboratory,MathWorks 公司,美國)軟件編寫程序進行特征提取[13]。
1.3.1 皮膚圖像預處理 預處理過程主要包括圖像裁剪、圖像灰度化、圖像增強,處理過程如圖 2 所示。① 圖像裁剪:在處理過程中,將圖像裁剪為 400×300 像素,保留圖像中間部位,用于之后的實驗過程。經此處理,既保證了輸入圖像的清晰度,又提高了程序處理速度。② 圖像灰度化:將裁剪后的彩色圖像轉化為灰度圖像,保留所需的紋理信息的同時,進一步提高處理速度。③ 圖像增強:本實驗所研究的兩個特征,都是基于皮溝這一紋理特征,因此需要提取皮溝特征。如圖 2 所示,可以看出,灰度圖像中皮溝與背景間的對比度較弱,這不利于皮溝的分割。本實驗采用對比度受限直方圖均衡化(contrast limited adaptive histogram equalization,CLAHE)對灰度圖像進行增強操作[14],增加皮溝與背景之間的對比度。
 圖2
				皮膚圖像預處理
			
												
				Figure2.
				Skin image preprocessing
						
				圖2
				皮膚圖像預處理
			
												
				Figure2.
				Skin image preprocessing
			
								1.3.2 皮膚圖像分割 皮膚圖像的皮溝特征是本文的研究重點,通過分割,將灰度圖像轉化為二值圖像,即將皮溝與背景分割開來,之后提取紋理特征參數用于神經網絡輸入。對 CLAHE 增強之后的灰度圖像進行 Otsu 閾值分割(即大津算法)[15],分割效果如圖 3 “Otsu 閾值分割圖像”所示,可以看出所得到的分割圖像基本上將皮溝與背景分割開來。同時也可看出,有過分割、欠分割現象存在。為改善或削弱這兩種現象,給予不同的處理形式。
(1)中值濾波:如圖 3 “Otsu 閾值分割圖像”所示的白色背景(像素值為 1)中包含的黑色像素(像素值為 0),屬于背景噪聲,也相當于皮溝的過分割現象。這種噪聲以黑色點疊加在圖像上,類似椒鹽噪聲的性質[16]。而常用的中值濾波器對椒鹽噪聲非常有效[17],因此,采用中值濾波對 Otsu 閾值分割圖像進行處理。實驗結果如圖 3 “中值濾波圖像”所示,可以看出噪聲基本被消除。
(2)邏輯或運算:經中值濾波去除噪聲后,圖像有一定程序的模糊。為改善這一現象,將 Otsu 閾值分割圖像與中值濾波圖像進行邏輯或運算(有 1 則為 1),得到清晰的皮溝分割圖像,如圖 3 “邏輯或運算圖像”所示。
(3)刪除小面積元素:接下來對圖像中欠分割現象進行改善,對于欠分割現象,主要為分割圖像中皮溝(前景)中出現的少量白色像素。軟件 MATLAB 提供的 bwareaopen 函數[13],其主要作用是去除二值圖像中小的連接對象,本實驗利用 bwareaopen 函數得到最終的“皮溝分割圖像”,用于之后特征參數的計算。
 圖3
				皮膚圖像分割
			
												
				Figure3.
				Skin image segmentation
						
				圖3
				皮膚圖像分割
			
												
				Figure3.
				Skin image segmentation
			
								1.3.3 特征提取 如圖 3 所示為皮膚紋理結構,對于皮溝而言,從年齡縱向來看,單條皮溝寬度不足以代表個體的紋理特征變化,本實驗利用皮溝的平均寬度來量化紋理變化;此外,本實驗也著重研究皮溝交錯形成的交點這一特征。
(1)皮溝平均寬度:為了計算皮溝平均寬度,需進一步對分割圖像進行形態學細化操作。利用基本數學概念:面積=長×寬,將皮溝平均寬度求出,公式如下:
| ${\text{皮溝平均面積}} = \frac{{{\text{皮溝總面積}}}}{{{\text{皮溝長度}}}} = \frac{{{S_T}}}{{{S_t}}}$ | 
其中,ST 為皮溝分割圖像(如圖 4 所示“皮溝分割圖像”)中黑色像素總和,代表皮溝總面積;St 為單像素寬度皮溝圖像(如圖 4 所示“最初細化圖像”)中白色像素總和,代表皮溝長度。兩者計算公式如下所示:
| ${S_T} = \sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {\{ {f_T}(i,j) = 0\} } } $ | 
| ${S_t} = \sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {\{ {f_t}(i,j) = 1\} } } $ | 
 圖4
				皮膚圖像細化
			
												
				Figure4.
				Skin image thinning
						
				圖4
				皮膚圖像細化
			
												
				Figure4.
				Skin image thinning
			
								(2)交點個數:統計交點個數前,要先檢測到交點。在課題組前期研究結果文獻[18]的基礎上,重新編寫交點檢測程序。如圖 4 所示的“最初細化圖像”為“皮溝分割圖像”求補后的細化圖像,此時細化結果毛刺較多,會引入偽交點,不利于交點的提取。利用中值濾波的模糊特性,將分割圖像再次進行濾波操作,之后再對其進行細化,得到較理想的細化圖像(如圖 4 “細化圖像”所示),用于之后交點的檢測。
利用一個 3×3 模板遍歷整幅細化圖像,若某一白色像素點的八鄰域中,有且僅有 3 個像素的值為 1,稱該像素點為交點[19],交點檢測過程如圖 5 所示。圖 5 “交點檢測結果”所示結果為最初檢測到的交點。可以看出,在人類視覺上認為是一個交點的地方,程序檢測出來的卻有多個點(如圖 5 中紅色圓圈標注處),為適應人類視覺,提高交點檢測精度,將離得近的點合并為一個交點。本實驗中利用形態學膨脹操作來實現。執行膨脹操作后,各交點區域大小不等,為得到較為美觀的結果,取交點區域的質心進行顯示,圖 5 “交點合并圖像”所示為檢測的交點與細化圖像的疊加結果。之后利用軟件 MATLAB 中 bwconncomp 函數來統計二值圖像中的交點個數[13]。
 圖5
				交點檢測過程
			
												
				Figure5.
				Detecting steps of intersections
						
				圖5
				交點檢測過程
			
												
				Figure5.
				Detecting steps of intersections
			
								1.3.4 SOM 網絡訓練及分級 SOM 神經網絡是一種無導師監督的、采用自組織競爭型學習規則的神經網絡,由輸入層和輸出層(競爭層)組成[20]。在本文實驗中,在求得皮溝平均寬度和交點個數這 2 個皮膚紋理參數后,將其作為神經網絡的輸入數據,依據 SOM 神經網絡能夠自動找出輸入值之間類似度的特性,通過網絡學習及訓練,實現對輸入數據進行聚類。一旦網絡訓練完成,即可對新個體進行老化自動分級。
2 實驗結果與分析
2.1 人工分級結果
依據如表 2 所示的分級專家制定的皮膚老化標準,實驗中,由兩位分級者分別獨立地對試驗采集的 120 幅皮膚圖片進行人工分級,組內相關系數(intraclass correlation coefficient,ICC)統計結果顯示兩分級者之間有較高的一致性,如表 3 所示。
 表3
                前臂腹側皮膚圖片人工老化分級結果的組內相關系數
		 	
		 			 				Table3.
    			ICC between aging grading results of forearm skin images by human graders
			
						表3
                前臂腹側皮膚圖片人工老化分級結果的組內相關系數
		 	
		 			 				Table3.
    			ICC between aging grading results of forearm skin images by human graders
       		
       				最后,對于老化分級不一致的圖片,由兩位分級者再次進行評分,得到一致的分級結果。如表 4 所示為人工老化分級結果。
 表4
                人工老化分級結果
		 	
		 			 				Table4.
    			Skin aging grading results by human graders
			
						表4
                人工老化分級結果
		 	
		 			 				Table4.
    			Skin aging grading results by human graders
       		
       				2.2 皮溝分割效果評價
皮溝平均寬度以及交點個數這 2 個紋理特征參數都是基于皮溝這一特征,因此皮溝分割效果至關重要。本實驗借鑒文獻[5]中的方法對皮溝分割結果進行客觀評價,以本實驗皮溝分割圖像為參考對象,對過分割以及欠分割現象的削弱程度進行定量分析,最終驗證分割程序的有效性。
已知邏輯或運算削弱的是過分割現象,而 bwareaopen 函數改善的是欠分割現象,設最初分割結果即 Otsu 閾值分割結果(如圖 3 所示“Otsu 閾值分割圖像”)中黑色像素個數為 l,或運算結果(如圖 3 所示“邏輯或運算圖像”)中黑色像素為 m,那么過分割的像素個數為 l—m;設最終分割結果即皮溝分割圖像(如圖 3 所示“皮溝分割圖像”)中黑色像素為 n,那么欠分割像素個數為 n—m。分別用式(4)、式(5)來代表過分割或欠分割程度:
| ${\text{過分割程度}} = \frac{{l - m}}{n}$ | 
| ${\text{欠分割程度}} = \frac{{n - m}}{n}$ | 
其中,過分割程度和欠分割程度越大,表明程序對最初分割結果的改善效果越好。
如圖 6 所示,從分割效果客觀評價結果可以看出,本實驗程序對圖像過分割、欠分割現象有一定的改善。但是,該評價方法是將最初分割圖像與最終的分割結果進行了比較,還應在接下來的工作中探索無監督評價方法。
 圖6
				圖像分割效果客觀評價
			
												
				Figure6.
				Objective evaluation of image segmentation
						
				圖6
				圖像分割效果客觀評價
			
												
				Figure6.
				Objective evaluation of image segmentation
			
								2.3 交點檢測評估
為了評價本實驗程序對交點的檢測精度,實驗中,首先對 120 位志愿者皮膚圖像的交點個數進行手動計數,之后利用 SPSS 統計軟件對手動計數結果與程序計數結果進行皮爾遜相關性分析以及配對樣本 t 檢驗。
相關性分析結果顯示,兩者之間存在良好的正相關關系(r=0.952,P<0.001);配對樣本 t 檢驗結果顯示,兩者之間差異無統計學意義(P=0.078>0.05);以上統計學結果表明,實驗交點檢測精度較高,所編寫的交點檢測程序適用于皮膚圖像紋理交點檢測。如圖 7 所示,線性回歸圖中實線為線性回歸曲線,兩側虛線代表的是 95% 的預測區間。
 圖7
				手動計數與自動計數之間的相關性
			
												
				Figure7.
				Correlation between the number of intersections counted manually and that counted automatically
						
				圖7
				手動計數與自動計數之間的相關性
			
												
				Figure7.
				Correlation between the number of intersections counted manually and that counted automatically
			
								2.4 皮膚圖像處理結果
如圖 8 所示為不同年齡不同性別的皮膚圖像處理結果,其中從左側到右側依次為 CLAHE 增強圖像、皮溝分割圖像、交點檢測結果與 CLAHE 增強皮膚圖像的疊加結果圖。另外,皮溝平均寬度以及交點個數參數值標注在圖像右下方。從如圖 8 所示這三幅圖像來看,年齡越大,皮溝平均寬度值越大,交點個數值越小。但是這 2 個紋理參數與年齡之間存在的聯系,還有待進一步驗證。
 圖8
				不同年齡不同性別皮膚圖像分割結果及交點檢測結果
			
												
				Figure8.
				Segmentation results and intersection detecting results of skin images of subjects with different ages and genders
						
				圖8
				不同年齡不同性別皮膚圖像分割結果及交點檢測結果
			
												
				Figure8.
				Segmentation results and intersection detecting results of skin images of subjects with different ages and genders
			
								2.5 SOM 網絡分級結果
因人工皮膚老化標準將皮膚老化程度分為 0、1、2 和 3 共 4 個等級,因此輸出層設置為一維拓撲結構,即 SOM 神經網絡的競爭層有 4 個神經元。實驗分析的 120 例志愿者的皮膚圖像,在 SOM 網絡訓練實驗中,皮膚紋理參數值歸一化到 [—1,1] 之間,訓練次數設置為 1 000 次。
最終網絡聚類結果如表 5 所示,類別標號 0~3,數值越大說明老化程度越嚴重,0~3 類對應的人數分別為 34、31、31 和 24;與人工分級結果進行比較,分級結果較為理想,一致率達 80.8%。
 表5
                SOM 神經網絡分類結果
		 	
		 			 				Table5.
    			Skin aging grading result by SOM network
			
						表5
                SOM 神經網絡分類結果
		 	
		 			 				Table5.
    			Skin aging grading result by SOM network
       		
       				如圖 9 所示,為各個年齡段志愿者皮膚老化等級分級結果的均值與標準差,其中,分別用紅、橙、黃、綠、青、藍色代表 20、30、40、50、60 歲以及 70 歲以上年齡組。可以看出,隨年齡組的增長,皮膚老化等級均值大致呈上升趨勢,即表明年齡越大,其皮膚老化程度可能越高。如表 4、表 5 所示,人工分級結果以及 SOM 網絡訓練分類結果與年齡分布情況都不盡相同,也可見個體年齡小,其皮膚老化程度也會有比較嚴重的情況,反之亦然,這可能與個體自身以及外界環境影響程度等有關,也可能與本實驗所收集樣本數量相對較少有關,需在之后的研究中進一步驗證。
 圖9
				各年齡組皮膚老化分級結果(
							)
			
												
				Figure9.
				Skin aging grading results for different age groups (
							)
						
				圖9
				各年齡組皮膚老化分級結果(
							)
			
												
				Figure9.
				Skin aging grading results for different age groups (
							)
			
								3 討論
皮膚老化評價方法主要包括:人工主觀評價、機械測量評價和機器視覺評價。傳統的皮膚老化評價方法主要是有經驗的皮膚科醫師,通過視覺或者觸覺的方式來診斷或評估皮膚老化程度,存在一定的主觀因素。之后皮膚學研究領域的學者們也建立了多種多樣的皮膚老化分級標準。此類描述性語言的分級標準多是依據老化等級標本圖片的分級方式,老化評判結果易受人為因素影響,不夠客觀。隨著技術的發展,人們通過客觀定量的方法測量皮膚表面微地貌結構,進而用于評價皮膚老化。常用的皮膚輪廓測定法(如機械、光學輪廓測定法),需用硅膠材料獲取皮膚表面復膜。復膜制作過程復雜、耗時,不利于大規模皮膚樣本的采集和分析;而且在制作過程中也會因受力不均而導致所獲取的皮膚樣本變形等,這也不利于之后的皮膚老化評價;另外,所需測量設備也較為昂貴,綜合來看,不適用于皮膚老化分級評估的常規檢查。
近年來,研究者嘗試通過數字成像設備直接獲取皮膚圖像,進而利用機器視覺客觀評估皮膚紋理變化,提高皮膚診斷或評估的準確性和速度,為臨床醫生提供更準確和更豐富的皮膚信息。本研究即是通過便攜式數碼顯微鏡獲取人體皮膚圖像,再根據圖像以傳統人工皮膚老化評價手段以及客觀定量測定評價方法相比較,研究結果體現了以下三個方面的優勢:
(1)經濟:主觀評價或是機械測量評價方法大都采用皮膚硅膠復膜用于皮膚老化研究。皮膚硅膠復膜的制備以及測量所需設備限定了此類方法的適用范圍。本文采用便攜式數碼顯微鏡獲取皮膚圖像,設備輕便、易操作,節約成本的同時可直接獲取放大的、清晰的皮膚圖像。
(2)客觀:本文實驗借助機器視覺,依據皮膚紋理變化,采用數字圖像處理技術對皮膚圖像進行客觀量化分析,主要包括皮膚圖像的預處理、紋理分割以及紋理特征提取。這種評價方式是基于機器視覺下的分級,而不是依靠人類目測的主觀視覺分級。
(3)自動:在提取用于表征皮膚老化的紋理參數后,將其作為 SOM 神經網絡的輸入值進行網絡學習訓練,借助該網絡學習算法能自動找出輸入參數值之間的類似度特性,達到對訓練數據的聚類。之后即可對新的輸入參數值進行分類分級,實現自動的皮膚老化等級劃分。
此外,也應注意到,雖然皮膚硅膠復膜存在制作復雜等缺陷,但是這種方法可以得到皮膚的三維形貌結構,而本實驗所獲取的皮膚圖像僅是皮膚的二維結構圖像。機械測量方法大都是基于皮膚硅膠復膜來研究皮膚表面形貌,因此其研究的皮膚粗糙度參數[11],例如,粗糙度最大深度值,粗糙度平均深度值等,這些多為三維參數,而本文中探討的紋理參數為二維參數。那么,下一步研究中可以將三維參數與二維參數共同作為 SOM 神經網絡的輸入,即共同作為皮膚老化評價系統的輸入值,進而研究皮膚老化自動評價。另外,下一步研究中,應擴大皮膚樣本數量,進一步驗證年齡與皮膚老化之間的關系。
 
        

 
                 
				 
                                                                    
                                                                        
                                                                        
                                                                         
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	 
																   	
                                                                    
                                                                    
																	