為了便于對人體的三維脊柱形態進行日常體表監測，本文提出一種利用“單相機，多視角”的方式構造立體視覺的脊柱形態測量方法。該方法通過移動單個相機使其從多個角度采集帶有棘突標志點的人體后背圖像，并基于“張正友標定法”和雙目立體視覺的三角測距原理，求解出所有圖像間兩兩對應的空間轉換矩陣和標志點的三維坐標，由此推算出用于評估脊柱形態的脊柱評估角。試驗結果表明，本文方法所得脊柱評估角誤差在±3° 之內，結果與 X 線片測量法所得的柯布（Cobb）角相關性達 0.871。本文采用視覺檢測算法，無放射性，且無需預先設定相機的拍攝位姿，操作簡單。本文的研究成果可用于開發基于手機平臺的智能監測系統，將適用于社區、學校、家庭等多種場合下的脊柱側凸普查和患者的長期隨訪，為醫生診斷病情、預測病情發展趨勢、制定治療方案提供參考。
引用本文： 張經惠, 沈林勇, 宋薇, 譚夢婷, 楊長偉. 用于日常體表監測的三維脊柱形態測量技術. 生物醫學工程學雜志, 2020, 37(5): 809-817. doi: 10.7507/1001-5515.201910010 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
引言
脊柱畸形是指脊柱在三個醫學解剖面上偏離正常位置，其在青少年和兒童中發病率較高，會給少年兒童的脊柱健康帶來損害，如果沒有及時發現并進行干預治療，病情將隨著青少年生長期迅速發展，從而影響成年后的肢體外觀甚至引起心肺疾病等多種并發癥[1-2]。目前，針對脊柱形態畸形的評估，在臨床上主要由醫生在患者的冠狀面和矢狀面 X 線片上繪制柯布（Cobb）角來實現[3]。然而，X 線片測量法存在輻射暴露問題，已被證實會顯著增加患者罹患惡性腫瘤的風險，不適用于長期隨訪檢查[4]。因此，國內外學者致力于研究非 X 線測量脊柱形態的方法，如表面形貌 (surface topography，ST) 測量法[5]、核磁共振影像 (magnetic resonance imaging，MRI) 測量法[6]、超聲測量法[7]等。雖然上述方法不具輻射性，但均需要較為龐大的專業設備，并需進行較為復雜的數據處理，而且同目前通用的臨床方法一樣，這些方法都要求患者到醫院等指定地點進行脊柱形態測量，不便于家庭環境下的脊柱形態日常監測和學校大規模的普查，因此不利于對青少年脊柱畸形的早期發現以及治療矯正過程中的隨訪觀察。
視覺測量作為一種有效的測量手段已被廣泛研究，將其應用于人體的脊柱形態測量，不僅能夠避免人工測量誤差、提高效率，還由于此類檢測手段并無放射性從而不會增加受試者的輻射暴露風險[8]。視覺測量系統按采用的相機數量可分為單目視覺系統和多目立體視覺系統[9]。單目視覺系統測量時只需一個相機輔以適當的數據處理算法，具有結構簡單、易于安裝調試、計算量小等優點。Pan 等[10]提出一種用于家庭環境下的基于單目視覺的脊柱評估方法，該方法使用相機采集一幅二維圖像，利用該圖像的邊緣信息檢測人體背部輪廓，將檢測出的四條平滑非連續的輪廓曲線分成兩組，其中一組代表腰部軀干的外輪廓曲線，另一組代表胸部和肩部軀干的外輪廓曲線，然后分別擬合出每組曲線的中心軸，用來表示脊柱形態。該方法無需人工標記，操作人員也無需具備專業的醫學知識，但是由于人體背部外輪廓的中心軸和真實的脊柱形態之間存在明顯差異，因此該方法的測量準確性較低。單一的二維圖像因缺少深度信息，無法提供脊柱在矢狀面中向前彎曲的情況，為了獲得脊柱三維形態信息，Berryman 等[11]開發了一種將結構光技術與單目視覺系統結合的新方法，所測得的臨床參數精度可達 ± 1 mm，但此方法需要專用的結構光投影儀，不僅成本昂貴而且使得圖像處理過程更為復雜。除了上述方法，多目立體視覺系統也可以很好地解決單目視覺系統缺少深度信息這一問題，其采用兩部及以上的攝像機從不同的角度捕獲空間目標，通過立體匹配算法計算出多幅圖像中目標特征點對應的像素點之間的位置偏差，即可計算出空間目標的位置形狀信息和深度信息。其中雙目視覺系統由于存在匹配多義性問題，往往通過增加相機數目來減少錯誤匹配，提高測量的準確性。Zheng 等[12]采用了三目立體視覺系統測量脊柱的三維畸形參數，利用運動平臺在一系列預定義的角度下完成前屈試驗，同時定義了椎間角分離（inter-vertebra angular separation，IVAS）并將其作為新的脊柱畸形評估指標，該指標與 Cobb 角之間呈強線性關系，因此具有一定的可行性和應用潛力。但是因為多目立體視覺系統拍攝目標的視場范圍和測量精度受多部相機安裝相對位置的制約，所以安裝調試要求高，同時多相機的標定工作也極為復雜繁瑣，導致多目立體視覺系統的環境適應性差，在三維脊柱形態測量領域中的應用受限[13]。
為了簡化多目立體視覺系統的結構并快速測量出脊柱的三維形態，本文基于多目立體視覺的幾何原理，采用單個相機從不同角度進行拍攝的方法構建“單相機，多視角”的單目立體視覺系統。該方法首先通過移動單相機使其從多個角度采集多張圖像，然后基于“張正友標定法”[14]，以世界坐標系為基準通過處理棋盤格標定板上的角點數據實時求解相機外參數，獲得每個拍攝位置的相機坐標系相對于世界坐標系之間的位姿關系，再基于雙目立體視覺的三角測距原理，求解出多個拍攝位置間兩兩對應的空間轉換矩陣，最終結合標志點的圖像坐標計算出其在世界坐標系下的三維坐標值。與傳統的多目立體視覺系統相比，本文所設計的測量系統只使用一臺相機，且無需預先設定拍攝點，可選擇任意視角進行拍攝，相機位姿在測量過程中進行動態標定，因此具有結構簡單、便于移動、環境適應性好等優勢，可用于社區、學校、家庭等多種場合下的脊柱側凸普查和患者的長期隨訪，為醫生診斷病情、預測病情發展趨勢、制定治療方案提供參考。
1 基于視覺的脊柱形態測量
1.1 脊柱形態測量方法的醫學原理
在臨床上，醫生通常在 X 線片上繪制 Cobb 角來評估患者脊柱畸形的嚴重程度。Cobb 角測量方法如圖1 左圖所示，在 X 線片上找到脊柱的上、下端椎，即脊柱彎曲部分上部和下部傾斜角最大的椎體，然后在上端椎的上邊緣和下端椎的下邊緣各作一條延長線，這兩條延長線的垂線所形成的夾角即為 Cobb 角，根據幾何關系可知上述兩條延長線形成的角度也是 Cobb 角。若將每個椎體用其軸線線段替代，依次連接相鄰椎體軸線線段，可得到一條由多段折線近似表示的脊柱形態曲線，如圖1 右圖所示，找到多段折線上代表上、下端椎的軸線線段與豎直方向的夾角
和
，則 Cobb 角
可用公式 (1) 表示，具體如式（1）所示：
圖1
Cobb 角示意圖
Figure1.
Schematic of Cobb angle
 |
由于椎體大致上左右對稱，每個椎體中央位置均有棘突，兩個相鄰椎體的棘突間連線近似平行于椎體軸線，如圖2 左圖所示，因此本文用棘突間連線代替椎體的軸線，用棘突間連線構成的多段折線來表示脊柱形態。找到多段折線上代表上、下端椎的線段與豎直方向的夾角
和
，即可計算出近似 Cobb 角的脊柱評估角，如圖2 右圖所示，其計算公式如式 (2) 所示：
圖2
脊柱評估角示意圖
Figure2.
Schematic of spine evaluation angle
 |
若脊柱曲線上有多個彎曲，則選擇計算出的最大脊柱評估角作為最終結果來評估脊柱形態，即只考慮主彎。
1.2 基于“單相機，多視角”的脊柱形態測量算法原理
通過觸摸人體后背皮膚可以確定棘突位置，然后在棘突處貼設標志點來標記棘突位置，最終利用相機標定技術獲得標志點在世界坐標系中的坐標值。相機投影矩陣，表示的是一幅圖像中標志點的像素坐標和其所對應的空間坐標之間的關系，如式 (3) 所示：
 |
式中，s是世界坐標系到圖像坐標系的尺度因子；
是第i個標志的像素坐標的齊次矩陣；
是第i個標志的空間坐標的齊次矩陣；
是投影矩陣，利用“張正友標定法”確定相機的內、外參數進而可得出該投影矩陣，然后根據投影點的圖像坐標即可計算出標志點的空間坐標。
的計算如式 (4) 所示：
 |
式中，
是相機的內參數，在首次使用時通過標定獲得；
為相機外參數，在每次拍攝后通過實時動態標定得到。求解公式 (3) 所得三元方程組如式 (5) 所示：
 |
式中，ui 和 vi 分別代表第 i 個標志所處圖像坐標的行數與列數，Xi、Yi、Zi 代表第 i 個標志所處的空間坐標值；m 代表相機參數矩陣中的元素。本文使用單相機從不同角度拍攝多幅圖像，再由多幅圖像求解公式 (5) 中的 
，用矩陣表示公式 (5) 的結果如式 (6) 所示：
 |
式中，
是圖像序號。其中，使用多幅圖像進行計算的目的是減少由某幅具有較大誤差的圖像帶來的影響。
1.3 三維脊柱形態視覺測量系統的開發
為了實時獲取相機外參數，參考“張正友標定法”，將世界坐標系建立在平面棋盤格上。世界坐標系如圖3 所示，其原點為 O，X 軸和 Y 軸分別平行于棋盤格的兩條垂直邊，Z 軸垂直于棋盤平面，由于本文方法規定了棋盤格的大小和邊長，所以棋盤格中角點的空間坐標也隨之確定。在使用本文方法進行測量時首先需要將平面棋盤格固定在墻面上。在每次拍攝時，利用棋盤格上角點坐標信息實時求解相機拍攝時的外參數，進而利用公式 (6) 計算標志中心的空間坐標，獲得標志空間坐標后即可根據公式 (2) 計算脊柱評估角。
圖3
測量系統示意圖與流程圖
Figure3.
Schematic and flow chart of the measurement system
每次測量時，首先由脊柱科醫生或經過醫師培訓的無臨床經驗的人員在受試者的棘突處貼設直徑為 8 mm 的圓形標志，標記完成后讓受試者面對墻面站立在棋盤格附近；然后操作人員使用單個相機從不同的角度對患者后背上的標志和墻上棋盤格進行拍攝，再將所采集圖像導入程序進行處理得出測量結果。由于臨床上通常利用正面 X 線片和側面 X 線片測量 Cobb 角來評估患者冠狀面和矢狀面的脊柱畸形，因此為了便于后續對 X 線片測量法和本文所提方法進行比較，受試者站立時應盡量使人體冠狀面與固定棋盤格的墻面保持平行，令世界坐標系的XOY平面平行于人體冠狀面，YOZ平面平行于人體矢狀面。
圖像采集所需設備如下：① 一臺相機：對相機類型沒有要求，可以是家庭用數碼相機或工業相機，也可以是智能手機的自帶相機，相機的分辨率不低于 1280 × 720；② 6 × 8 的棋盤格一張，每個方格邊長為 20 mm；③ 若干直徑為 8 mm 圓形標記點。
本文測量方法有如下三個優點：① 通過簡單培訓即可使無臨床經驗的人員掌握貼設棘突標記的方法，貼設準確性可滿足本試驗要求；② 系統的所有設備成本低廉且容易獲取，系統搭建簡便快捷，大大提高了測量的便利性；③ 整個測量過程安全無輻射，不會增加受試者的輻射暴露風險，同一受試者可進行多次測量。綜上所述，本方法的圖像采集地點不局限于醫院，測量可由經過培訓的非專業人員進行，可用于日常生活中長期監測患者的脊柱形態變化。
1.4 單相機立體視覺方法的有效性
為了驗證本文所提方法的準確性和可重復性，分別進行了平面曲線測量實驗和模擬人體背部測量試驗。
1.4.1 平面曲線裝置實驗
平面曲線實驗裝置如圖4 所示，在平板 a 上首先貼一張坐標紙，再將一系列圓形標志貼在坐標紙上模擬表示一條脊柱曲線，由于棘突之間距離約 20～30 mm，所以將標志之間的距離也設置為 20～30 mm；然后在另一塊平板 b 上粘貼棋盤格；最后將兩塊平板成一定傾角固定，并將平板 b 固定在墻面上。此時標志構成的離散曲線在XOY平面和YOZ平面上的投影均為一條曲線，測量出兩塊平板之間的角度后，即可用三角函數推導出標志點在如圖4 所示的世界坐標系中的坐標，繼而計算出冠狀面和矢狀面的實際脊柱評估角分別為 78.09° 和 14.62°。為了研究圖幅數量對結果的影響，分別使用 2～8 幅圖像進行七組實驗，并分析比較七組實驗的計算結果。每組實驗中，從不同角度拍攝相應數量的圖像進行 12 次重復實驗來驗證本文所提方法的可重復性。
圖4
平面曲線裝置
Figure4.
The device of plane curve
測量結果如表1 所示，誤差是每個平面中實際脊柱評估角與測量值之間的差值，max(εxoy)和 max(εyoz) 代表了重復實驗中XOY平面和YOZ平面計算的脊柱評估角誤差的最大值，用于評價本文方法的準確性；均方差σxoy和σyoz描述了測量值的離散程度，用于衡量本文方法的可重復性。從表1 可以看出整體上εxoy比εyoz小，σxoy均在 1° 以內，表明XOY平面的測量數據更加準確、可重復性更好。當用于處理計算的圖幅數量不少于五幅時，εxoy基本在 1° 之內，εyoz均在 2° 之內；此時σyoz也均在 1° 以內，表明同組實驗中重復實驗的重復誤差結果波動較小。
表1
不同數量圖像計算結果
Table1.
Results obtained from different numbers of images
此外，為了保證每次拍攝的后背脊柱變形一致，在實際拍攝過程中需要受試者保持靜止不動，然而隨著拍攝圖幅數量增多，其耗時也越長，受試者身體晃動的可能性越大，從而導致不同位置拍攝到的后背脊柱變形有差距，因此拍攝的圖幅數量不宜過多。綜合考慮，選擇從五個角度拍攝圖像來進行測量。
在臨床上使用 X 線片測量法時，因操作者經驗不同以及其對 X 線片圖像解剖標志的判斷差異，測量結果也會有較大差距，因此在臨床診斷中 Cobb 角允許的測量誤差范圍為 ± 5° 以內。上述平面曲線裝置實驗結果表明，使用五幅圖像進行圖像處理與計算時，本文所用方法的測量誤差不超過 ± 2°，因此本文采用的測量方法在原理上有效可行，可以為醫生評估脊柱形態提供可信參考。
1.4.2 人體模型裝置實驗
由于平面曲線裝置與實際人體后背的復雜曲面有明顯差異，因此為了更接近本文所提測量方法的實際應用場景，使用與真實人體顏色、形狀和尺寸更為接近的人體模型進行皮膚表面標記實驗。然而人體模型質地堅硬，無法發生變形來模擬脊柱畸形的背部形態，也無法通過觸摸確定棘突位置，因此我們在人體模型后背處按照可能出現的脊柱畸形形態來貼標志，相鄰標志之間的距離約 20～30 mm。將貼好標志的模型正面面對墻壁，并在墻上固定棋盤格，如圖5 所示。根據 1.4.1 的實驗結果，用相機從五個不同的角度拍攝同時包含模型后背和棋盤格的圖片，然后將圖像導入程序進行處理和計算，得到冠狀面和矢狀面的脊柱評估角。一共進行五組實驗，每組實驗中人體模型后背上由標志點構成的曲線形狀各不相同，每組實驗均進行 12 次，來驗證本文方法的可重復性。
圖5
人體模型實驗
Figure5.
Human body model experiment
本文首先使用三坐標測量裝置測得每組曲線中所有標志點的空間坐標，由此計算出該曲線的實際脊柱評估角度，測量三次求平均值作為最終結果，結果如表2 所示。
表2
標志曲線的實際角度
Table2.
Actual angle of the marker curve
使用本文方法的計算結果如表3 所示，從圖中可知冠狀面脊柱評估角的誤差 εxoy 均在 ± 2° 以內，矢狀面脊柱評估角的誤差 εyoz 在 ± 2.8° 以內，綜合誤差不超過 ± 3°，說明本方法在近似實際情況的場景中具有較好的準確性。此外，冠狀面均方差 σxoy 均在 0.6° 以內，矢狀面均方差 σyoz 均在 1.4° 以內，說明本方法在近似實際情況的場景中具有較好的穩定性。
表3
人體背部模型實驗結果
Table3.
Results of the human back model experiment
通過與 1.4.1 的模擬實驗對比發現，人體模型實驗結果稍大于平面曲線裝置實驗結果，這是由于人體模型實驗中標志點位于復雜曲面而非光滑的平面，拍攝到的標志輪廓變得不規則，同時標志表面的陰影亮度也隨之不同，因此在該環境下提取標志會產生誤差，進而影響脊柱評估角的測量結果準確性。
綜上所述，本文所提出的測量方法具有較好的準確性和可重復性，測量誤差在允許范圍內，可用于脊柱形態測量。
2 醫學試驗驗證
2.1 試驗方法
為了驗證基于視覺的脊柱形態測量方法的可靠性，將本文方法應用于臨床脊柱形態測量，對脊柱畸形患者進行試驗并分析試驗結果。本研究共招募了在上海長海醫院脊柱外科就診的 10 名脊柱側凸患者（8 名女性，2 名男性）作為研究對象，所有受試者均知情并自愿參加試驗。本次研究通過了第二軍醫大學生物醫學研究倫理委員會的審查，并取得了醫學倫理審查表。
對每位受試者在同一天內進行 9 次重復試驗，試驗的圖像采集裝置是 CCD 數字相機（MER-132-43U3M/C，北京大恒圖像視覺有限公司，中國）。進行試驗時，患者呈自然站立狀態，醫生首先在患者后背上通過觸摸找到棘突位置并貼標志；然后讓患者面對墻壁站立，提前在患者站立位置附近的墻面上固定平面棋盤格，使用相機對患者和棋盤格從不同的角度進行拍攝，拍攝圖像如圖6 所示。
圖6
脊柱側彎患者試驗
Figure6.
Scoliosis patient test
2.2 試驗結果
2.2.1 立體視覺法的可重復性
針對每位患者的 9 次重復試驗的測量結果如表4 所示，
和
分別代表每位患者在冠狀面和矢狀面 9 次測量脊柱評估角的平均值；σxoy 和σyoz分別代表每位患者 9 次測量脊柱評估角的冠狀面均方差和矢狀面均方差。其中冠狀面和矢狀面均方差最大值 max(σxoy) 和 max(σyoz) 分別為 2.01° 和 3.85°，證明本方法在實際應用中具有較好的穩定性，且冠狀面穩定性比矢狀面更好。
表4
所有受試者的脊柱評估角的平均值及均方差
Table4.
The mean and standard deviation of the spine evalua tion angle for all subjects
2.2.2 立體視覺法與 X 片法測量參數的比較
由于患者拍攝側位 X 片時的身體姿態與本文試驗所采用的站立姿態不同，且上海長海醫院在進行矢狀面測量時所采用的參數是胸椎后凸角 (thoracic kyphosis，TK)、胸腰后凸角 (thoracolumbar kyphosis，TLK) 和腰椎前凸角 (lumbar lodorsis，LL)，屬于椎體前部畸形，與棘突所代表的椎體后部畸形在測量原理上差別較大，因此僅對每位患者用本文方法所測得的冠狀面脊柱評估角的平均值
和從患者正位 X 線片中測量所得的 Cobb 角進行比較，以此研究本文所提方法與 X 線片測量法之間的差異。兩種方法測量的角度結果如表5 所示，數據呈現出一定的規律性，其中除了 2 號患者試驗數據的差值為正值以外，其他試驗的差值數據均為負，說明單目立體視覺方法測量的脊柱評估角一般比 X 線片測量法所得的 Cobb 角小，造成這一差異的主要原因可能是由于脊柱側凸的同時會引起椎體的軸向旋轉，且旋轉方向一般偏向脊柱彎曲的凹側。
表5
兩種方法所得角度比較
Table5.
Comparison of the angles obtained by two methods
脊柱側彎按主彎所在位置可大致分為胸彎、胸腰彎、腰彎三種，根據 X 線片診斷結果所示，本試驗中 8 位受試者的主彎為胸彎，4 號受試者與 7 號受試者的主彎為腰彎。所有試驗中 4 號腰彎受試者的測量誤差值最大，通過分析該患者的 X 片和相機拍攝的帶有標志點的圖像，本研究發現標志點所形成的曲線與 X 片中的脊柱中線有較大差異，由此分析針對腰彎的脊柱形態測量產生較大誤差的原因可能是腰彎中脊柱彎曲處沒有肋骨的支撐，更容易發生椎體軸向旋轉，導致本文方法中用棘突連線表示的脊柱曲線與 X 線片測量法中用椎體所表示的脊柱曲線差異較大。
脊柱形態測量耗時也是影響日常監測便利性的一大因素，因此本研究也對比了本文試驗方法與 X 線片測量法的耗時情況。本文患者試驗耗時包括三個部分：① 標志點貼設耗時：標志均由脊柱科醫生觸診貼設，耗時均不超過 5 min；② 圖像采集耗時：單個患者圖片每次采集 5 張圖像，一共采集 9 組，進行 9 次重復實驗，每組圖像采集耗時均不超過 2 min；③ 圖像處理及輸出測量結果耗時：圖像選擇、相機外參數計算及脊柱形態角度由計算機程序依次計算輸出，本文實驗中 10 位受試者的程序運行時長均不超過 1 min。從布置試驗場景到獲得試驗結果，每位患者 9 組實驗的總時長均在 15～30 min 以內。上海長海醫院采用臨床影像分析軟件 Surgimap 2.2.15.4（Nemaris Inc.，美國）測量 Cobb 角的平均時間為 (5.2 ± 0.7) min，使用傳統測量方法的時間為 (8.8 ± 1.5) min[15]，因此單就圖像處理的耗時而言，本文所提出的方法耗時極少，圖像采集后無需等待即可直接獲得測量結果，便利性更高。
2.2.3 立體視覺法與 X 線片測量法的相關性
在臨床中胸彎是最常見的脊柱側彎類型，為進一步評估本文方法，利用統計分析軟件 IBM SPSS Statistics 25.0（IBM Inc.，美國）重點分析 7 位胸彎患者（患者序號：1、3、5、6、8、9、10）的測量結果。雖然 2 號患者的脊柱側彎類型也為胸彎，但如 2.2.2 小節所述，由于該患者的脊柱評估角大于利用其 X 線片所測得的 Cobb 角，不符合大部分數據的變化特征，故作異常值處理，不列入此分析。本文采用配對樣本t檢驗來分析本文方法測量的脊柱評估角和 X 線片測量法所得的 Cobb 角的相關性[16]。由于樣本數量較少，首先采用夏皮羅維爾克檢驗（Shapiro-Wilk test）進行正態性檢驗，如果實驗數據服從正態分布，應有P ≥ 0.05；反之，P ≤ 0.05。7 位受試者用本文方法與 X 線片測量法所得角度的 Shapiro-Wilk 檢驗結果分別為 0.555 和 0.151，均大于 0.05，服從正態分布，因此兩組樣本均滿足配對樣本t檢驗的條件。將兩種方法所得測量結果作為配對樣本數據進行配對樣本t檢驗，置信區間設置為 95%，結果如表6 所示，相關系數為 0.818 且相關系數檢驗的P < 0.05，可知兩種方法所測得的角度之間強相關；配對樣本t檢驗結果的雙尾概率P < 0.05，表明兩種方法測得的角度平均值的差異具有統計學意義。
表6
配對樣本相關性及 t 檢驗結果
Table6.
The results of paired sample correlation and t test
3 結論
由模擬實驗和患者試驗結果可以看出，本文所提方法具有較好的重復性和穩定性。模擬人體實驗結果表明本文方法在原理上是可行的，且具有較好的測量精度，測量誤差均在 ± 3° 以內；患者試驗中得到的脊柱評估角與 X 線片測量所得的 Cobb 角的相關性達 0.818，表明本文所提出的單目立體視覺方法可用于脊柱形態測量，所測得的脊柱評估角能夠用于衡量脊柱畸形的嚴重程度。由于此方法無放射性、不會增加受試者的輻射暴露風險，因此可以供脊柱側凸患者長期使用來監測病情是否發展，同時為醫生制定治療方案提供一定參考。此外，由于本文的測量系統結構簡單、設備成本低，而且非專業人員經由簡單的培訓即可完成棘突標記，無需醫生指導也可以進行測量，因此本文方法可適用于家庭環境下的日常監測。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
引言
脊柱畸形是指脊柱在三個醫學解剖面上偏離正常位置，其在青少年和兒童中發病率較高，會給少年兒童的脊柱健康帶來損害，如果沒有及時發現并進行干預治療，病情將隨著青少年生長期迅速發展，從而影響成年后的肢體外觀甚至引起心肺疾病等多種并發癥[1-2]。目前，針對脊柱形態畸形的評估，在臨床上主要由醫生在患者的冠狀面和矢狀面 X 線片上繪制柯布（Cobb）角來實現[3]。然而，X 線片測量法存在輻射暴露問題，已被證實會顯著增加患者罹患惡性腫瘤的風險，不適用于長期隨訪檢查[4]。因此，國內外學者致力于研究非 X 線測量脊柱形態的方法，如表面形貌 (surface topography，ST) 測量法[5]、核磁共振影像 (magnetic resonance imaging，MRI) 測量法[6]、超聲測量法[7]等。雖然上述方法不具輻射性，但均需要較為龐大的專業設備，并需進行較為復雜的數據處理，而且同目前通用的臨床方法一樣，這些方法都要求患者到醫院等指定地點進行脊柱形態測量，不便于家庭環境下的脊柱形態日常監測和學校大規模的普查，因此不利于對青少年脊柱畸形的早期發現以及治療矯正過程中的隨訪觀察。
視覺測量作為一種有效的測量手段已被廣泛研究，將其應用于人體的脊柱形態測量，不僅能夠避免人工測量誤差、提高效率，還由于此類檢測手段并無放射性從而不會增加受試者的輻射暴露風險[8]。視覺測量系統按采用的相機數量可分為單目視覺系統和多目立體視覺系統[9]。單目視覺系統測量時只需一個相機輔以適當的數據處理算法，具有結構簡單、易于安裝調試、計算量小等優點。Pan 等[10]提出一種用于家庭環境下的基于單目視覺的脊柱評估方法，該方法使用相機采集一幅二維圖像，利用該圖像的邊緣信息檢測人體背部輪廓，將檢測出的四條平滑非連續的輪廓曲線分成兩組，其中一組代表腰部軀干的外輪廓曲線，另一組代表胸部和肩部軀干的外輪廓曲線，然后分別擬合出每組曲線的中心軸，用來表示脊柱形態。該方法無需人工標記，操作人員也無需具備專業的醫學知識，但是由于人體背部外輪廓的中心軸和真實的脊柱形態之間存在明顯差異，因此該方法的測量準確性較低。單一的二維圖像因缺少深度信息，無法提供脊柱在矢狀面中向前彎曲的情況，為了獲得脊柱三維形態信息，Berryman 等[11]開發了一種將結構光技術與單目視覺系統結合的新方法，所測得的臨床參數精度可達 ± 1 mm，但此方法需要專用的結構光投影儀，不僅成本昂貴而且使得圖像處理過程更為復雜。除了上述方法，多目立體視覺系統也可以很好地解決單目視覺系統缺少深度信息這一問題，其采用兩部及以上的攝像機從不同的角度捕獲空間目標，通過立體匹配算法計算出多幅圖像中目標特征點對應的像素點之間的位置偏差，即可計算出空間目標的位置形狀信息和深度信息。其中雙目視覺系統由于存在匹配多義性問題，往往通過增加相機數目來減少錯誤匹配，提高測量的準確性。Zheng 等[12]采用了三目立體視覺系統測量脊柱的三維畸形參數，利用運動平臺在一系列預定義的角度下完成前屈試驗，同時定義了椎間角分離（inter-vertebra angular separation，IVAS）并將其作為新的脊柱畸形評估指標，該指標與 Cobb 角之間呈強線性關系，因此具有一定的可行性和應用潛力。但是因為多目立體視覺系統拍攝目標的視場范圍和測量精度受多部相機安裝相對位置的制約，所以安裝調試要求高，同時多相機的標定工作也極為復雜繁瑣，導致多目立體視覺系統的環境適應性差，在三維脊柱形態測量領域中的應用受限[13]。
為了簡化多目立體視覺系統的結構并快速測量出脊柱的三維形態，本文基于多目立體視覺的幾何原理，采用單個相機從不同角度進行拍攝的方法構建“單相機，多視角”的單目立體視覺系統。該方法首先通過移動單相機使其從多個角度采集多張圖像，然后基于“張正友標定法”[14]，以世界坐標系為基準通過處理棋盤格標定板上的角點數據實時求解相機外參數，獲得每個拍攝位置的相機坐標系相對于世界坐標系之間的位姿關系，再基于雙目立體視覺的三角測距原理，求解出多個拍攝位置間兩兩對應的空間轉換矩陣，最終結合標志點的圖像坐標計算出其在世界坐標系下的三維坐標值。與傳統的多目立體視覺系統相比，本文所設計的測量系統只使用一臺相機，且無需預先設定拍攝點，可選擇任意視角進行拍攝，相機位姿在測量過程中進行動態標定，因此具有結構簡單、便于移動、環境適應性好等優勢，可用于社區、學校、家庭等多種場合下的脊柱側凸普查和患者的長期隨訪，為醫生診斷病情、預測病情發展趨勢、制定治療方案提供參考。
1 基于視覺的脊柱形態測量
1.1 脊柱形態測量方法的醫學原理
在臨床上，醫生通常在 X 線片上繪制 Cobb 角來評估患者脊柱畸形的嚴重程度。Cobb 角測量方法如圖1 左圖所示，在 X 線片上找到脊柱的上、下端椎，即脊柱彎曲部分上部和下部傾斜角最大的椎體，然后在上端椎的上邊緣和下端椎的下邊緣各作一條延長線，這兩條延長線的垂線所形成的夾角即為 Cobb 角，根據幾何關系可知上述兩條延長線形成的角度也是 Cobb 角。若將每個椎體用其軸線線段替代，依次連接相鄰椎體軸線線段，可得到一條由多段折線近似表示的脊柱形態曲線，如圖1 右圖所示，找到多段折線上代表上、下端椎的軸線線段與豎直方向的夾角和，則 Cobb 角可用公式 (1) 表示，具體如式（1）所示：
圖1
Cobb 角示意圖
Figure1.
Schematic of Cobb angle
|
由于椎體大致上左右對稱，每個椎體中央位置均有棘突，兩個相鄰椎體的棘突間連線近似平行于椎體軸線，如圖2 左圖所示，因此本文用棘突間連線代替椎體的軸線，用棘突間連線構成的多段折線來表示脊柱形態。找到多段折線上代表上、下端椎的線段與豎直方向的夾角和，即可計算出近似 Cobb 角的脊柱評估角，如圖2 右圖所示，其計算公式如式 (2) 所示：
圖2
脊柱評估角示意圖
Figure2.
Schematic of spine evaluation angle
|
若脊柱曲線上有多個彎曲，則選擇計算出的最大脊柱評估角作為最終結果來評估脊柱形態，即只考慮主彎。
1.2 基于“單相機，多視角”的脊柱形態測量算法原理
通過觸摸人體后背皮膚可以確定棘突位置，然后在棘突處貼設標志點來標記棘突位置，最終利用相機標定技術獲得標志點在世界坐標系中的坐標值。相機投影矩陣，表示的是一幅圖像中標志點的像素坐標和其所對應的空間坐標之間的關系，如式 (3) 所示：
|
式中，s是世界坐標系到圖像坐標系的尺度因子；是第i個標志的像素坐標的齊次矩陣；是第i個標志的空間坐標的齊次矩陣；是投影矩陣，利用“張正友標定法”確定相機的內、外參數進而可得出該投影矩陣，然后根據投影點的圖像坐標即可計算出標志點的空間坐標。的計算如式 (4) 所示：
|
式中，是相機的內參數，在首次使用時通過標定獲得；為相機外參數，在每次拍攝后通過實時動態標定得到。求解公式 (3) 所得三元方程組如式 (5) 所示：
|
式中，ui 和 vi 分別代表第 i 個標志所處圖像坐標的行數與列數，Xi、Yi、Zi 代表第 i 個標志所處的空間坐標值；m 代表相機參數矩陣中的元素。本文使用單相機從不同角度拍攝多幅圖像，再由多幅圖像求解公式 (5) 中的 ，用矩陣表示公式 (5) 的結果如式 (6) 所示：
|
式中，是圖像序號。其中，使用多幅圖像進行計算的目的是減少由某幅具有較大誤差的圖像帶來的影響。
1.3 三維脊柱形態視覺測量系統的開發
為了實時獲取相機外參數，參考“張正友標定法”，將世界坐標系建立在平面棋盤格上。世界坐標系如圖3 所示，其原點為 O，X 軸和 Y 軸分別平行于棋盤格的兩條垂直邊，Z 軸垂直于棋盤平面，由于本文方法規定了棋盤格的大小和邊長，所以棋盤格中角點的空間坐標也隨之確定。在使用本文方法進行測量時首先需要將平面棋盤格固定在墻面上。在每次拍攝時，利用棋盤格上角點坐標信息實時求解相機拍攝時的外參數，進而利用公式 (6) 計算標志中心的空間坐標，獲得標志空間坐標后即可根據公式 (2) 計算脊柱評估角。
圖3
測量系統示意圖與流程圖
Figure3.
Schematic and flow chart of the measurement system
每次測量時，首先由脊柱科醫生或經過醫師培訓的無臨床經驗的人員在受試者的棘突處貼設直徑為 8 mm 的圓形標志，標記完成后讓受試者面對墻面站立在棋盤格附近；然后操作人員使用單個相機從不同的角度對患者后背上的標志和墻上棋盤格進行拍攝，再將所采集圖像導入程序進行處理得出測量結果。由于臨床上通常利用正面 X 線片和側面 X 線片測量 Cobb 角來評估患者冠狀面和矢狀面的脊柱畸形，因此為了便于后續對 X 線片測量法和本文所提方法進行比較，受試者站立時應盡量使人體冠狀面與固定棋盤格的墻面保持平行，令世界坐標系的XOY平面平行于人體冠狀面，YOZ平面平行于人體矢狀面。
圖像采集所需設備如下：① 一臺相機：對相機類型沒有要求，可以是家庭用數碼相機或工業相機，也可以是智能手機的自帶相機，相機的分辨率不低于 1280 × 720；② 6 × 8 的棋盤格一張，每個方格邊長為 20 mm；③ 若干直徑為 8 mm 圓形標記點。
本文測量方法有如下三個優點：① 通過簡單培訓即可使無臨床經驗的人員掌握貼設棘突標記的方法，貼設準確性可滿足本試驗要求；② 系統的所有設備成本低廉且容易獲取，系統搭建簡便快捷，大大提高了測量的便利性；③ 整個測量過程安全無輻射，不會增加受試者的輻射暴露風險，同一受試者可進行多次測量。綜上所述，本方法的圖像采集地點不局限于醫院，測量可由經過培訓的非專業人員進行，可用于日常生活中長期監測患者的脊柱形態變化。
1.4 單相機立體視覺方法的有效性
為了驗證本文所提方法的準確性和可重復性，分別進行了平面曲線測量實驗和模擬人體背部測量試驗。
1.4.1 平面曲線裝置實驗
平面曲線實驗裝置如圖4 所示，在平板 a 上首先貼一張坐標紙，再將一系列圓形標志貼在坐標紙上模擬表示一條脊柱曲線，由于棘突之間距離約 20～30 mm，所以將標志之間的距離也設置為 20～30 mm；然后在另一塊平板 b 上粘貼棋盤格；最后將兩塊平板成一定傾角固定，并將平板 b 固定在墻面上。此時標志構成的離散曲線在XOY平面和YOZ平面上的投影均為一條曲線，測量出兩塊平板之間的角度后，即可用三角函數推導出標志點在如圖4 所示的世界坐標系中的坐標，繼而計算出冠狀面和矢狀面的實際脊柱評估角分別為 78.09° 和 14.62°。為了研究圖幅數量對結果的影響，分別使用 2～8 幅圖像進行七組實驗，并分析比較七組實驗的計算結果。每組實驗中，從不同角度拍攝相應數量的圖像進行 12 次重復實驗來驗證本文所提方法的可重復性。
圖4
平面曲線裝置
Figure4.
The device of plane curve
測量結果如表1 所示，誤差是每個平面中實際脊柱評估角與測量值之間的差值，max(εxoy)和 max(εyoz) 代表了重復實驗中XOY平面和YOZ平面計算的脊柱評估角誤差的最大值，用于評價本文方法的準確性；均方差σxoy和σyoz描述了測量值的離散程度，用于衡量本文方法的可重復性。從表1 可以看出整體上εxoy比εyoz小，σxoy均在 1° 以內，表明XOY平面的測量數據更加準確、可重復性更好。當用于處理計算的圖幅數量不少于五幅時，εxoy基本在 1° 之內，εyoz均在 2° 之內；此時σyoz也均在 1° 以內，表明同組實驗中重復實驗的重復誤差結果波動較小。
表1
不同數量圖像計算結果
Table1.
Results obtained from different numbers of images
此外，為了保證每次拍攝的后背脊柱變形一致，在實際拍攝過程中需要受試者保持靜止不動，然而隨著拍攝圖幅數量增多，其耗時也越長，受試者身體晃動的可能性越大，從而導致不同位置拍攝到的后背脊柱變形有差距，因此拍攝的圖幅數量不宜過多。綜合考慮，選擇從五個角度拍攝圖像來進行測量。
在臨床上使用 X 線片測量法時，因操作者經驗不同以及其對 X 線片圖像解剖標志的判斷差異，測量結果也會有較大差距，因此在臨床診斷中 Cobb 角允許的測量誤差范圍為 ± 5° 以內。上述平面曲線裝置實驗結果表明，使用五幅圖像進行圖像處理與計算時，本文所用方法的測量誤差不超過 ± 2°，因此本文采用的測量方法在原理上有效可行，可以為醫生評估脊柱形態提供可信參考。
1.4.2 人體模型裝置實驗
由于平面曲線裝置與實際人體后背的復雜曲面有明顯差異，因此為了更接近本文所提測量方法的實際應用場景，使用與真實人體顏色、形狀和尺寸更為接近的人體模型進行皮膚表面標記實驗。然而人體模型質地堅硬，無法發生變形來模擬脊柱畸形的背部形態，也無法通過觸摸確定棘突位置，因此我們在人體模型后背處按照可能出現的脊柱畸形形態來貼標志，相鄰標志之間的距離約 20～30 mm。將貼好標志的模型正面面對墻壁，并在墻上固定棋盤格，如圖5 所示。根據 1.4.1 的實驗結果，用相機從五個不同的角度拍攝同時包含模型后背和棋盤格的圖片，然后將圖像導入程序進行處理和計算，得到冠狀面和矢狀面的脊柱評估角。一共進行五組實驗，每組實驗中人體模型后背上由標志點構成的曲線形狀各不相同，每組實驗均進行 12 次，來驗證本文方法的可重復性。
圖5
人體模型實驗
Figure5.
Human body model experiment
本文首先使用三坐標測量裝置測得每組曲線中所有標志點的空間坐標，由此計算出該曲線的實際脊柱評估角度，測量三次求平均值作為最終結果，結果如表2 所示。
表2
標志曲線的實際角度
Table2.
Actual angle of the marker curve
使用本文方法的計算結果如表3 所示，從圖中可知冠狀面脊柱評估角的誤差 εxoy 均在 ± 2° 以內，矢狀面脊柱評估角的誤差 εyoz 在 ± 2.8° 以內，綜合誤差不超過 ± 3°，說明本方法在近似實際情況的場景中具有較好的準確性。此外，冠狀面均方差 σxoy 均在 0.6° 以內，矢狀面均方差 σyoz 均在 1.4° 以內，說明本方法在近似實際情況的場景中具有較好的穩定性。
表3
人體背部模型實驗結果
Table3.
Results of the human back model experiment
通過與 1.4.1 的模擬實驗對比發現，人體模型實驗結果稍大于平面曲線裝置實驗結果，這是由于人體模型實驗中標志點位于復雜曲面而非光滑的平面，拍攝到的標志輪廓變得不規則，同時標志表面的陰影亮度也隨之不同，因此在該環境下提取標志會產生誤差，進而影響脊柱評估角的測量結果準確性。
綜上所述，本文所提出的測量方法具有較好的準確性和可重復性，測量誤差在允許范圍內，可用于脊柱形態測量。
2 醫學試驗驗證
2.1 試驗方法
為了驗證基于視覺的脊柱形態測量方法的可靠性，將本文方法應用于臨床脊柱形態測量，對脊柱畸形患者進行試驗并分析試驗結果。本研究共招募了在上海長海醫院脊柱外科就診的 10 名脊柱側凸患者（8 名女性，2 名男性）作為研究對象，所有受試者均知情并自愿參加試驗。本次研究通過了第二軍醫大學生物醫學研究倫理委員會的審查，并取得了醫學倫理審查表。
對每位受試者在同一天內進行 9 次重復試驗，試驗的圖像采集裝置是 CCD 數字相機（MER-132-43U3M/C，北京大恒圖像視覺有限公司，中國）。進行試驗時，患者呈自然站立狀態，醫生首先在患者后背上通過觸摸找到棘突位置并貼標志；然后讓患者面對墻壁站立，提前在患者站立位置附近的墻面上固定平面棋盤格，使用相機對患者和棋盤格從不同的角度進行拍攝，拍攝圖像如圖6 所示。
圖6
脊柱側彎患者試驗
Figure6.
Scoliosis patient test
2.2 試驗結果
2.2.1 立體視覺法的可重復性
針對每位患者的 9 次重復試驗的測量結果如表4 所示，和分別代表每位患者在冠狀面和矢狀面 9 次測量脊柱評估角的平均值；σxoy 和σyoz分別代表每位患者 9 次測量脊柱評估角的冠狀面均方差和矢狀面均方差。其中冠狀面和矢狀面均方差最大值 max(σxoy) 和 max(σyoz) 分別為 2.01° 和 3.85°，證明本方法在實際應用中具有較好的穩定性，且冠狀面穩定性比矢狀面更好。
表4
所有受試者的脊柱評估角的平均值及均方差
Table4.
The mean and standard deviation of the spine evalua tion angle for all subjects
2.2.2 立體視覺法與 X 片法測量參數的比較
由于患者拍攝側位 X 片時的身體姿態與本文試驗所采用的站立姿態不同，且上海長海醫院在進行矢狀面測量時所采用的參數是胸椎后凸角 (thoracic kyphosis，TK)、胸腰后凸角 (thoracolumbar kyphosis，TLK) 和腰椎前凸角 (lumbar lodorsis，LL)，屬于椎體前部畸形，與棘突所代表的椎體后部畸形在測量原理上差別較大，因此僅對每位患者用本文方法所測得的冠狀面脊柱評估角的平均值和從患者正位 X 線片中測量所得的 Cobb 角進行比較，以此研究本文所提方法與 X 線片測量法之間的差異。兩種方法測量的角度結果如表5 所示，數據呈現出一定的規律性，其中除了 2 號患者試驗數據的差值為正值以外，其他試驗的差值數據均為負，說明單目立體視覺方法測量的脊柱評估角一般比 X 線片測量法所得的 Cobb 角小，造成這一差異的主要原因可能是由于脊柱側凸的同時會引起椎體的軸向旋轉，且旋轉方向一般偏向脊柱彎曲的凹側。
表5
兩種方法所得角度比較
Table5.
Comparison of the angles obtained by two methods
脊柱側彎按主彎所在位置可大致分為胸彎、胸腰彎、腰彎三種，根據 X 線片診斷結果所示，本試驗中 8 位受試者的主彎為胸彎，4 號受試者與 7 號受試者的主彎為腰彎。所有試驗中 4 號腰彎受試者的測量誤差值最大，通過分析該患者的 X 片和相機拍攝的帶有標志點的圖像，本研究發現標志點所形成的曲線與 X 片中的脊柱中線有較大差異，由此分析針對腰彎的脊柱形態測量產生較大誤差的原因可能是腰彎中脊柱彎曲處沒有肋骨的支撐，更容易發生椎體軸向旋轉，導致本文方法中用棘突連線表示的脊柱曲線與 X 線片測量法中用椎體所表示的脊柱曲線差異較大。
脊柱形態測量耗時也是影響日常監測便利性的一大因素，因此本研究也對比了本文試驗方法與 X 線片測量法的耗時情況。本文患者試驗耗時包括三個部分：① 標志點貼設耗時：標志均由脊柱科醫生觸診貼設，耗時均不超過 5 min；② 圖像采集耗時：單個患者圖片每次采集 5 張圖像，一共采集 9 組，進行 9 次重復實驗，每組圖像采集耗時均不超過 2 min；③ 圖像處理及輸出測量結果耗時：圖像選擇、相機外參數計算及脊柱形態角度由計算機程序依次計算輸出，本文實驗中 10 位受試者的程序運行時長均不超過 1 min。從布置試驗場景到獲得試驗結果，每位患者 9 組實驗的總時長均在 15～30 min 以內。上海長海醫院采用臨床影像分析軟件 Surgimap 2.2.15.4（Nemaris Inc.，美國）測量 Cobb 角的平均時間為 (5.2 ± 0.7) min，使用傳統測量方法的時間為 (8.8 ± 1.5) min[15]，因此單就圖像處理的耗時而言，本文所提出的方法耗時極少，圖像采集后無需等待即可直接獲得測量結果，便利性更高。
2.2.3 立體視覺法與 X 線片測量法的相關性
在臨床中胸彎是最常見的脊柱側彎類型，為進一步評估本文方法，利用統計分析軟件 IBM SPSS Statistics 25.0（IBM Inc.，美國）重點分析 7 位胸彎患者（患者序號：1、3、5、6、8、9、10）的測量結果。雖然 2 號患者的脊柱側彎類型也為胸彎，但如 2.2.2 小節所述，由于該患者的脊柱評估角大于利用其 X 線片所測得的 Cobb 角，不符合大部分數據的變化特征，故作異常值處理，不列入此分析。本文采用配對樣本t檢驗來分析本文方法測量的脊柱評估角和 X 線片測量法所得的 Cobb 角的相關性[16]。由于樣本數量較少，首先采用夏皮羅維爾克檢驗（Shapiro-Wilk test）進行正態性檢驗，如果實驗數據服從正態分布，應有P ≥ 0.05；反之，P ≤ 0.05。7 位受試者用本文方法與 X 線片測量法所得角度的 Shapiro-Wilk 檢驗結果分別為 0.555 和 0.151，均大于 0.05，服從正態分布，因此兩組樣本均滿足配對樣本t檢驗的條件。將兩種方法所得測量結果作為配對樣本數據進行配對樣本t檢驗，置信區間設置為 95%，結果如表6 所示，相關系數為 0.818 且相關系數檢驗的P < 0.05，可知兩種方法所測得的角度之間強相關；配對樣本t檢驗結果的雙尾概率P < 0.05，表明兩種方法測得的角度平均值的差異具有統計學意義。
表6
配對樣本相關性及 t 檢驗結果
Table6.
The results of paired sample correlation and t test
3 結論
由模擬實驗和患者試驗結果可以看出，本文所提方法具有較好的重復性和穩定性。模擬人體實驗結果表明本文方法在原理上是可行的，且具有較好的測量精度，測量誤差均在 ± 3° 以內；患者試驗中得到的脊柱評估角與 X 線片測量所得的 Cobb 角的相關性達 0.818，表明本文所提出的單目立體視覺方法可用于脊柱形態測量，所測得的脊柱評估角能夠用于衡量脊柱畸形的嚴重程度。由于此方法無放射性、不會增加受試者的輻射暴露風險，因此可以供脊柱側凸患者長期使用來監測病情是否發展，同時為醫生制定治療方案提供一定參考。此外，由于本文的測量系統結構簡單、設備成本低，而且非專業人員經由簡單的培訓即可完成棘突標記，無需醫生指導也可以進行測量，因此本文方法可適用于家庭環境下的日常監測。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
