在反復實驗和不斷研究改進的基礎上,本文提出了一種高效的基于視頻圖像處理技術的髖、膝運動速度和位移的測定方案。以專門設計的24個均勻分布于兩同心圓上的圓環點和兩個可沿同心圓公共圓心隨意在豎直平面內旋轉的直桿作為基本測量輔助物,通過在康復訓練床面一側所安裝的攝像頭,基于簡化的攝像機針孔投影模型和快速單幀視頻感興趣區域檢測和分析技術,本方案可以對髖、膝的兩維位移和速度進行實時、準確的定量測量。經過實驗測試,本文所提出方案基本能夠滿足該類系統測量精度和處理速度的需求,完全可以作為一種先進、直觀的輔助手段應用到肌肉/平衡功能障礙的智能化評定/訓練治療系統中。
引用本文： 陳兆學, 趙航, 鄭建立, 安美君, 徐秀林, 陳文歡. 基于視頻圖像處理的髖、膝運動速度和位移的測定方法研究. 生物醫學工程學雜志, 2014, 31(6): 1223-1228. doi: 10.7507/1001-5515.20140232 復制
版權信息： ?四川大學華西醫院華西期刊社《生物醫學工程學雜志》版權所有，未經授權不得轉載、改編
引言
在針對肌肉/平衡功能障礙的智能化評定/訓練治療系統中，對于髖、膝運動速度以及位移的實時測量常常是通過精心安裝的位移傳感器來實現的。由于傳感器安裝位置的局限，在實際應用過程中這種測量方法往往只能對髖、膝運動在一維豎直方向的位移和速度進行測量，一般難以對它們的空間運動狀態實行全面、直觀的定量測量和評價，因而存在一定的局限性。
視頻圖像具有直觀、安裝維護方便以及信息量豐富等特點，在對訓練場景和狀態進行錄像的同時若能從實時視頻中同時檢測髖、膝的運動狀態與信息，則可對肌肉/平衡功能障礙患者的訓練治療效果實現系統而全面的評定，從而大大擴展系統的功能和性能。基于視頻監測的方式，研究在評定/訓練治療系統中進行髖、膝運動速度和位移的實時測量方法無疑具有非常重大的實用價值和發展前景。
作為基于針孔投影模型所采集的圖像序列，視頻圖像是真實訓練場景的二維平面投影，要實現其中髖、膝部位準確的位移和速度測量，一般首先需要借助精心選擇的場景景物或特殊設計的標定輔助物實現攝像機內外參數的標定[1-2]，以建立客觀世界的坐標系和圖像坐標系的映射關系，在此基礎上才可能進一步對相關目標的運動狀態進行測量。無論是在攝像機標定的過程中，還是在實際測量的過程中，都需要通過數字圖像處理技術對視頻幀進行處理以獲得相關目標必要的圖像特征。由于視頻采集和回放速度比較快，在實際測量過程中所產生視頻圖像數據量非常龐大，要從視頻圖像序列中對髖、膝運動參數進行實時、有效地在線測量，需要對標定輔助物和圖像處理算法進行精心設計，同時需要在測量精度和算法執行效率之間進行必要的權衡和取舍[3-4]。
在對所研究問題進行仔細分析并在反復實驗和不斷改進的基礎上，本文提出了一種實時、高效的基于視頻圖像處理技術的髖、膝運動速度和位移測定方案。在專門設計的測量標定輔助物的輔助下，基于在床面一側所安裝的攝像頭，本方案可以對髖、膝的兩維位移和速度進行實時、準確的定量測量。經過初步的實驗測試，本文所提出方案基本能夠滿足該類系統測量精度和速度的需求，完全可以作為一種先進、直觀的輔助手段應用到肌肉/平衡功能障礙的智能化評定/訓練治療系統中。
1 攝像機標定和輔助監測目標的選取及特點
為了有效實現訓練過程中髖、膝運動速度和位置的測定，經過反復地理論分析和實驗驗證，本文選擇如圖 1所示的結構作為攝像機標定和輔助監測目標，其中以兩組24個沿圓周均勻分布的半徑為2∶1的同心圓環點和兩個精心設計的可沿同心圓圓心隨意在豎直平面內旋轉的直桿作為基本的測量輔助物。在實際使用過程中，將兩直桿采用特殊設計的綁帶分別固定于大腿與小腿上，兩直桿的交點也即兩組同心圓環點共同的圓心點組成的機構即可動態反映髖、膝的位移、運動及速度狀態。毫無疑問，圓心的位置可動態反映髖、膝的位移和速度。由于在實際訓練過程中，患者沿圓環所在豎直平面內的膝部的運動足以反映患者膝部關節的功能狀態。為了降低算法設計的復雜性并改善系統測量的實時性能，本文方法只測量膝蓋中心部位在豎直平面內的相關位移和速度，而對于訓練過程中沿圓環所在平面法方向的位移和速度不予考慮。
圖1
髖、膝運動速度和位置測定標定輔助物
Figure1.
Auxiliary calibration target for velocity & position measurement of the coxa and knee
事實上，該輔助裝置的選取和使用具有相當的優越性和方便性。基于如圖 1所示的裝置只需要一幀圖像即可實現髖、膝位置的測量，而在多幀圖像持續回放的情況下即可實現髖、膝運動狀態的動態測量。這不但可以避免不同幀圖像在圖像處理和參數測量過程中的互相干擾和影響，提高測量系統的穩定性和效率，同時也可有效解決圖像處理算法執行與系統實時視頻采集之間速度不匹配的問題，便于實現髖、膝實時運動參數的監測，并為系統實時性能的改進預留了相當的發展空間和潛力。基于該測量裝置輔以專門設計的攝像及標定和檢測方法即可對髖、膝靜止位置或運動狀態進行實時、有效的測量，可以非常方便地為訓練系統的功效評定提供與實時視頻播放同步的參考數據。
2 基于兩組同心圓環點檢測的攝像機標定和髖、膝運動狀態測量方法
2.1 攝像機模型
根據針孔成像原理，在不考慮透鏡畸變和光心偏移的情況下，假定攝像機在不同方向上像點的物理坐標到圖像坐標的比例系數f保持一致，則世界坐標系下點P(XW,YW,ZW)與其對應的圖像映射點p(u,v)之間滿足式(1)所表述的透視幾何關系，其中R是一個3×3的旋轉矩陣，T是平移矩陣，它們是攝像機的外參數，定義了世界坐標系與攝像機坐標系的轉換關系。而S為任意常數，K為內參數矩陣。
| $S\left| {\matrix{ u \cr v \cr 1 \cr } } \right| = K\left[ {R,T} \right]\left| \matrix{ {X_W} \hfill \cr {Y_W} \hfill \cr {Z_W} \hfill \cr} \right| = \left| {\matrix{ f & 0 & 0 \cr 0 & f & 0 \cr 0 & 0 & 1 \cr } } \right|\left[ {R,T} \right]\left| \matrix{ {X_W} \hfill \cr {Y_W} \hfill \cr {Z_W} \hfill \cr} \right|$ |
在攝像機固定，而標定物不斷自由移動的情況下，可以設定世界坐標系與攝像機坐標系重合，此時R=I，I為單位陣，T=0，則式(1)變為
| ${Z_W}p\prime = {Z_W}\left| \matrix{ u \hfill \cr v \hfill \cr 1 \hfill \cr} \right| = K\left| \matrix{ {X_W} \hfill \cr {Y_W} \hfill \cr {Z_W} \hfill \cr} \right| = \left| {\matrix{ f & 0 & 0 \cr 0 & f & 0 \cr 0 & 0 & 1 \cr } } \right|\left| \matrix{ {X_W} \hfill \cr {Y_W} \hfill \cr {Z_W} \hfill \cr} \right| = KP,$ |
其中p′為圖像點P的齊次坐標(以下描述皆按照此約定)。本文所提出的標定方法就是建立在式(2)所描述的透視幾何關系下，將其約簡后該模型可用公式等價表達為
| $\left\{ \begin{align} & u=f\frac{{{X}_{W}}}{{{Z}_{W}}}~ \\ & v=f\frac{{{Y}_{W}}}{{{Z}_{W}}} \\ \end{align} \right.$ |
2.2 基于單幀圖像的攝像機參數標定和髖、膝運動速度、位移的計算方法
很明顯，式(2)和式(3)所表達的攝像機模型是最為簡化的針孔投影模型，在攝像機標定的過程中只需要標定一個內參數f和一個外參數ZW即可。雖然基于此簡化模型的標定和測量精度存在一定局限，但就本文所研究問題而言，由于要求精度并不高，采用該簡化模型足以滿足實際測量的需要。更為重要的是，由于標定參數的減少，使得基于單幀視頻圖像同時實現攝像機標定和圓環中心點的位置、速度的測量成為可能，易于實現髖、膝運動狀態的實時監測。
為了模型表達和求解的方便性，本文在攝像機標定參數的求取過程中，將兩同心圓環看成是相應圓點所在的一維直線段圍繞兩圓環共同圓心點轉動所成，如圖 2所示，其中O為攝像機光心，假設C和B分別為所選定標的輔助物內、外圓環上共線圓點的中心點，而A為兩圓環共同的公共圓心，并假設它們在圖像平面中的投影點分別為c、b、a。可知線段AB長度即所選定標的輔助物大圓環的半徑R，而AC則對應其中小圓環的半徑r=R/2，可有關系式：
圖2
標定輔助物及其圖像平面投影
Figure2.
Auxiliary calibration target and its projection on image plane
| $‖B-A‖=R ,$ |
| $C={{\lambda }_{A}}A+{{\lambda }_{B}}B$ |
其中λA=λB=0.5。假定A、 B、 C三點的空間深度即Z軸方向坐標分別為ZWA、ZWB、ZWC，基于式(2)，有：
| $C={{\lambda }_{A}}A+{{\lambda }_{B}}B~A={{Z}_{WA}}{{K}^{-1}}a\prime ,B={{Z}_{WB}}{{K}^{-1}}b\prime ,C={{Z}_{WC}}{{K}^{-1}}C\prime \text{ },$ |
將其代入式(5)得：
| ${{Z}_{WC}}c\prime ={{Z}_{WA}}\lambda Aa\prime +{{Z}_{WB}}{{\lambda }_{Bb\prime \text{ }}},$ |
兩邊都消去K-1并都叉乘c′，有：
| $0={{Z}_{WA}}\lambda A\left( a\prime \times c\prime \right)+{{Z}_{WB}}{{\lambda }_{B}}(b\prime \times c\prime )$ |
因此有：
| ${{Z}_{WB}}=-{{Z}_{WA}}\frac{{{\lambda }_{A}}\left( a\prime \times c\prime \right)\cdot \left( b\prime \times c\prime \right)}{{{\lambda }_{B}}\left( b\prime \times c\prime \right)\cdot \left( b\prime \times c\prime \right)},$ |
另，從式(4)和式(6)有：
| ${{K}^{-1}}({{Z}_{WB}}b\prime -{{Z}_{WA}}a\prime )=R\text{ },$ |
將式(9)代入式(10)得：
| ${{Z}_{WA}}\|{{K}^{-1}}(a\prime +\frac{{{\lambda }_{A}}\left( a\prime \times c\prime \right)\cdot \left( b\prime \times c\prime \right)}{{{\lambda }_{B}}\left( b\prime \times c\prime \right)\cdot \left( b\prime \times c\prime \right)}b\prime )\|=R\text{ },$ |
該式等價于：
| ${{Z}_{WA}}^{2}hT{{K}^{-T}}{{K}^{-1}}h={{R}^{2}}$ |
其中，而K-TK-1描述了圖像的絕對二次曲線[5-7]，在本文所采用的簡化模型前提下滿足K-TK-1=
令h=(h1,h2,h3)T，則展開式(12)，有：
| ${{Z}_{WA}}^{2}{{f}^{2}}({{h}_{1}}^{2}+{{h}_{2}}^{2})+{{Z}_{WA}}^{2}{{h}_{3}}^{2}={{R}^{2}},$ |
上式是一個只含有兩個未知數ZWA和f的二次方程，實際上可通過直接參數代換轉化為一個二元一次方程，因此若能同時已知兩條具有同一固定點A的兩條半徑，即可求出相應未知數，實現攝像機的標定。事實上，本文所選定的標定輔助物單幀圖像即能滿足此條件，但需說明的是，由于標定輔助物為平面同心圓環，以圓環共同圓心A為固定點雖然可以找到12條互相滿足條件的直線段，但事實上真正能提供的約束只相當于兩條直線段，這是因為在空間位置和方向確定的具有類似固定點A的兩條直線段及其在圖像中投影點位置和方向已知的情況下，其它類似的任一共面直線段投影點的位置和方向可以基于其與兩已知直線段的夾角通過射影幾何關系唯一確定，因此多余的直線段并不能提供新的起作用的約束條件，但可以增加求解過程的穩定性。此外，從式(3)可以看出，在攝像機標定過程中，若f與ZWA按照相同比例系數進行數值放縮時，所得到的各圖像點投影坐標位置將保持不變。因此，基于此簡化模型采用本文所提出的平面標定輔助物和單幀視頻圖像進行攝像機標定的過程中，對于空間物理距離的求取，即使可以求解模型得到f與ZWA的精確數值，也只能使用它們的比值，而不能將標定所得的數據作為它們在物理世界中的真實數值。
在訓練評價系統中，由于攝像頭往往是按水平方向近似固定安裝的，在一次測量過程中，其位置和方向維持不變，則測量過程中標定輔助物兩圓環的中心點A也即膝蓋位置的深度值ZWA基本保持不變。令平行于成像平面且深度為ZWA的平面與攝像機光軸的交點為E=(XWE,YWE,ZWA)，在不考慮光心偏移和攝像機鏡頭畸變的情況下，E點在圖像平面中的投影點e：(uE,vE)=(fZWAXWE,fZWAYWE)恰為圖像中心，且其真實空間位置在測量過程中也維持不變。這樣，以E作為基準就可以通過特定幀圖像標定過程所得到的f與ZWA的比例關系按照該幀圖像中a點坐標相對于e的位置確定物理空間中A點相對于E點的平面位移量(ΔXAE,ΔYAE)。因此根據前面的論述不難得出
| $\left\{ \begin{align} & \Delta {{X}_{AE}}={{Z}_{WA}}f\Delta {{u}_{ae}} \\ & \Delta {{Y}_{AE}}={{Z}_{WA}}f\Delta {{v}_{ae}}~ \\ \end{align} \right.,$ |
其中Δuae和Δvae分別為圖像幀中圓環中心點即膝蓋與圖像中心點分別在u、v方向的偏移距離。進一步在膝蓋位移已經求得的情況下，若已知相鄰兩測量幀的時間間隔為Δt，則容易求出其瞬時速度為
| ${{V}_{X}}=\frac{\Delta {{X}_{AE}}}{\Delta t},{{V}_{Y}}=\frac{\Delta {{Y}_{AE}}}{\Delta t},$ |
而髖骨的瞬時速度和位移只需分別取Y方向的分量ΔYAE和VY即可。
3 圓環點的檢測
上文所引入的攝像機標定和髖、膝運動狀態測量方法是以標定輔助物中各圓環點的魯棒檢測和識別為基礎的，因此有必要基于標定輔助物的具體特點研究魯棒性好、高效的圓環點的圖像處理和檢測算法。由于本文所用標定輔助物是經過精心選擇和設計的，感興趣區域在復雜場景中成像對比度較好，雖然容易定位和識別，但由于環境噪聲的影響和攝像機成像精度的局限，要想對感興趣區域以常規方法進行實時、準確地自動提取較為不易。在實驗的基礎上，本文提出了基于距離變換和方向濾波的標的物實時檢測算法，有效實現了所有感興趣區域的快速提取，算法處理基本流程如圖 3所示。
基于本文所提出的攝像機標定和髖、膝位置計算方法，只需一幀圖像即可實現相關參數的測量，同時也減少算法設計的復雜性，在圖像處理和感興趣
圖3
標定的輔助物圖像處理與檢測流程
Figure3.
Image process and detection flowchart for the auxiliary calibration target
區域目標檢測過程中也只基于視頻圖像序列中某一 個單幀圖像進行相關處理和算法研究。
關于內外圓環點的檢測，首先需要對所采集的圖像幀基于OSTU方法進行二值化，如圖 4所示，在二值化基礎上基于文獻[8]所提出的快速連通區域標記算法進行各連通區域的標記并進一步對各區域進行面積和形狀濾波，得到只包含所有圓環點和少數隨機分布的離散區域在內的二值圖像。然后計算所有剩余二值區域的幾何中心，并分別以每一幾何中心為基準，統計各幾何中心距離所選定基準幾何中心點之間的距離，進行所謂距離變換。由于標定輔助物內、外圓環上連通區域的數目都是12個，基于這一特性對于距離變換所得的數據進行分析即可檢測出兩圓環公共圓心點以及所有24個圓環點的幾何中心及其位置，同時可通過連通區域數目濾波方法濾除掉其它隨機離散區域的干擾，實際可基于在特定距離區間內連通區域的數目予以區別和判斷。各圓環點及公共圓心點的最終檢測結果如圖 4 所示。
圖4
標定輔助物圖像中各圓環點及兩同心圓公共圓心點檢測結果示例
Figure4.
Example of detection result on each circle point on the ring and common center of two concentric circles in the auxiliary calibration target
4 實驗分析與展望
為了檢測本文所提出的圖像處理、標定和測量等一整套算法的速度和有效性，我們對整套方案以VC++ 6.0為開發工具進行具體實現，在沒有采用任何程序優化或硬軟加速措施的情況下，在具有2.4 GHz AMD SempronTM X2 180 Processor和2 GB內存配置的PC機上能夠實現5 幀/秒的圖像處理和在線數據測量，位置的精確度≤±5 mm。考慮到相關患者在訓練時運動速度較慢且對精度要求不是很高，故完全可滿足訓練系統對髖、膝運動速度、位移數據實時監測的需求和對相關數據精度的要求。
實驗過程中所構建的檢測實驗系統可以實時顯示訓練過程視頻和當前幀所對應的實時監測參數值。由于作為Demo版系統開發，本實驗系統尚未實現對實時檢測數據集成到平衡訓練系統中進行保存和分析，這在未來的工作中結合產品開發具體情況將不難予以實現。
需要特別注意，為保證檢測算法的實時性和有效性，在本實驗系統算法設計的各個環節，都采取了盡可能簡單、快速、有效的算法予以實現。在研究過程中針對研究目的需要對各種方法不斷進行探索和比較，在可靠性和實時性之間進行了全方位優化和平衡。即便如此，在復雜環境噪聲、攝像機成像噪聲以及成像距離和攝像機安裝角度等多種隨機因素的協同干擾和影響下，在實驗中仍發現，只有在特定的角度和距離范圍內該系統能對95%以上所采集的圖像幀實現有效計算和檢測，但在另外一些情況下則難以維持這么高的有效檢測率，因此在未來研究中需要對具體訓練環境的光照條件以及拍攝角度等限制因素進行實驗和探索，給出具體的約束條件和指標，同時在已有探索和實踐基礎上對其中圖像處理和測量算法進行必要的優化和改進，以進一步增強該方案實施的可靠性和精度，開發更為優秀、精確的髖、膝位置和角度測量方法，以增強測量和評定系統的效能，從而更好地為人類的康復事業與技術發展服務。
引言
在針對肌肉/平衡功能障礙的智能化評定/訓練治療系統中，對于髖、膝運動速度以及位移的實時測量常常是通過精心安裝的位移傳感器來實現的。由于傳感器安裝位置的局限，在實際應用過程中這種測量方法往往只能對髖、膝運動在一維豎直方向的位移和速度進行測量，一般難以對它們的空間運動狀態實行全面、直觀的定量測量和評價，因而存在一定的局限性。
視頻圖像具有直觀、安裝維護方便以及信息量豐富等特點，在對訓練場景和狀態進行錄像的同時若能從實時視頻中同時檢測髖、膝的運動狀態與信息，則可對肌肉/平衡功能障礙患者的訓練治療效果實現系統而全面的評定，從而大大擴展系統的功能和性能。基于視頻監測的方式，研究在評定/訓練治療系統中進行髖、膝運動速度和位移的實時測量方法無疑具有非常重大的實用價值和發展前景。
作為基于針孔投影模型所采集的圖像序列，視頻圖像是真實訓練場景的二維平面投影，要實現其中髖、膝部位準確的位移和速度測量，一般首先需要借助精心選擇的場景景物或特殊設計的標定輔助物實現攝像機內外參數的標定[1-2]，以建立客觀世界的坐標系和圖像坐標系的映射關系，在此基礎上才可能進一步對相關目標的運動狀態進行測量。無論是在攝像機標定的過程中，還是在實際測量的過程中，都需要通過數字圖像處理技術對視頻幀進行處理以獲得相關目標必要的圖像特征。由于視頻采集和回放速度比較快，在實際測量過程中所產生視頻圖像數據量非常龐大，要從視頻圖像序列中對髖、膝運動參數進行實時、有效地在線測量，需要對標定輔助物和圖像處理算法進行精心設計，同時需要在測量精度和算法執行效率之間進行必要的權衡和取舍[3-4]。
在對所研究問題進行仔細分析并在反復實驗和不斷改進的基礎上，本文提出了一種實時、高效的基于視頻圖像處理技術的髖、膝運動速度和位移測定方案。在專門設計的測量標定輔助物的輔助下，基于在床面一側所安裝的攝像頭，本方案可以對髖、膝的兩維位移和速度進行實時、準確的定量測量。經過初步的實驗測試，本文所提出方案基本能夠滿足該類系統測量精度和速度的需求，完全可以作為一種先進、直觀的輔助手段應用到肌肉/平衡功能障礙的智能化評定/訓練治療系統中。
1 攝像機標定和輔助監測目標的選取及特點
為了有效實現訓練過程中髖、膝運動速度和位置的測定，經過反復地理論分析和實驗驗證，本文選擇如圖 1所示的結構作為攝像機標定和輔助監測目標，其中以兩組24個沿圓周均勻分布的半徑為2∶1的同心圓環點和兩個精心設計的可沿同心圓圓心隨意在豎直平面內旋轉的直桿作為基本的測量輔助物。在實際使用過程中，將兩直桿采用特殊設計的綁帶分別固定于大腿與小腿上，兩直桿的交點也即兩組同心圓環點共同的圓心點組成的機構即可動態反映髖、膝的位移、運動及速度狀態。毫無疑問，圓心的位置可動態反映髖、膝的位移和速度。由于在實際訓練過程中，患者沿圓環所在豎直平面內的膝部的運動足以反映患者膝部關節的功能狀態。為了降低算法設計的復雜性并改善系統測量的實時性能，本文方法只測量膝蓋中心部位在豎直平面內的相關位移和速度，而對于訓練過程中沿圓環所在平面法方向的位移和速度不予考慮。
圖1
髖、膝運動速度和位置測定標定輔助物
Figure1.
Auxiliary calibration target for velocity & position measurement of the coxa and knee
事實上，該輔助裝置的選取和使用具有相當的優越性和方便性。基于如圖 1所示的裝置只需要一幀圖像即可實現髖、膝位置的測量，而在多幀圖像持續回放的情況下即可實現髖、膝運動狀態的動態測量。這不但可以避免不同幀圖像在圖像處理和參數測量過程中的互相干擾和影響，提高測量系統的穩定性和效率，同時也可有效解決圖像處理算法執行與系統實時視頻采集之間速度不匹配的問題，便于實現髖、膝實時運動參數的監測，并為系統實時性能的改進預留了相當的發展空間和潛力。基于該測量裝置輔以專門設計的攝像及標定和檢測方法即可對髖、膝靜止位置或運動狀態進行實時、有效的測量，可以非常方便地為訓練系統的功效評定提供與實時視頻播放同步的參考數據。
2 基于兩組同心圓環點檢測的攝像機標定和髖、膝運動狀態測量方法
2.1 攝像機模型
根據針孔成像原理，在不考慮透鏡畸變和光心偏移的情況下，假定攝像機在不同方向上像點的物理坐標到圖像坐標的比例系數f保持一致，則世界坐標系下點P(XW,YW,ZW)與其對應的圖像映射點p(u,v)之間滿足式(1)所表述的透視幾何關系，其中R是一個3×3的旋轉矩陣，T是平移矩陣，它們是攝像機的外參數，定義了世界坐標系與攝像機坐標系的轉換關系。而S為任意常數，K為內參數矩陣。
| $S\left| {\matrix{ u \cr v \cr 1 \cr } } \right| = K\left[ {R,T} \right]\left| \matrix{ {X_W} \hfill \cr {Y_W} \hfill \cr {Z_W} \hfill \cr} \right| = \left| {\matrix{ f & 0 & 0 \cr 0 & f & 0 \cr 0 & 0 & 1 \cr } } \right|\left[ {R,T} \right]\left| \matrix{ {X_W} \hfill \cr {Y_W} \hfill \cr {Z_W} \hfill \cr} \right|$ |
在攝像機固定，而標定物不斷自由移動的情況下，可以設定世界坐標系與攝像機坐標系重合，此時R=I，I為單位陣，T=0，則式(1)變為
| ${Z_W}p\prime = {Z_W}\left| \matrix{ u \hfill \cr v \hfill \cr 1 \hfill \cr} \right| = K\left| \matrix{ {X_W} \hfill \cr {Y_W} \hfill \cr {Z_W} \hfill \cr} \right| = \left| {\matrix{ f & 0 & 0 \cr 0 & f & 0 \cr 0 & 0 & 1 \cr } } \right|\left| \matrix{ {X_W} \hfill \cr {Y_W} \hfill \cr {Z_W} \hfill \cr} \right| = KP,$ |
其中p′為圖像點P的齊次坐標(以下描述皆按照此約定)。本文所提出的標定方法就是建立在式(2)所描述的透視幾何關系下，將其約簡后該模型可用公式等價表達為
| $\left\{ \begin{align} & u=f\frac{{{X}_{W}}}{{{Z}_{W}}}~ \\ & v=f\frac{{{Y}_{W}}}{{{Z}_{W}}} \\ \end{align} \right.$ |
2.2 基于單幀圖像的攝像機參數標定和髖、膝運動速度、位移的計算方法
很明顯，式(2)和式(3)所表達的攝像機模型是最為簡化的針孔投影模型，在攝像機標定的過程中只需要標定一個內參數f和一個外參數ZW即可。雖然基于此簡化模型的標定和測量精度存在一定局限，但就本文所研究問題而言，由于要求精度并不高，采用該簡化模型足以滿足實際測量的需要。更為重要的是，由于標定參數的減少，使得基于單幀視頻圖像同時實現攝像機標定和圓環中心點的位置、速度的測量成為可能，易于實現髖、膝運動狀態的實時監測。
為了模型表達和求解的方便性，本文在攝像機標定參數的求取過程中，將兩同心圓環看成是相應圓點所在的一維直線段圍繞兩圓環共同圓心點轉動所成，如圖 2所示，其中O為攝像機光心，假設C和B分別為所選定標的輔助物內、外圓環上共線圓點的中心點，而A為兩圓環共同的公共圓心，并假設它們在圖像平面中的投影點分別為c、b、a。可知線段AB長度即所選定標的輔助物大圓環的半徑R，而AC則對應其中小圓環的半徑r=R/2，可有關系式：
圖2
標定輔助物及其圖像平面投影
Figure2.
Auxiliary calibration target and its projection on image plane
| $‖B-A‖=R ,$ |
| $C={{\lambda }_{A}}A+{{\lambda }_{B}}B$ |
其中λA=λB=0.5。假定A、 B、 C三點的空間深度即Z軸方向坐標分別為ZWA、ZWB、ZWC，基于式(2)，有：
| $C={{\lambda }_{A}}A+{{\lambda }_{B}}B~A={{Z}_{WA}}{{K}^{-1}}a\prime ,B={{Z}_{WB}}{{K}^{-1}}b\prime ,C={{Z}_{WC}}{{K}^{-1}}C\prime \text{ },$ |
將其代入式(5)得：
| ${{Z}_{WC}}c\prime ={{Z}_{WA}}\lambda Aa\prime +{{Z}_{WB}}{{\lambda }_{Bb\prime \text{ }}},$ |
兩邊都消去K-1并都叉乘c′，有：
| $0={{Z}_{WA}}\lambda A\left( a\prime \times c\prime \right)+{{Z}_{WB}}{{\lambda }_{B}}(b\prime \times c\prime )$ |
因此有：
| ${{Z}_{WB}}=-{{Z}_{WA}}\frac{{{\lambda }_{A}}\left( a\prime \times c\prime \right)\cdot \left( b\prime \times c\prime \right)}{{{\lambda }_{B}}\left( b\prime \times c\prime \right)\cdot \left( b\prime \times c\prime \right)},$ |
另，從式(4)和式(6)有：
| ${{K}^{-1}}({{Z}_{WB}}b\prime -{{Z}_{WA}}a\prime )=R\text{ },$ |
將式(9)代入式(10)得：
| ${{Z}_{WA}}\|{{K}^{-1}}(a\prime +\frac{{{\lambda }_{A}}\left( a\prime \times c\prime \right)\cdot \left( b\prime \times c\prime \right)}{{{\lambda }_{B}}\left( b\prime \times c\prime \right)\cdot \left( b\prime \times c\prime \right)}b\prime )\|=R\text{ },$ |
該式等價于：
| ${{Z}_{WA}}^{2}hT{{K}^{-T}}{{K}^{-1}}h={{R}^{2}}$ |
其中，而K-TK-1描述了圖像的絕對二次曲線[5-7]，在本文所采用的簡化模型前提下滿足K-TK-1=
令h=(h1,h2,h3)T，則展開式(12)，有：
| ${{Z}_{WA}}^{2}{{f}^{2}}({{h}_{1}}^{2}+{{h}_{2}}^{2})+{{Z}_{WA}}^{2}{{h}_{3}}^{2}={{R}^{2}},$ |
上式是一個只含有兩個未知數ZWA和f的二次方程，實際上可通過直接參數代換轉化為一個二元一次方程，因此若能同時已知兩條具有同一固定點A的兩條半徑，即可求出相應未知數，實現攝像機的標定。事實上，本文所選定的標定輔助物單幀圖像即能滿足此條件，但需說明的是，由于標定輔助物為平面同心圓環，以圓環共同圓心A為固定點雖然可以找到12條互相滿足條件的直線段，但事實上真正能提供的約束只相當于兩條直線段，這是因為在空間位置和方向確定的具有類似固定點A的兩條直線段及其在圖像中投影點位置和方向已知的情況下，其它類似的任一共面直線段投影點的位置和方向可以基于其與兩已知直線段的夾角通過射影幾何關系唯一確定，因此多余的直線段并不能提供新的起作用的約束條件，但可以增加求解過程的穩定性。此外，從式(3)可以看出，在攝像機標定過程中，若f與ZWA按照相同比例系數進行數值放縮時，所得到的各圖像點投影坐標位置將保持不變。因此，基于此簡化模型采用本文所提出的平面標定輔助物和單幀視頻圖像進行攝像機標定的過程中，對于空間物理距離的求取，即使可以求解模型得到f與ZWA的精確數值，也只能使用它們的比值，而不能將標定所得的數據作為它們在物理世界中的真實數值。
在訓練評價系統中，由于攝像頭往往是按水平方向近似固定安裝的，在一次測量過程中，其位置和方向維持不變，則測量過程中標定輔助物兩圓環的中心點A也即膝蓋位置的深度值ZWA基本保持不變。令平行于成像平面且深度為ZWA的平面與攝像機光軸的交點為E=(XWE,YWE,ZWA)，在不考慮光心偏移和攝像機鏡頭畸變的情況下，E點在圖像平面中的投影點e：(uE,vE)=(fZWAXWE,fZWAYWE)恰為圖像中心，且其真實空間位置在測量過程中也維持不變。這樣，以E作為基準就可以通過特定幀圖像標定過程所得到的f與ZWA的比例關系按照該幀圖像中a點坐標相對于e的位置確定物理空間中A點相對于E點的平面位移量(ΔXAE,ΔYAE)。因此根據前面的論述不難得出
| $\left\{ \begin{align} & \Delta {{X}_{AE}}={{Z}_{WA}}f\Delta {{u}_{ae}} \\ & \Delta {{Y}_{AE}}={{Z}_{WA}}f\Delta {{v}_{ae}}~ \\ \end{align} \right.,$ |
其中Δuae和Δvae分別為圖像幀中圓環中心點即膝蓋與圖像中心點分別在u、v方向的偏移距離。進一步在膝蓋位移已經求得的情況下，若已知相鄰兩測量幀的時間間隔為Δt，則容易求出其瞬時速度為
| ${{V}_{X}}=\frac{\Delta {{X}_{AE}}}{\Delta t},{{V}_{Y}}=\frac{\Delta {{Y}_{AE}}}{\Delta t},$ |
而髖骨的瞬時速度和位移只需分別取Y方向的分量ΔYAE和VY即可。
3 圓環點的檢測
上文所引入的攝像機標定和髖、膝運動狀態測量方法是以標定輔助物中各圓環點的魯棒檢測和識別為基礎的，因此有必要基于標定輔助物的具體特點研究魯棒性好、高效的圓環點的圖像處理和檢測算法。由于本文所用標定輔助物是經過精心選擇和設計的，感興趣區域在復雜場景中成像對比度較好，雖然容易定位和識別，但由于環境噪聲的影響和攝像機成像精度的局限，要想對感興趣區域以常規方法進行實時、準確地自動提取較為不易。在實驗的基礎上，本文提出了基于距離變換和方向濾波的標的物實時檢測算法，有效實現了所有感興趣區域的快速提取，算法處理基本流程如圖 3所示。
基于本文所提出的攝像機標定和髖、膝位置計算方法，只需一幀圖像即可實現相關參數的測量，同時也減少算法設計的復雜性，在圖像處理和感興趣
圖3
標定的輔助物圖像處理與檢測流程
Figure3.
Image process and detection flowchart for the auxiliary calibration target
區域目標檢測過程中也只基于視頻圖像序列中某一 個單幀圖像進行相關處理和算法研究。
關于內外圓環點的檢測，首先需要對所采集的圖像幀基于OSTU方法進行二值化，如圖 4所示，在二值化基礎上基于文獻[8]所提出的快速連通區域標記算法進行各連通區域的標記并進一步對各區域進行面積和形狀濾波，得到只包含所有圓環點和少數隨機分布的離散區域在內的二值圖像。然后計算所有剩余二值區域的幾何中心，并分別以每一幾何中心為基準，統計各幾何中心距離所選定基準幾何中心點之間的距離，進行所謂距離變換。由于標定輔助物內、外圓環上連通區域的數目都是12個，基于這一特性對于距離變換所得的數據進行分析即可檢測出兩圓環公共圓心點以及所有24個圓環點的幾何中心及其位置，同時可通過連通區域數目濾波方法濾除掉其它隨機離散區域的干擾，實際可基于在特定距離區間內連通區域的數目予以區別和判斷。各圓環點及公共圓心點的最終檢測結果如圖 4 所示。
圖4
標定輔助物圖像中各圓環點及兩同心圓公共圓心點檢測結果示例
Figure4.
Example of detection result on each circle point on the ring and common center of two concentric circles in the auxiliary calibration target
4 實驗分析與展望
為了檢測本文所提出的圖像處理、標定和測量等一整套算法的速度和有效性，我們對整套方案以VC++ 6.0為開發工具進行具體實現，在沒有采用任何程序優化或硬軟加速措施的情況下，在具有2.4 GHz AMD SempronTM X2 180 Processor和2 GB內存配置的PC機上能夠實現5 幀/秒的圖像處理和在線數據測量，位置的精確度≤±5 mm。考慮到相關患者在訓練時運動速度較慢且對精度要求不是很高，故完全可滿足訓練系統對髖、膝運動速度、位移數據實時監測的需求和對相關數據精度的要求。
實驗過程中所構建的檢測實驗系統可以實時顯示訓練過程視頻和當前幀所對應的實時監測參數值。由于作為Demo版系統開發，本實驗系統尚未實現對實時檢測數據集成到平衡訓練系統中進行保存和分析，這在未來的工作中結合產品開發具體情況將不難予以實現。
需要特別注意，為保證檢測算法的實時性和有效性，在本實驗系統算法設計的各個環節，都采取了盡可能簡單、快速、有效的算法予以實現。在研究過程中針對研究目的需要對各種方法不斷進行探索和比較，在可靠性和實時性之間進行了全方位優化和平衡。即便如此，在復雜環境噪聲、攝像機成像噪聲以及成像距離和攝像機安裝角度等多種隨機因素的協同干擾和影響下，在實驗中仍發現，只有在特定的角度和距離范圍內該系統能對95%以上所采集的圖像幀實現有效計算和檢測，但在另外一些情況下則難以維持這么高的有效檢測率，因此在未來研究中需要對具體訓練環境的光照條件以及拍攝角度等限制因素進行實驗和探索，給出具體的約束條件和指標，同時在已有探索和實踐基礎上對其中圖像處理和測量算法進行必要的優化和改進，以進一步增強該方案實施的可靠性和精度，開發更為優秀、精確的髖、膝位置和角度測量方法，以增強測量和評定系統的效能，從而更好地為人類的康復事業與技術發展服務。
