近年來，定性證據綜合在衛生和社會保健政策中的應用日益增多，對定性研究方法學局限性的評估在確保定性證據綜合結果可信度方面至關重要。然而，目前常用的評估工具并非專門為Cochrane系統評價或定性證據綜合設計，且多缺乏基于證據的開發背景。為彌補這一空白，Cochrane定性研究方法評價工具（CAMELOT）應運而生，旨在為作者提供一個專門評估定性研究方法學局限性的標準化工具。本文基于循證評價工具操作指南和德爾菲共識調查法，介紹了CAMELOT的開發過程，并對其領域內容進行詳細闡述。
版權信息： ?四川大學華西醫院華西期刊社《中國循證醫學雜志》版權所有，未經授權不得轉載、改編
定性證據綜合（QES），也稱為定性證據系統評價[1]，其日益被視為將定性研究納入決策過程的重要方式，包括指南開發和政策制定[2-7]。自2013年發表的第一份Cochrane QES[8]以來，大量的QES研究被發表并應用到指南制定和實踐之中[9-11]。對定性研究合成證據的可信度（GRADE‐CERQual）方法旨在透明和系統地評估QES研究結果的可信度，為了支持在決策中使用QES的研究結果[12,13]。GRADE‐CERQual作為Cochrane QES的研發工具，已在全球超過233個QES中應用[14]。
評估納入定性研究的方法學局限性是全面評估QES證據的關鍵。目前，可用的評估工具有100多種，但極少基于證據[15]，且缺乏全面的覆蓋面、清晰度和定性研究原則的基礎[16]，這給系統評價作者帶來了重大挑戰。此外，大多數此類工具是在將患者和公眾參與作為定性研究基本要素之前開發的[15]。在用于為實踐或政策提供決策依據的QES背景下，評估方法學局限性不同于作為教學活動進行的評估，僅關注整個研究組（證據體）的方法局限性或單個定性研究的整體質量，可能會削弱系統評價結果的可信度。鑒于方法學局限性評估在高質量定性研究系統評價撰寫中的關鍵作用，擁有一個專門用于QES和GRADE‐CERQual的循證工具非常重要[16]。Cochrane定性方法學局限性工具（CAMELOT）[17]，是一種用于評估原始定性研究方法學局限性的新工具。本文就CAMELOT的開發過程、領域內容及其評估方法逐一介紹，供國內研究者和使用者參考。
1 CAMELOT的開發過程
CAMELOT是由挪威公共衛生研究所的Heather Munthe-Kaas研究團隊[17]基于循證方法開發的第一個評估定性研究方法學局限性的新工具。該工具重點關注研究問題和背景之間的契合性以及研究的設計和實施，有助于系統評價作者在確定方法學問題時更加嚴謹。Heather Munthe-Kaas研究團隊基于循證理念，遵循與工具開發和德爾菲調查相關的實踐指南，分4個階段解決在QES和GRADE‐CERQual情景下評估原始定性研究的方法學局限性問題。
1.1 第一階段：確定當前的關鍵評估工具并綜合納入標準
基于循證方法，對定性研究相關的評估工具進行系統搜集和分析[18,19]，明確用于評估定性研究方法質量的工具[20]。使用最合適的框架綜合方法來編碼每個評價工具的清單標準，開發了一個包含22個主題的框架[15]，用于為第二階段的研究議程提供信息。
1.2 第二階段：確定與當前清單如何影響定性研究可信度相關的證據，開發相關領域
鑒于公平、多樣性和包容性的重要性，以及研究結果對最終使用者和研究人員群體不同的影響，為確保不同利益者的代表性[21,22]，來自不同國家、機構、經驗水平和研究類型等背景的7名研究人員組成的工作小組召開了一系列會議，討論第一階段確定的每一項標準。最終產生了12個領域，并商定了12個領域中每一個領域的臨時定義。
1.3 第三階段：達成CAMELOT領域和指南的共識
總結了第二階段的結果，并將其作為共識調查的基礎，利用兩輪在線德爾菲調查排除不相關的標準，匯編相關標準及其定義并確定優先順序，同時通過在線研討會確定CAMELOT領域列表，以供后期就CAMELOT相關內容及實踐經驗進行交流。
1.4 第四階段：CAMELOT的用戶體驗
為開發一個用戶友好且清晰的工具，充分滿足用戶的需求，研究團隊利用便利和滾雪球的方法從經驗水平、學術能力和母語方面招募6名來自不同背景的用戶測試參與者，采用有聲思維方法[23]進行了6次在線半結構化訪談，重點關注CAMELOT可用性和可理解性，以探索用戶體驗，從而基于正面和負面反饋的迭代修訂并完善工具。通過4個階段的研發過程，最終在CAMELOT領域和定義中達成共識，包括如何考慮每個領域和評估領域之間適合性的簡要說明。
2 CAMELOT領域
目前國際上有多種定性研究偏倚評價工具，對于定性研究方法學評估發揮重要作用。表1詳細對比了JBI、CASP、ETQS和CAMELOT工具異同及在不同維度上優劣勢。由此可見，CAMELOT在涵蓋維度方面相對較為全面，特別是在理論框架、倫理學、公平性和研究的價值與意義方面表現突出。
表1
定性研究偏倚評價工具對比
CAMELOT是一種新的循證評價工具，由12個領域組成：4個元領域（meta domains），包括研究目的和問題、利益相關者、研究人員、背景。引導系統評價作者分析原始研究的特征，這些特征為研究的實施和設計提供了信息。8個方法領域（method domains），如研究策略、倫理考慮、公平性、多樣性/包容性考慮、理論、參與者招募和選擇、數據收集、分析和解釋以及結果呈現。鼓勵系統評價作者關注研究是如何設計、計劃和/或實施的，以及研究的實施和設計如何與4個元領域中提供的信息相匹配。系統評價作者通過明確研究中使用方法，考慮元領域和方法領域之間的擬合度進行評估。每個領域的域名和定義說明詳細見表2。
表2
CAMELOT域名的定義
3 進行CAMELOT評估
CAMELOT旨在評估定性研究方法學優勢和局限性時，更好地反映定性研究的原則。這種定性評估方法主要是通過關注和確定CAMELOT方法學領域之間的適當性或契合度來推進反思性考慮和研究透明度[24]。在CAMELOT中術語“適合度”是指研究的設計和實施在多大程度上：① 非常適合解決研究目標和/或問題；② 與參與研究的研究人員和/或利益相關者一致；③ 與研究背景的適合性。CAMELOT不需要計算匯總分數或整體評估，如高、中或低質量。相反，它支持系統評價作者評估方法領域和元領域之間擬合的適合性，以對方法學局限性的關注程度進行總體評估，評價為：無或極低風險、低風險、中度風險或嚴重風險。如何使用CAMELOT工具評估QES中納入的原始定性研究方法學優勢和局限性，Heather Munthe-Kaas研究團隊概述了其評估的5個主要步驟，見表3。
表3
CAMELOT評估步驟
在計劃CAMELOT評估時，評價小組應考慮將CAMELOT領域整合到他們的數據提取或編碼工作表（或適用軟件）中，防止工作重復。只要有可能，CAMELOT應該由多個評審員同時進行或通過檢查共識達成一致[25]。與簡單地對清單問題回答“是”或“否”相比，這種深思熟慮的整體方法考慮了研究設計或實施特征如何影響研究結果的可信度，而不僅僅關注研究的實施和報告。在QES中，評價小組對每個系統評價結果的方法學局限性進行評估，這將為整體GRADE‐CERQual評估提供信息。該總體評估應通過為系統評價結果每項單獨研究的CAMELOT評估（無或極低風險、低風險、中度風險或嚴重風險）。QES內的系統評價結果差異很大，通過CAMELOT確定的問題可能會以不同方式影響每個合成結果。以成年人對父母飲食與后代心理健康之間可能存在聯系持懷疑態度示例[17]，見表4。
表4
使用CAMELOT對QES結果進行方法學局限性評估的示例
4 研究展望
CAMELOT的應用有助于系統評價作者和其他證據使用者以一種深思熟慮的方法來評估原始定性研究方法學優勢和局限性，并更容易評估定性研究結果的可信度。CAMELOT的開發基于循證評價工具操作指南[26]，以人為本的設計和德爾菲共識調查[27]的方法，并關注和反思與研究計劃、設計、實施和結果解釋不同領域之間的適合度。此外，雖然CAMELOT是為了支持定性研究的系統評價作者而開發的，考慮到了GRADE‐CERQual，但它可以單獨用于評估不屬于QES的原始研究的方法學局限性[17]。CAMELOT方法最明顯的優勢是與相關方法學專家和利益相關者廣泛和長期的合作，以迭代修訂并完善工具。然而，CAMELOT尚未經過廣泛的試點或驗證，仍存在一定的局限性及改進空間。例如，參與德爾菲小組的人數不多，可能會錯過潛在關鍵人員的想法和意見；此外，CAMELOT可能比其他常用工具更耗時、更復雜，新手需要培訓才能正確使用該工具。目前此工具還沒有在中國的定性研究評價中開展應用，未來期望在來自不同學科、具有不同經驗的系統評價作者或利益相關者中進一步進行用戶測試，細化指南和示例，以探索針對不同類型原始研究和不同QES方法的修訂或改編，以及當前工具是否滿足不同人群的使用需求；此外，建議加強與定性分析軟件的整合，優化其在定性研究中的使用效率，推動其在研究和指南制訂中的標準化應用，特別是與GRADE-CERQual框架的進一步結合。
5 小結
CAMELOT使用嚴格的循證方法開發并進行初步測試，結合定性原則，側重問題維度和方法領域之間的適配性。此工具根據廣泛的用戶測試和試點研究，隨著時間的推移不斷進行修訂與完善。它填補了QES方法論的長期空白，在QES和GRADE‐CERQual評估背景下，不僅為定性研究系統評價作者提供了一種透明的和系統的方法來評估原始定性研究方法學局限性，亦可單獨用于評估不屬于QES的原始研究的方法學局限性。本文就國外CAMELOT的開發過程、領域內容、如何進行評估等問題逐一介紹，供國內研究者和使用者學習與參考，以提供更多的使用經驗，推動CAMELOT迭代進步。
定性證據綜合（QES），也稱為定性證據系統評價[1]，其日益被視為將定性研究納入決策過程的重要方式，包括指南開發和政策制定[2-7]。自2013年發表的第一份Cochrane QES[8]以來，大量的QES研究被發表并應用到指南制定和實踐之中[9-11]。對定性研究合成證據的可信度（GRADE‐CERQual）方法旨在透明和系統地評估QES研究結果的可信度，為了支持在決策中使用QES的研究結果[12,13]。GRADE‐CERQual作為Cochrane QES的研發工具，已在全球超過233個QES中應用[14]。
評估納入定性研究的方法學局限性是全面評估QES證據的關鍵。目前，可用的評估工具有100多種，但極少基于證據[15]，且缺乏全面的覆蓋面、清晰度和定性研究原則的基礎[16]，這給系統評價作者帶來了重大挑戰。此外，大多數此類工具是在將患者和公眾參與作為定性研究基本要素之前開發的[15]。在用于為實踐或政策提供決策依據的QES背景下，評估方法學局限性不同于作為教學活動進行的評估，僅關注整個研究組（證據體）的方法局限性或單個定性研究的整體質量，可能會削弱系統評價結果的可信度。鑒于方法學局限性評估在高質量定性研究系統評價撰寫中的關鍵作用，擁有一個專門用于QES和GRADE‐CERQual的循證工具非常重要[16]。Cochrane定性方法學局限性工具（CAMELOT）[17]，是一種用于評估原始定性研究方法學局限性的新工具。本文就CAMELOT的開發過程、領域內容及其評估方法逐一介紹，供國內研究者和使用者參考。
1 CAMELOT的開發過程
CAMELOT是由挪威公共衛生研究所的Heather Munthe-Kaas研究團隊[17]基于循證方法開發的第一個評估定性研究方法學局限性的新工具。該工具重點關注研究問題和背景之間的契合性以及研究的設計和實施，有助于系統評價作者在確定方法學問題時更加嚴謹。Heather Munthe-Kaas研究團隊基于循證理念，遵循與工具開發和德爾菲調查相關的實踐指南，分4個階段解決在QES和GRADE‐CERQual情景下評估原始定性研究的方法學局限性問題。
1.1 第一階段：確定當前的關鍵評估工具并綜合納入標準
基于循證方法，對定性研究相關的評估工具進行系統搜集和分析[18,19]，明確用于評估定性研究方法質量的工具[20]。使用最合適的框架綜合方法來編碼每個評價工具的清單標準，開發了一個包含22個主題的框架[15]，用于為第二階段的研究議程提供信息。
1.2 第二階段：確定與當前清單如何影響定性研究可信度相關的證據，開發相關領域
鑒于公平、多樣性和包容性的重要性，以及研究結果對最終使用者和研究人員群體不同的影響，為確保不同利益者的代表性[21,22]，來自不同國家、機構、經驗水平和研究類型等背景的7名研究人員組成的工作小組召開了一系列會議，討論第一階段確定的每一項標準。最終產生了12個領域，并商定了12個領域中每一個領域的臨時定義。
1.3 第三階段：達成CAMELOT領域和指南的共識
總結了第二階段的結果，并將其作為共識調查的基礎，利用兩輪在線德爾菲調查排除不相關的標準，匯編相關標準及其定義并確定優先順序，同時通過在線研討會確定CAMELOT領域列表，以供后期就CAMELOT相關內容及實踐經驗進行交流。
1.4 第四階段：CAMELOT的用戶體驗
為開發一個用戶友好且清晰的工具，充分滿足用戶的需求，研究團隊利用便利和滾雪球的方法從經驗水平、學術能力和母語方面招募6名來自不同背景的用戶測試參與者，采用有聲思維方法[23]進行了6次在線半結構化訪談，重點關注CAMELOT可用性和可理解性，以探索用戶體驗，從而基于正面和負面反饋的迭代修訂并完善工具。通過4個階段的研發過程，最終在CAMELOT領域和定義中達成共識，包括如何考慮每個領域和評估領域之間適合性的簡要說明。
2 CAMELOT領域
目前國際上有多種定性研究偏倚評價工具，對于定性研究方法學評估發揮重要作用。表1詳細對比了JBI、CASP、ETQS和CAMELOT工具異同及在不同維度上優劣勢。由此可見，CAMELOT在涵蓋維度方面相對較為全面，特別是在理論框架、倫理學、公平性和研究的價值與意義方面表現突出。
表1
定性研究偏倚評價工具對比
CAMELOT是一種新的循證評價工具，由12個領域組成：4個元領域（meta domains），包括研究目的和問題、利益相關者、研究人員、背景。引導系統評價作者分析原始研究的特征，這些特征為研究的實施和設計提供了信息。8個方法領域（method domains），如研究策略、倫理考慮、公平性、多樣性/包容性考慮、理論、參與者招募和選擇、數據收集、分析和解釋以及結果呈現。鼓勵系統評價作者關注研究是如何設計、計劃和/或實施的，以及研究的實施和設計如何與4個元領域中提供的信息相匹配。系統評價作者通過明確研究中使用方法，考慮元領域和方法領域之間的擬合度進行評估。每個領域的域名和定義說明詳細見表2。
表2
CAMELOT域名的定義
3 進行CAMELOT評估
CAMELOT旨在評估定性研究方法學優勢和局限性時，更好地反映定性研究的原則。這種定性評估方法主要是通過關注和確定CAMELOT方法學領域之間的適當性或契合度來推進反思性考慮和研究透明度[24]。在CAMELOT中術語“適合度”是指研究的設計和實施在多大程度上：① 非常適合解決研究目標和/或問題；② 與參與研究的研究人員和/或利益相關者一致；③ 與研究背景的適合性。CAMELOT不需要計算匯總分數或整體評估，如高、中或低質量。相反，它支持系統評價作者評估方法領域和元領域之間擬合的適合性，以對方法學局限性的關注程度進行總體評估，評價為：無或極低風險、低風險、中度風險或嚴重風險。如何使用CAMELOT工具評估QES中納入的原始定性研究方法學優勢和局限性，Heather Munthe-Kaas研究團隊概述了其評估的5個主要步驟，見表3。
表3
CAMELOT評估步驟
在計劃CAMELOT評估時，評價小組應考慮將CAMELOT領域整合到他們的數據提取或編碼工作表（或適用軟件）中，防止工作重復。只要有可能，CAMELOT應該由多個評審員同時進行或通過檢查共識達成一致[25]。與簡單地對清單問題回答“是”或“否”相比，這種深思熟慮的整體方法考慮了研究設計或實施特征如何影響研究結果的可信度，而不僅僅關注研究的實施和報告。在QES中，評價小組對每個系統評價結果的方法學局限性進行評估，這將為整體GRADE‐CERQual評估提供信息。該總體評估應通過為系統評價結果每項單獨研究的CAMELOT評估（無或極低風險、低風險、中度風險或嚴重風險）。QES內的系統評價結果差異很大，通過CAMELOT確定的問題可能會以不同方式影響每個合成結果。以成年人對父母飲食與后代心理健康之間可能存在聯系持懷疑態度示例[17]，見表4。
表4
使用CAMELOT對QES結果進行方法學局限性評估的示例
4 研究展望
CAMELOT的應用有助于系統評價作者和其他證據使用者以一種深思熟慮的方法來評估原始定性研究方法學優勢和局限性，并更容易評估定性研究結果的可信度。CAMELOT的開發基于循證評價工具操作指南[26]，以人為本的設計和德爾菲共識調查[27]的方法，并關注和反思與研究計劃、設計、實施和結果解釋不同領域之間的適合度。此外，雖然CAMELOT是為了支持定性研究的系統評價作者而開發的，考慮到了GRADE‐CERQual，但它可以單獨用于評估不屬于QES的原始研究的方法學局限性[17]。CAMELOT方法最明顯的優勢是與相關方法學專家和利益相關者廣泛和長期的合作，以迭代修訂并完善工具。然而，CAMELOT尚未經過廣泛的試點或驗證，仍存在一定的局限性及改進空間。例如，參與德爾菲小組的人數不多，可能會錯過潛在關鍵人員的想法和意見；此外，CAMELOT可能比其他常用工具更耗時、更復雜，新手需要培訓才能正確使用該工具。目前此工具還沒有在中國的定性研究評價中開展應用，未來期望在來自不同學科、具有不同經驗的系統評價作者或利益相關者中進一步進行用戶測試，細化指南和示例，以探索針對不同類型原始研究和不同QES方法的修訂或改編，以及當前工具是否滿足不同人群的使用需求；此外，建議加強與定性分析軟件的整合，優化其在定性研究中的使用效率，推動其在研究和指南制訂中的標準化應用，特別是與GRADE-CERQual框架的進一步結合。
5 小結
CAMELOT使用嚴格的循證方法開發并進行初步測試，結合定性原則，側重問題維度和方法領域之間的適配性。此工具根據廣泛的用戶測試和試點研究，隨著時間的推移不斷進行修訂與完善。它填補了QES方法論的長期空白，在QES和GRADE‐CERQual評估背景下，不僅為定性研究系統評價作者提供了一種透明的和系統的方法來評估原始定性研究方法學局限性，亦可單獨用于評估不屬于QES的原始研究的方法學局限性。本文就國外CAMELOT的開發過程、領域內容、如何進行評估等問題逐一介紹，供國內研究者和使用者學習與參考，以提供更多的使用經驗，推動CAMELOT迭代進步。
