肺結(jié)節(jié)CT圖像輔助檢測(cè)產(chǎn)品臨床試驗(yàn)設(shè)計(jì)考慮要素,包括臨床試驗(yàn)設(shè)計(jì)類(lèi)型、評(píng)價(jià)指標(biāo)、樣本量估算及統(tǒng)計(jì)學(xué)分析。
肺結(jié)節(jié)CT圖像輔助檢測(cè)產(chǎn)品臨床試驗(yàn)設(shè)計(jì)考慮要素舉例
一、肺結(jié)節(jié)CT圖像輔助檢測(cè)產(chǎn)品臨床試驗(yàn)試驗(yàn)設(shè)計(jì)基本類(lèi)型
肺結(jié)節(jié)CT影像輔助檢測(cè)產(chǎn)品采用MRMC設(shè)計(jì)、交叉自身對(duì)照設(shè)計(jì)或平行對(duì)照設(shè)計(jì)。平行對(duì)照設(shè)計(jì)的具體過(guò)程及方法參考《醫(yī)療器械臨床試驗(yàn)設(shè)計(jì)指導(dǎo)原則》相關(guān)內(nèi)容。
若采用MRMC的設(shè)計(jì),試驗(yàn)過(guò)程具體為,將參與試驗(yàn)的臨床醫(yī)師隨機(jī)劃分為A、B兩組。A組:醫(yī)師第一階段在使用AI輔助的條件下完成所有數(shù)據(jù)樣本CT影像的肺結(jié)節(jié)檢測(cè);經(jīng)一定的洗脫期后,第二階段在不使用AI輔助的條件下完成所有數(shù)據(jù)樣本CT影像的肺結(jié)節(jié)檢測(cè)。B組:醫(yī)師第一階段在不使用AI輔助的條件下完成所有數(shù)據(jù)樣本CT影像的肺結(jié)節(jié)檢測(cè);經(jīng)一定的洗脫期后,第二階段在使用AI輔助的條件下完成所有數(shù)據(jù)樣本CT影像的肺結(jié)節(jié)檢測(cè)。該試驗(yàn)中醫(yī)師使用AI輔助的作為試驗(yàn)組,不使用AI輔助的作為對(duì)照組,對(duì)比試驗(yàn)組與對(duì)照組肺結(jié)節(jié)檢測(cè)的診斷準(zhǔn)確度指標(biāo),閱片過(guò)程中每名醫(yī)師需分別在使用AI和不使用AI的條件下都完成所有入組影像數(shù)據(jù)樣本的閱片。
二、評(píng)價(jià)指標(biāo)
此類(lèi)產(chǎn)品臨床試驗(yàn)通常選擇檢出的靈敏度(以病灶為單位)和特異度(以患者為單位)等組成的復(fù)合指標(biāo),亦可在此基礎(chǔ)上添加受試者工作特征(receiver operating Characteristic, ROC)曲線或其衍生曲線組成復(fù)合指標(biāo),如因變量自由的受試者工作特征(free-response receiver operating Characteristic, FROC)曲線、定位受試者工作特征(location-specific receiver operating characteristic, LROC)曲線等。使用ROC曲線或其衍生曲線時(shí),可考慮在試驗(yàn)組醫(yī)師閱片階段,由閱片醫(yī)師標(biāo)記對(duì)目標(biāo)疾病判定的檢驗(yàn)效能(可考慮百分?jǐn)?shù)評(píng)分),從而構(gòu)建ROC曲線,并需考慮在培訓(xùn)階段明確醫(yī)師百分?jǐn)?shù)評(píng)分的標(biāo)準(zhǔn)和方法。
次要指標(biāo)可包括AI輔助醫(yī)師檢出目標(biāo)疾病的陽(yáng)性預(yù)測(cè)值/陰性預(yù)測(cè)值,似然比,Kappa系數(shù),軟件獨(dú)立檢出目標(biāo)疾病的靈敏度(以病灶為單位),軟件獨(dú)立檢出目標(biāo)疾病的靈敏度和特異度(以患者為單位),閱片時(shí)間,醫(yī)生診斷信心評(píng)價(jià),軟件功能易用性和穩(wěn)定性(可采用主觀感受評(píng)價(jià),如李克特量表等)。若同時(shí)觀察量化分析等非輔助決策臨床功能的性能表現(xiàn),亦可設(shè)立相應(yīng)次要評(píng)價(jià)指標(biāo)。
三、樣本量估算及統(tǒng)計(jì)學(xué)分析
以MRMC設(shè)計(jì)為例,說(shuō)明樣本量估算考慮要素,若主要評(píng)價(jià)指標(biāo)為AUC、結(jié)節(jié)水平靈敏度、患者水平特異度。試驗(yàn)中,檢驗(yàn)的檢驗(yàn)效能取80%。對(duì)于主要評(píng)價(jià)指標(biāo),優(yōu)效性與非劣效統(tǒng)計(jì)分析將在單側(cè)0.025的檢驗(yàn)水準(zhǔn)下進(jìn)行。下述內(nèi)容僅為示意舉例,可根據(jù)產(chǎn)品具體情況合理調(diào)整相關(guān)參數(shù):
1.基于AUC的樣本量計(jì)算,預(yù)試驗(yàn)或文獻(xiàn)資料確認(rèn)效應(yīng)值取0.05,研究醫(yī)師設(shè)定為12名,AUC優(yōu)效界值取0,則總樣本量不得低于87例,陰性、陽(yáng)性患者比為1:1。
2.基于結(jié)節(jié)水平靈敏度,效應(yīng)值取0.069,研究醫(yī)師設(shè)定為12名,優(yōu)效界值取0,需陽(yáng)性樣本至少116個(gè)結(jié)節(jié),假定平均每個(gè)陽(yáng)性患者存在2個(gè)結(jié)節(jié),則至少需要58例陽(yáng)性數(shù)據(jù)樣本。
3.基于患者水平的特異度,效應(yīng)值取-0.055,非劣效值取0.1(參考Riverain ClearRead CT 的特異度95%區(qū)間下限),在當(dāng)受試醫(yī)師為12名時(shí),非劣效驗(yàn)證(非劣效界值取0.1)需要陰性樣本達(dá)到至少157例。
綜合以上各指標(biāo)樣本量估算值,本試驗(yàn)樣本量最低為215例,陽(yáng)性數(shù)據(jù)樣本58例,陰性數(shù)據(jù)樣本157例??紤]到樣本存在剔除和脫落的可能,當(dāng)預(yù)期脫落率為5%,剔除率為5%時(shí),陽(yáng)性樣本需要達(dá)到至少62例,陰性樣本需要達(dá)到至少166例,共計(jì)228例。