
近日,器審中心發(fā)布了IVD人工智能軟件的3個審評要點,標(biāo)志著對于IVD人工智能軟件的規(guī)范化審評邁上了新臺階。我國企業(yè)也在IVD人工智能軟件上做了非常多的研發(fā)工作,其中,做為第三類醫(yī)療器械管理的輔助決策類的2個產(chǎn)品已于去年和今年獲得批準(zhǔn),包含1款病理圖像分析軟件。病理圖像的輔助識別、輔助診斷決策是IVD人工智能軟件應(yīng)用的重要方面之一,下面介紹一款FDA批準(zhǔn)的該類軟件的非臨床研究審評要點,為審評提供借鑒和思考。
2021年9月21日FDA首次批準(zhǔn)IVD病理圖像人工智能輔助決策軟件——Paige Prostate,該產(chǎn)品是一種用于定性輔助決策的深度學(xué)習(xí)軟件。批準(zhǔn)類別:全新(De nove)自動分為III類,今后將作為II類特殊控制管理。
►►►
產(chǎn)品描述
► (一)預(yù)期用途
該產(chǎn)品為專用軟件,用于幫助病理醫(yī)師對蘇木精和伊紅(H&E)染色的福爾馬林固定-石蠟包埋(FFPE)的前列腺穿刺活檢組織的全玻片數(shù)字掃描圖像(WSI,以下簡稱“掃描圖像”)做診斷時,識別可疑的癌癥病灶。該軟件在病理醫(yī)師對掃描圖像進行初診之后使用,如果軟件識別到可疑的癌癥組織形態(tài),則在圖像上提供位置坐標(biāo)(X,Y),供病理醫(yī)師對該位置進一步診斷或修改初診的結(jié)論。
該產(chǎn)品自動分析掃描圖像后輸出以下內(nèi)容:
1. 基于神經(jīng)網(wǎng)絡(luò)輸出的預(yù)定義閾值,對圖像是否懷疑為癌癥進行二元分類。
2. 如果切片被歸類為“懷疑不是癌癥”將沒有額外的輸出,圖像軟件查看器將顯示“懷疑不是癌癥——沒有目標(biāo)區(qū)域”。
該產(chǎn)品為計算機輔助方法,其輸出結(jié)果不應(yīng)用作最初的診斷,病理醫(yī)師應(yīng)只使用該軟件結(jié)合完整的標(biāo)準(zhǔn)診療程序評估病理切片掃描圖像。該軟件不提供輔助測量(定量)或癌癥病灶的分級診斷結(jié)果。
該軟件配套使用的掃描儀為飛利浦掃描儀(Philips IntelliSite Ultra Fast Scanner),數(shù)字病理圖像查看軟件為本公司的軟件(FullFocus image viewing software)。
► (二)算法研究
算法研究是基于訓(xùn)練集、調(diào)優(yōu)集和測試集的數(shù)據(jù)進行的。數(shù)據(jù)訓(xùn)練、調(diào)優(yōu)和測試數(shù)據(jù)集,分別來自于相互獨立病人的切片,以保證其在訓(xùn)練、調(diào)優(yōu)、和測試數(shù)據(jù)集不重復(fù)使用。這些數(shù)據(jù)脫敏后被標(biāo)注,并與驗證集數(shù)據(jù)相互獨立。
訓(xùn)練集數(shù)量:33543例,徠卡掃描儀(Leica),與預(yù)期用途配合掃描儀品牌不同;
調(diào)優(yōu)集數(shù)量:5598例,徠卡掃描儀(Leica),同上;
測試集數(shù)量:5598例,飛利浦掃描儀(Philips),同預(yù)期用途配合掃描儀相同。
1.算法研究的3個數(shù)據(jù)集人種信息如下:白人占約80%左右,非洲族裔美國人或黑人占9%,印第安人占0.1%,亞裔和遠(yuǎn)東人種占3%,其他占約2%,沒有種族信息的占5%左右,人種分布在三個數(shù)據(jù)集的比例基本相同。切片分別來源于公司內(nèi)部(136例癌癥,183例良性)和外部機構(gòu)(175例癌癥,234例良性)。
2.切片分類組成如下:
(1)非典型小腺泡增生(ASAP)、萎縮出現(xiàn);
(2)高級別(PIN)前列腺上皮內(nèi)腫瘤;
(3)接受過治療的組織(治療后組織有治療相關(guān)的改變);
(4)癌組織:腫瘤大于0.5mm,其中PIN出現(xiàn)單獨統(tǒng)計;
(5)組織:腫瘤小于等于0.5mm,其中PIN出現(xiàn)單獨統(tǒng)計;
(6)良性組織(無萎縮、PIN和治療)。
3.數(shù)據(jù)標(biāo)注:是否為癌癥的準(zhǔn)確性由診斷報告來作為金標(biāo)準(zhǔn)確認(rèn),定位準(zhǔn)確性由3位經(jīng)過認(rèn)證(有資質(zhì))的病理醫(yī)師來確定。
► (三)非臨床研究
軟件描述
依據(jù)FDA指導(dǎo)文件《醫(yī)療設(shè)備中包含的軟件上市前提交內(nèi)容指南》(2005年5月11日發(fā)布),該產(chǎn)品為中度風(fēng)險考量。
申請人提交了危害分析,對該產(chǎn)品和網(wǎng)絡(luò)安全分別進行了分析,并評估了緩解前后的風(fēng)險。產(chǎn)品危害分析包括:危害的識別、造成危害的原因(危險情況)、發(fā)生危險的概率、危害嚴(yán)重程度、控制或緩解的方法、所采取的糾正措施,包括解釋設(shè)備設(shè)計/要求中消除、減少或警告危險事件的方面,驗證控制執(zhí)行情況,并可通過列舉的可追溯矩陣進行追蹤。申請人提交了以下描述文檔,包括軟件需求規(guī)范(SRS)、軟件架構(gòu)設(shè)計圖表、 軟件設(shè)計規(guī)范(SDS)、可追溯分析/矩陣、軟件開發(fā)環(huán)境、驗證和驗證測試、軟件版本修訂歷史,其中軟件版本(v)2.1.501在所有性能研究中使用之前發(fā)布,包括分析性能研究和臨床研究。在上市后,軟件版本將保持鎖定狀態(tài),不會隨著臨床應(yīng)用對算法持續(xù)訓(xùn)練和更新。未解決的異常:在軟件驗證之前,所有識別的異常都已解決,沒有未解決的異常情況。
2.網(wǎng)絡(luò)安全
網(wǎng)絡(luò)安全文件與FDA指導(dǎo)文件《醫(yī)療設(shè)備網(wǎng)絡(luò)安全管理上市前提交文件內(nèi)容:工業(yè)和食品藥品監(jiān)督管理局工作人員指南》(2014年10月2日發(fā)布)中概述的上市前提交文件應(yīng)包含的建議信息一致。與網(wǎng)絡(luò)安全相關(guān)的信息包括:網(wǎng)絡(luò)安全風(fēng)險相關(guān)的危害分析,將網(wǎng)絡(luò)安全控制與考慮的風(fēng)險聯(lián)系起來的可追溯性文件,在醫(yī)療設(shè)備的全生命周期中驗證軟件更新和補丁的概要計劃,為確保醫(yī)療設(shè)備保持其完整性而采取的控制措施的摘要描述,與預(yù)期使用相適應(yīng)的使用說明書中的推薦的網(wǎng)絡(luò)安全控制措施。
數(shù)據(jù)傳輸方面:數(shù)據(jù)傳輸?shù)母鱾環(huán)節(jié)都采用加密的方式。
3.分析性能評估
分析性能評估包括:算法定位(X,Y)坐標(biāo)準(zhǔn)確度研究和精密度研究。采用配套用的飛利浦掃描儀和本公司數(shù)字病理圖像查看軟件。
(1)算法定位(X,Y)坐標(biāo)準(zhǔn)確度研究
該研究評估了軟件在鑒別診斷前列腺穿刺活檢數(shù)字病理圖像為可疑癌癥組織的能力,以及定位一個高度疑似癌癥病灶(X,Y)坐標(biāo)的能力。
研究方法:對“該產(chǎn)品識別的坐標(biāo)(X,Y)”與“3名對軟件輸出結(jié)果不知情的病理學(xué)家手工注釋的區(qū)域”進行了比對評估,且這些參與研究的病理學(xué)家沒有參與臨床試驗的閱片研究。所有的掃描圖像(癌和良性組織混合穿插混合)提供給病理學(xué)家,由其審閱并給予了圖像區(qū)域“有癌”的標(biāo)記,3位病理醫(yī)師間互為盲法,不知道彼此對切片的注釋,也不知道該申報軟件的結(jié)果輸出。至少2-3名提供注釋的病理醫(yī)師對同一切片位置的同樣標(biāo)注,才能作為真值與軟件輸出結(jié)果進行比對。
所有的病理醫(yī)師在注釋選定區(qū)域之前要遵循以下原則:
a.標(biāo)記癌癥邊緣要盡量的緊貼癌癥區(qū)域,要畫出最小癌癥區(qū)域;
b.可以選擇良性細(xì)胞和癌細(xì)胞混合呈現(xiàn)的區(qū)域進行標(biāo)記,因為軟件輸出定位坐標(biāo)(X,Y)的目的就是標(biāo)出病理醫(yī)師感興趣的區(qū)域并引起注意。
為了避免因病例水平重疊而產(chǎn)生的偏倚,數(shù)據(jù)分析只使用了獨立的患者病例,即:與研發(fā)數(shù)據(jù)集相比,所有切片在患者層面都是獨立的。研究樣本最終納入了包括728個掃描圖像(311個來自癌癥組織切片,417個來自良性組織切片)。
主要終點數(shù)據(jù):
真陽性(TP):算法將切片準(zhǔn)確分類并且高度懷疑為癌癥的區(qū)域定位坐標(biāo)(X,Y)在預(yù)定義閾值范圍內(nèi),294/311;
真陰性(TN):算法將切片準(zhǔn)確分類并且懷疑不是癌癥,392/417;
假陽性(FP):算法將懷疑為癌癥的切片錯誤分類,25/417;
假陰性(FN):算法將懷疑為不是癌癥的切片錯誤分類;或算法將切片準(zhǔn)確分類為懷疑為癌癥,但未將懷疑為癌癥的坐標(biāo)(X,Y)區(qū)域定位正確,17/311。
結(jié)果:敏感性:94.5%(95%CI:91.4%-96.6%);特異性:94.0%(95%CI:91.3%-95.9%)。
同時,也分別對來源于公司內(nèi)部和外部機構(gòu)(217個外部機構(gòu))的準(zhǔn)確度結(jié)果進行了敏感性和特異性的統(tǒng)計。這些結(jié)果顯示有些許差異,可能是由于病例人種機構(gòu)分布差異和機構(gòu)的切片制作方式差異性有關(guān)。
(2)精密度研究
該研究評估了高度懷疑為癌癥的圖像定位精密度(應(yīng)在預(yù)期閾值范圍內(nèi))。精密度研究的切片與算法訓(xùn)練、調(diào)優(yōu)和測試集相互獨立。研究包含來相互獨立病例的35個癌癥掃描圖像和36個良性掃描圖像。
a.掃描儀內(nèi)精密度:同一切片掃描3次,重復(fù)用同一個掃描儀和一個操作者。
掃描儀內(nèi)精密度結(jié)果:
總體:陽性符合率99.0%(97.1%-100%);
陰性符合率94.4%(88.9%-99.1%)。
所有3次結(jié)果都正確的重復(fù)性(按組計算):
癌癥:97.1%(34/35);
良性:88.9%(32/36)。
總體重復(fù)性(按重復(fù)次數(shù)算):
癌癥:99.0%(104/105)(95%CI:94.8%-99.8%);
良性:94.4%(102/108)(95%CI:88.4%-97.4%)。
結(jié)論:按照總體重復(fù)性(按重復(fù)次數(shù)算):癌癥99.0%(104/105)(95%CI:94.8%-99.8%),良性94.4%(102/108)(95%CI:88.4%-97.4%)。
b.重現(xiàn)性研究(評估掃描儀間和操作者間變異):切片用3個不同掃描儀分別掃描1次,在不同的地點(內(nèi)部研究地點),由3位不同的操作者(操作者1對應(yīng)掃描儀1)進行。
重現(xiàn)性研究結(jié)果(按照總重復(fù)次數(shù)算):
癌癥:100%(105/105)(95%CI:96.5%;100%);
良性:93.5%(101/108)(95%CI:87.2%;96.8%)。
c.定位精密度:玻片被掃描5次(3個掃描儀和3個操作者:操作者1和掃描儀1,重復(fù)3次掃描;操作者2和掃描儀2,1次掃描,操作者3和掃描儀3,1次掃描)。
從前述精密度a和b研究的35個癌癥和36個良性掃描圖像中隨機選擇19個癌癥和4個良性掃描圖像進行定位精密度評估。19個癌癥切片共收錄95個區(qū)域。(注:僅對癌組織切片的定位精密度數(shù)據(jù)進行了評估)
定位精密度結(jié)果:操作者1掃描儀1重復(fù)3次掃描,n=57(19×3),錯誤定位1次,正確56次,定位正確率為98.2%(56/57)(95%CI:90.7%-99.7%);3位操作者(1個操作者掃描1次),n=55(排除2例),錯誤定位2次,正確53次,定位正確率為96.4%(53/55)(95%CI:87.7%-99.0%)。
郵政編碼:200052 電話:021-63800152 傳真:021-63800151 京ICP備15010734號-10 技術(shù):網(wǎng)至普網(wǎng)站建設(shè)