資訊
頻道
當(dāng)前位置:首頁 > 醫(yī)療器械資訊 > 市場分析 > 從文審、定量測試到定性評價(jià),互聯(lián)互通測評要注意什么?

從文審、定量測試到定性評價(jià),互聯(lián)互通測評要注意什么?

文章來源:HC3i發(fā)布日期:2023-05-10瀏覽次數(shù):94

近年來,隨著國家不斷深入推進(jìn)健康中國戰(zhàn)略,大力發(fā)展醫(yī)療領(lǐng)域人工智能和健康大數(shù)據(jù)技術(shù)?;ヂ?lián)互通建設(shè)作為醫(yī)院信息化的首要基礎(chǔ),其重要性不言而喻。

國家衛(wèi)生健康委統(tǒng)計(jì)信息中心印發(fā)《醫(yī)院信息互聯(lián)互通標(biāo)準(zhǔn)化成熟度測評方案(2020年版)》,目前已執(zhí)行2年,為幫助大家全面、細(xì)致地做好測評準(zhǔn)備工作。小編結(jié)合2020版測評方案,從專家文審、定量測試以及定性評價(jià)等方面進(jìn)行闡述與分享,以幫助醫(yī)院更好把握政策要求,助力醫(yī)院互聯(lián)互通等級測評。

專家文審:如何做好前期準(zhǔn)備工作?

進(jìn)入文審階段,平臺的測評準(zhǔn)備工作基本完成。在該測評節(jié)點(diǎn),申報(bào)醫(yī)院需要提交證明材料并進(jìn)行文審匯報(bào),評審?fù)ǔ2扇<页鯇徍蛥R報(bào)審核相結(jié)合的方式來開展。

方案中明確建立定量測試和定性評價(jià)兩只專家隊(duì)伍,其中,文審專家組由管理機(jī)構(gòu)從定性評價(jià)專家?guī)熘羞x擇專家組建。

 

注意事項(xiàng)

首先,專家初審環(huán)節(jié)。專家會通過技術(shù)架構(gòu)及應(yīng)用效果等證明材料來初驗(yàn)平臺建設(shè)的標(biāo)準(zhǔn)化情況及成熟度應(yīng)用情況。此項(xiàng)審核對證明材料文檔的要求非常高,證明材料要有文字描述加上系統(tǒng)截圖;醫(yī)院要根據(jù)測評指標(biāo)的每一項(xiàng)要求反復(fù)對標(biāo),保證各指標(biāo)項(xiàng)的論點(diǎn)、論據(jù)足夠佐證。

其次,匯報(bào)審核。整體匯報(bào)要注意對標(biāo)指標(biāo)、逐條匯報(bào)、實(shí)事求是等。針對專家的提問,要認(rèn)真記錄,能夠現(xiàn)場解答由院方人員認(rèn)真解答;確實(shí)有些沒有實(shí)現(xiàn)的一定要記錄在案,文審結(jié)束后繼續(xù)整改。

總之,對于專家文審,醫(yī)院要有充分準(zhǔn)備。如果醫(yī)院所提供的證明材料完全無法佐證,評審答辯時(shí)又無法解釋材料的客觀真實(shí)性,從實(shí)際業(yè)務(wù)角度來講,專家會認(rèn)為是材料造假,直接判定文審不通過。當(dāng)然,對于證明不足的指標(biāo),專家會定義為弱項(xiàng)作為現(xiàn)場測評的重點(diǎn)查驗(yàn)項(xiàng)。

定量測試:2020版測試方案釋放了哪些信號?

專家文審之后,就是定量測試的準(zhǔn)備。通常在5月份,醫(yī)院的定量測試會陸續(xù)開展。

定量指標(biāo)測試采用“黑盒測試”的方法,即在測試中,把程序看作一個(gè)不能打開的黑盒子,在完全不考慮程序內(nèi)部結(jié)構(gòu)和內(nèi)部特性的情況下,在程序接口進(jìn)行測試,它只檢查程序功能是否按照需求規(guī)格說明書的規(guī)定正常使用,程序是否能適當(dāng)?shù)亟邮蛰斎霐?shù)據(jù)而產(chǎn)生正確的輸出信息。

該測試主要包括數(shù)據(jù)集、共享文檔標(biāo)準(zhǔn)化情況(對應(yīng)測評指標(biāo)2.1和2.2)及互聯(lián)互通交互服務(wù)、平臺運(yùn)行性能情況(對應(yīng)指標(biāo)3.2和3.3)。

1.數(shù)據(jù)資源標(biāo)準(zhǔn)化建設(shè)情況

數(shù)據(jù)資源標(biāo)準(zhǔn)化建設(shè)分為數(shù)據(jù)集標(biāo)準(zhǔn)化與共享文檔標(biāo)準(zhǔn)化兩部分,總體分值為30分。其中,三級要求達(dá)標(biāo)分?jǐn)?shù)為28分,四級及五級乙等需達(dá)到29分,而五級甲等仍要求達(dá)到滿分30分。過級達(dá)標(biāo)要求較之前保持不變。

數(shù)據(jù)集標(biāo)準(zhǔn)化:測試電子病歷數(shù)據(jù)的數(shù)據(jù)類型、表示格式、數(shù)據(jù)元值及代碼等數(shù)據(jù)元屬性的標(biāo)準(zhǔn)化程度。

共享文檔標(biāo)準(zhǔn)化:測試電子病歷共享文檔的文檔結(jié)構(gòu)和文檔內(nèi)容的標(biāo)準(zhǔn)符合性。

注意事項(xiàng)

測評依據(jù)

根據(jù)2020版互聯(lián)互通測評方案,數(shù)據(jù)集標(biāo)準(zhǔn)化建設(shè)需要依照《WS445-2014電子病歷基本數(shù)據(jù)集》等文件標(biāo)準(zhǔn),包括17個(gè)電子病歷基本數(shù)據(jù)集以及各數(shù)據(jù)集下的若干子集(共計(jì)58個(gè)子集),以及另有兩個(gè)五甲要求的共享文檔---法定醫(yī)學(xué)證明及報(bào)告、健康體檢。而共享文檔標(biāo)準(zhǔn)化則需要依照《WS/T 500-2016電子病歷共享文檔規(guī)范》等文件標(biāo)準(zhǔn)進(jìn)行建設(shè),共計(jì)53個(gè)共享文檔。

數(shù)據(jù)集、共享文檔需具備

(1)完整性:輸出文檔數(shù)量與臨床病歷文檔種類和數(shù)量一致;

(2)準(zhǔn)確性:凡評審標(biāo)準(zhǔn)有明確要求的字典(特別是ICD-10、ICD-9等),均需將業(yè)務(wù)字典映射為標(biāo)準(zhǔn)字典后輸出;

(3)真實(shí)性:所有數(shù)據(jù)需真實(shí)有效,且除缺省默認(rèn)之外,全部需要在業(yè)務(wù)系統(tǒng)中找到真實(shí)出處;

(4)覆蓋率:①共享文檔對應(yīng)業(yè)務(wù)的應(yīng)用覆蓋率達(dá)以上;②每份共享文檔值覆蓋率達(dá)95%以上。

由此,在該測評節(jié)點(diǎn)中,數(shù)據(jù)完整性、準(zhǔn)確性、真實(shí)性以及標(biāo)準(zhǔn)性等數(shù)據(jù)質(zhì)量問題是關(guān)鍵。醫(yī)院需仔細(xì)閱讀國家下發(fā)的測評方案中的標(biāo)準(zhǔn)規(guī)范,逐條對標(biāo)建設(shè)、查缺補(bǔ)漏,在源頭上建好應(yīng)用系統(tǒng)。尤其是要做好數(shù)據(jù)集口徑的確認(rèn)、業(yè)務(wù)改造、臨床使用推廣、數(shù)據(jù)填充等一系列工作,確保數(shù)據(jù)質(zhì)量。

2.互聯(lián)互通標(biāo)準(zhǔn)化建設(shè)情況

在定量測試中,互聯(lián)互通標(biāo)準(zhǔn)化建設(shè)情況包括互聯(lián)互通交互服務(wù)情況以及平臺運(yùn)營性能情況兩部分。

首先,3.2互聯(lián)互通交互服務(wù)情況主要是測試平臺基本交互服務(wù)接口的標(biāo)準(zhǔn)符合性。2020版測評方案有以下幾點(diǎn)變化:

評審內(nèi)容

2020版測評標(biāo)準(zhǔn)中,需要實(shí)現(xiàn)的互聯(lián)互通交互服務(wù)數(shù)量由38個(gè)增加到69個(gè),新增項(xiàng)包括就診卡信息查詢、住院轉(zhuǎn)科信息查詢等。(四級甲等)

評審指標(biāo)

“3.2.8狀態(tài)信息交互服務(wù)”中去掉了藥敏結(jié)果與病理結(jié)果狀態(tài)服務(wù)評審指標(biāo)。(五級甲等)

等級要求

預(yù)約信息交互服務(wù)中,號源服務(wù)等級要求由四級甲等調(diào)至五級乙等,過級難度明顯降低。

其次,3.3平臺運(yùn)行性能情況目前主要通過查看服務(wù)運(yùn)行的后臺日志,獲取其起止時(shí)間的方式進(jìn)行測試。在2020版互聯(lián)互通標(biāo)準(zhǔn)中分值由5分調(diào)至0分,不影響測評等級,在此不做贅述。

注意事項(xiàng)

互聯(lián)互通交互服務(wù)標(biāo)準(zhǔn)符合性即判斷測試對象是否符合醫(yī)院信息平臺技術(shù)規(guī)范和交互規(guī)范。需注意以下幾點(diǎn):

(1)及時(shí)性:對照平臺運(yùn)行性能3.3及平臺應(yīng)用效果,所有基于平臺的交互服務(wù)(標(biāo)準(zhǔn)或非標(biāo))均需及時(shí)響應(yīng),小于1s為宜;

(2)真實(shí)性:交互服務(wù)內(nèi)容要來源于業(yè)務(wù),所有值均需在業(yè)務(wù)系統(tǒng)中找到原始出處;

(3)準(zhǔn)確性:無論是出入?yún)⒏袷?,還是值域合法性,均需要完全滿足互聯(lián)互通測評方案標(biāo)準(zhǔn)要求;

(4)覆蓋率:標(biāo)準(zhǔn)交互服務(wù)所涉及的所有業(yè)務(wù)均需按照標(biāo)準(zhǔn)要求接入平臺。

此外,在自動化測試中可能會遇到發(fā)送請求消息失敗、xm[x]l無法解析、Schema校驗(yàn)錯誤以及缺少必填內(nèi)容等問題。由此,在實(shí)際定量測試過程中,院方及項(xiàng)目團(tuán)隊(duì)要仔細(xì)核對、逐項(xiàng)排查,避免產(chǎn)生上述問題。

定性評價(jià):針對四級甲等及以上提出哪些新要求?

據(jù)數(shù)據(jù)統(tǒng)計(jì),2013年~2019年,評級結(jié)果為四級甲等的醫(yī)療機(jī)構(gòu)占比約86%,四級甲等已成為當(dāng)前醫(yī)療健康信息互聯(lián)互通的目標(biāo)和期望值。由此,以下內(nèi)容主要針對2020版測評方案中“四級甲等及以上等級”的評測內(nèi)容、指標(biāo)及要求進(jìn)行解讀與探討。

定性測試是由測評專家進(jìn)行人工定性評價(jià),主要依據(jù)測評方案中的定性指標(biāo),通過文件審查、現(xiàn)場驗(yàn)證、現(xiàn)場確認(rèn)和演示答疑等形式對測評對象在實(shí)際生產(chǎn)環(huán)境中的運(yùn)行情況進(jìn)行驗(yàn)證測評和打分。

定性評審指標(biāo)主要包括互聯(lián)互通標(biāo)準(zhǔn)化建設(shè)中的技術(shù)架構(gòu)(對應(yīng)指標(biāo)3.1)、基礎(chǔ)設(shè)施建設(shè)(對應(yīng)指標(biāo)4.0)以及互聯(lián)互通應(yīng)用效果(對應(yīng)指標(biāo)5.0)三大部分。

1.技術(shù)架構(gòu)情況

2020版互聯(lián)互通在技術(shù)架構(gòu)上提出了新要求,主要體現(xiàn)在以下幾個(gè)方面:

3.1.2信息整合技術(shù)

四級甲等要求在總線技術(shù)基礎(chǔ)上探索基于微服務(wù)架構(gòu)的環(huán)境搭建,實(shí)現(xiàn)API網(wǎng)關(guān)等環(huán)節(jié)的系統(tǒng)化管理;

3.1.3信息資源庫

針對申報(bào)四級的醫(yī)院,強(qiáng)調(diào)獨(dú)立臨床信息數(shù)據(jù)庫即CDR數(shù)據(jù)時(shí)效性;其中,四級甲等要求數(shù)據(jù)傳輸時(shí)間

3.1.4統(tǒng)一身份認(rèn)證及門戶服務(wù)

分值由1.7分降為1.5分,小幅下降,等級要求為五級乙等;

3.1.5平臺功能

新增數(shù)據(jù)脫敏配置管理、交互服務(wù)訂閱管理功能;其中,數(shù)據(jù)脫敏配置管理是四級甲等硬性評審要求。

2.基礎(chǔ)設(shè)施建設(shè)情況

該部分總分值由15分調(diào)至18分,比重小幅上升。

4.1.2存儲設(shè)備

醫(yī)院信息平臺存儲是否具有連續(xù)數(shù)據(jù)保護(hù)(CDP)能力,分值由0.04分調(diào)至0.5分,大幅上調(diào)。(五級甲等)

4.1.3網(wǎng)絡(luò)設(shè)備

五級甲等要求具有物聯(lián)網(wǎng)與5G部署接入能力;

醫(yī)院數(shù)據(jù)中心無線網(wǎng)絡(luò)設(shè)備調(diào)整為無線網(wǎng)絡(luò)控制器、無線終端設(shè)備、無限認(rèn)證和安全保障機(jī)制三大部分,等級由五級乙等調(diào)至四級甲等。

4.2.3網(wǎng)絡(luò)安全

惡意代碼防范能力要求提高,四級甲等要求具有網(wǎng)絡(luò)流量惡意代碼防范措施及新型和未知威脅發(fā)現(xiàn)能力。

4.3.2應(yīng)用安全

醫(yī)院應(yīng)用系統(tǒng)安全防護(hù)能力要求提高,四級甲等要求定期對應(yīng)用系統(tǒng)進(jìn)行安全檢查與應(yīng)急演練。

4.4.1臨床服務(wù)系統(tǒng)建設(shè)情況

臨床服務(wù)系統(tǒng)建設(shè)由22個(gè)增至33個(gè),其中四級甲等≥22個(gè),五級乙等≥26個(gè),五級甲等≥30個(gè)。

4.4.2醫(yī)療管理系統(tǒng)建設(shè)情況

醫(yī)療管理系統(tǒng)建設(shè)由12個(gè)增至24個(gè),其中四級甲等≥14個(gè),五級乙等≥18個(gè),五級甲等≥20個(gè)。

4.4.3運(yùn)營管理系統(tǒng)建設(shè)情況

醫(yī)療管理系統(tǒng)建設(shè)由12個(gè)增至24個(gè),其中四級甲等≥14個(gè),五級乙等≥18個(gè),五級甲等≥20個(gè)。

注意事項(xiàng)

在新的測評方案中,對信息安全的建設(shè)又做了進(jìn)一步的加強(qiáng)要求。尤其是明確規(guī)定了參加測評時(shí),醫(yī)院核心業(yè)務(wù)系統(tǒng)(含平臺)要完成等級保護(hù)三級的定級備案與測評工作,三級等保的證書(有效期內(nèi))也需要在互聯(lián)互通測評的文審階段進(jìn)行提交。當(dāng)然,醫(yī)院還要注意信息安全管理制度、技術(shù)保障等方面的一系列新的要求,譬如,“專業(yè)機(jī)房”的評審要求必須提供有效的機(jī)房檢測報(bào)告等相關(guān)證明等,準(zhǔn)確把握互聯(lián)互通信息安全建設(shè)要點(diǎn)。此外,醫(yī)院在互聯(lián)互通建設(shè)中,建議四級甲等系統(tǒng)數(shù)量比標(biāo)準(zhǔn)要求多2-3個(gè)為宜。

3.互聯(lián)互通應(yīng)用效果

應(yīng)用建設(shè)情況及利用情況

5.1.1公眾服務(wù)應(yīng)用系統(tǒng)建設(shè)情況及利用情況

實(shí)現(xiàn)的公眾服務(wù)類型調(diào)整為患者自主終端、患者線上服務(wù)、患者線上支付;其中,四級甲等≥2且滿足應(yīng)用要求,五級乙等≥3且滿足應(yīng)用要求。(實(shí)際應(yīng)用達(dá)到門診量的50%為滿足應(yīng)用要求)

5.1.2醫(yī)療服務(wù)應(yīng)用系統(tǒng)建設(shè)情況及利用情況

5.1.2.1實(shí)現(xiàn)的醫(yī)療服務(wù)應(yīng)用,新增CDR瀏覽器、基于數(shù)據(jù)中心的BI系統(tǒng);其中,四級甲等≥3且滿足應(yīng)用要求,五級乙等≥4且滿足應(yīng)用要求。第一項(xiàng)實(shí)際應(yīng)用達(dá)到臨床和醫(yī)技應(yīng)用環(huán)境全支持,并達(dá)到門診量的30%為滿足應(yīng)用要求;第二項(xiàng)實(shí)際應(yīng)用需要數(shù)據(jù)證明為非個(gè)案應(yīng)用。

5.1.2.2提供醫(yī)院運(yùn)行、醫(yī)療質(zhì)量與安全監(jiān)測指標(biāo),新增DRGs;且四級甲等≥4,四級甲等及以上要求基于醫(yī)院信息平臺實(shí)現(xiàn)。

5.1.2.8基于大數(shù)據(jù)的決策分析方面提供臨床決策支持,調(diào)整為臨床用藥預(yù)警、診療效果預(yù)警、VTE預(yù)警、傳染病預(yù)警、血糖預(yù)警、急性腎損傷預(yù)警、慢性阻塞性肺疾?。–OPD)預(yù)警以及其它應(yīng)用大數(shù)據(jù)技術(shù)開展的病種預(yù)警等;其中,五級乙等≥3,五級甲等≥6。

5.1.3衛(wèi)生管理應(yīng)用系統(tǒng)建設(shè)情況及利用情況

5.1.3.1在門診動態(tài)管理方面提供輔助決策支持,新增門診患者平均預(yù)約診療率、預(yù)約患者就診等候時(shí)長,要求四級甲等≥4;

5.1.3.2在工作負(fù)荷管理方面提供輔助決策支持,新增醫(yī)生日均住院工作負(fù)擔(dān)(如平均每位醫(yī)師每日擔(dān)負(fù)的住院床日數(shù)),要求四級甲等≥3;

5.1.3.3在患者負(fù)擔(dān)管理方面提供輔助決策支持,新增門診次均藥費(fèi)、住院均藥費(fèi),要求四級甲等≥6;

5.1.3.4在工作效率管理方面提供輔助決策支持,要求四級甲等≥4。

新增“5.1.4新技術(shù)應(yīng)用情況”

5.1.4.1大數(shù)據(jù)技術(shù)應(yīng)用情況,分值0.1分,包括自然語言處理、知識圖譜、數(shù)據(jù)建模、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、大數(shù)據(jù)搜索等;其中,要求五級乙等≥3,五級甲等≥5。

5.1.4.2其他新技術(shù)應(yīng)用情況,分值0.1分,包括5G、影像AI、語音識別、視覺識別、區(qū)塊鏈、物聯(lián)網(wǎng)、機(jī)器人、可穿戴設(shè)備等;其中,要求五級乙等≥3,五級甲等≥5。

注意事項(xiàng)

互聯(lián)互通應(yīng)用效果,是國家互聯(lián)互通標(biāo)準(zhǔn)化測評重點(diǎn)考察的項(xiàng)目。由上文可以看出,新版測評方案更加注重互聯(lián)互通的實(shí)際應(yīng)用效果。由此,醫(yī)院在互聯(lián)互通建設(shè)的過程中應(yīng)注意以下幾點(diǎn)

第一,該部分等級要求中明確了“滿足應(yīng)用要求”的指標(biāo),醫(yī)院需對照具體要求滿足相應(yīng)的覆蓋率;

第二,該部分患者自助終端、患者線上服務(wù)等多項(xiàng)評審指標(biāo)需基于醫(yī)院信息平臺實(shí)現(xiàn);

第三,新標(biāo)準(zhǔn)要求申報(bào)四級甲等、五級乙等的醫(yī)院必須建成具備一定數(shù)量功能的互聯(lián)網(wǎng)醫(yī)院;注意,雖然標(biāo)準(zhǔn)不要求一定基于平臺,但建議涉及到標(biāo)準(zhǔn)交互服務(wù)的業(yè)務(wù)部分,有針對性的接入平臺;

第四,所有種類指標(biāo),需采用基于平臺的數(shù)據(jù)分析系統(tǒng)實(shí)現(xiàn),普通報(bào)表或各類業(yè)務(wù)系統(tǒng)單獨(dú)具備的指標(biāo)統(tǒng)計(jì)不能滿足標(biāo)準(zhǔn)要求。

此外,申報(bào)高等級的醫(yī)院要注意把握新版方案在業(yè)務(wù)閉環(huán)、臨床知識庫、臨床輔助決策支持、基于大數(shù)據(jù)的決策分析、基于大數(shù)據(jù)的臨床科研應(yīng)用與人工智能等方面的要求。

平臺聯(lián)通業(yè)務(wù)范圍

5.2.1基于平臺的內(nèi)部聯(lián)通業(yè)務(wù)

5.2.1.1接入平臺的臨床服務(wù)系統(tǒng)的接入情況,接入的系統(tǒng)由22個(gè)增至33個(gè),其中四級甲等≥15個(gè),五級乙等≥26個(gè),五級甲等≥30個(gè)。

5.2.1.2接入平臺的醫(yī)療管理系統(tǒng)的接入情況,接入的系統(tǒng)由12個(gè)增至24個(gè),其中四級甲等≥10個(gè),五級乙等≥18個(gè),五級甲等≥20個(gè)。

5.2.1.3接入醫(yī)院信息平臺的運(yùn)營管理系統(tǒng)的接入情況,接入的系統(tǒng)由7個(gè)增至15個(gè),其中四級甲等≥6個(gè),五級乙等≥10個(gè),五級甲等≥14個(gè)。

5.2.2基于平臺的外部聯(lián)通業(yè)務(wù)

5.2.2.1醫(yī)院信息平臺是否接入上級信息平臺,與上級已聯(lián)通的業(yè)務(wù)由4個(gè)增至8個(gè),其中五級乙等≥5個(gè),五級甲等≥8個(gè)。

5.2.2.5平臺是否接入外部機(jī)構(gòu),已聯(lián)通的外部機(jī)構(gòu)由7個(gè)增至11個(gè),其中四級甲等≥5個(gè),五級乙等≥7個(gè),五級甲等≥9個(gè)。

注意事項(xiàng)

對于接入平臺的業(yè)務(wù)系統(tǒng),其相關(guān)交互服務(wù)的日志要注意以下幾點(diǎn):

一是需要在平臺上完整、及時(shí)的顯示;

二是要支持圍繞患者、醫(yī)囑或處方等條件的精查詢,同時(shí)可查看詳細(xì)的日志內(nèi)容;

此外,日志時(shí)間和內(nèi)容等也要符合業(yè)務(wù)邏輯性。