對(duì)話中國(guó)信通院與7家醫(yī)療AI企業(yè),第三方測(cè)評(píng)的意義與AI的未來(lái)發(fā)展
5年時(shí)間,對(duì)于醫(yī)療影像人工智能而言,已經(jīng)走過(guò)了發(fā)展的初期,即技術(shù)驗(yàn)證階段,但行業(yè)之初時(shí)顯現(xiàn)的問(wèn)題,不少至今依然存在。
其一,由于缺乏足夠豐富、有效的數(shù)據(jù)供企業(yè)訓(xùn)練,很多AI產(chǎn)品難以在臨床之中表現(xiàn)出好的判別水平。問(wèn)題的背后是數(shù)據(jù)標(biāo)注的高成本與數(shù)據(jù)獲取的高難度。至今為止,醫(yī)療數(shù)據(jù)的倫理問(wèn)題尚未通過(guò)立法的方式進(jìn)行解決,企業(yè)訓(xùn)練數(shù)據(jù)獲取的方式仍難以規(guī)范。
其二,受數(shù)據(jù)、算法限制,符合臨床實(shí)際的多病種、多線程的AI僅少數(shù)企業(yè)能夠一定程度實(shí)現(xiàn),大量的AI產(chǎn)品能夠解決單病種問(wèn)題,但難以完全滿足醫(yī)生的實(shí)際需求。
其三,缺乏統(tǒng)一的AI產(chǎn)品數(shù)據(jù)標(biāo)準(zhǔn)、測(cè)試平臺(tái)、第三方數(shù)據(jù)庫(kù)。在介紹產(chǎn)品準(zhǔn)確度、敏感度指標(biāo)時(shí),企業(yè)往往只談數(shù)字,而沒(méi)談獲得數(shù)字的過(guò)程。若是拿著訓(xùn)練使用的數(shù)據(jù)庫(kù)進(jìn)行后續(xù)測(cè)評(píng),好比學(xué)生參加自己出卷的考試,考出的結(jié)果有效性存疑。
要從這些問(wèn)題之中找到答案,不僅需要企業(yè)自身的努力,還需要政策予以支持。數(shù)年來(lái),國(guó)藥監(jiān)局器審中心、中國(guó)信通院等機(jī)構(gòu)一直為規(guī)范醫(yī)療AI不懈努力。本次世界人工智能大會(huì)之上公布的肺炎AI影像輔助診斷產(chǎn)品評(píng)測(cè)(下文簡(jiǎn)稱“肺炎AI測(cè)評(píng)”)結(jié)果,便是中國(guó)信通院等機(jī)構(gòu)為解決第三個(gè)問(wèn)題開(kāi)出的處方。
評(píng)測(cè)技術(shù)構(gòu)成
肺炎AI測(cè)評(píng)源于工信部科技司的指導(dǎo),實(shí)際由中國(guó)信通院、中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟、醫(yī)學(xué)人工智能研究與驗(yàn)證工信部重點(diǎn)實(shí)驗(yàn)室聯(lián)合舉行。這是一次創(chuàng)新式的、基于全封閉式獨(dú)立沙箱監(jiān)測(cè)環(huán)境的測(cè)評(píng),從數(shù)據(jù)收集、標(biāo)注,到后續(xù)的測(cè)試、評(píng)分,均在脫離企業(yè)的情況下進(jìn)行,這保證了測(cè)評(píng)的公正性與權(quán)威性。
中國(guó)信通院高級(jí)咨詢顧問(wèn)王道洋告訴動(dòng)脈網(wǎng):“沙箱環(huán)境意味著這是一個(gè)完全封閉的狀態(tài),過(guò)去的測(cè)評(píng)常常是將處理后的數(shù)據(jù)交給企業(yè)進(jìn)行測(cè)試,而本次測(cè)試是由企業(yè)將AI 產(chǎn)品通過(guò)VPN進(jìn)行單項(xiàng)部署,部署完成后我們會(huì)先關(guān)閉通道,再進(jìn)行測(cè)試數(shù)據(jù),所有測(cè)試數(shù)據(jù)從醫(yī)院拷貝后均處于緩存狀態(tài),一經(jīng)測(cè)試完畢,立即刪除數(shù)據(jù)!
測(cè)評(píng)使用的每一個(gè)數(shù)據(jù)都進(jìn)行了嚴(yán)格的篩選與勾畫,以保證試驗(yàn)環(huán)境與真實(shí)世界的可比性。最終,整個(gè)數(shù)據(jù)庫(kù)收集了上海公共衛(wèi)生臨床中心、武漢市中南醫(yī)院、武漢市第三醫(yī)院、杭州市第一人民醫(yī)院、浙江大學(xué)附屬第一醫(yī)院、北京地壇醫(yī)院、溫州市中心醫(yī)院7家新冠肺炎定點(diǎn)醫(yī)療機(jī)構(gòu),總計(jì)1000例測(cè)試數(shù)據(jù)。這1000例數(shù)據(jù)中,30.7%的數(shù)據(jù)來(lái)源于健康人群,36.2%的數(shù)據(jù)來(lái)源于新冠肺炎患者,33.1%的數(shù)據(jù)來(lái)源于非新冠肺炎。
智能CT影像診斷技術(shù)應(yīng)用評(píng)測(cè)數(shù)據(jù)來(lái)源(數(shù)據(jù)來(lái)源于中國(guó)信通院)
各數(shù)據(jù)分布(數(shù)據(jù)來(lái)源于中國(guó)信通院)
為了保證數(shù)據(jù)庫(kù)與真實(shí)世界盡量符合,工作組在采集過(guò)程中充分考慮了采集設(shè)備和配置、數(shù)據(jù)多樣化和病例分布三個(gè)維度指標(biāo)。具體而言,非新冠肺炎數(shù)據(jù)庫(kù)里包含了肺水腫、普通肺炎等多種數(shù)據(jù),同時(shí),考慮到魯棒性和抗干擾因素,本次測(cè)評(píng)加入了實(shí)際臨床中經(jīng)常出現(xiàn)的70例非標(biāo)準(zhǔn)影像數(shù)據(jù)。
后續(xù)的評(píng)測(cè)流程同樣經(jīng)過(guò)了深入的推敲。整個(gè)評(píng)測(cè)方案由功能審查、性能評(píng)測(cè)、專家評(píng)審三個(gè)方向進(jìn)行。功能審查主要從軟件質(zhì)量入手,核查肺炎AI產(chǎn)品的可靠性、易用性、兼容性、功能完備性與系統(tǒng)安全性五個(gè)維度。性能評(píng)測(cè)則采用已標(biāo)注測(cè)試數(shù)據(jù)進(jìn)行可觀察測(cè)試,對(duì)肺炎AI產(chǎn)品的臨床診斷性能進(jìn)行評(píng)價(jià),其指標(biāo)包括準(zhǔn)確率、靈敏度、特異度和Kappa系數(shù)四個(gè)維度。專家評(píng)審則是邀請(qǐng)國(guó)內(nèi)權(quán)威專家從產(chǎn)品體驗(yàn)性、實(shí)用性、產(chǎn)品創(chuàng)新性,以及合理性對(duì)產(chǎn)品進(jìn)行評(píng)價(jià),同時(shí)綜合考慮創(chuàng)新性的特殊功能評(píng)價(jià)。
最終,北京安德醫(yī)智科技有限公司、上海聯(lián)影智能醫(yī)療科技有限公司、上海依圖醫(yī)療技術(shù)有限公司、上海深睿博聯(lián)醫(yī)療科技有限公司、平安科技深圳有限公司、杭州健培科技有限公司、上海皓樺科技股份有限公司7家醫(yī)療AI企業(yè)的肺炎AI影像輔助診斷產(chǎn)品從參評(píng)的17家醫(yī)療AI公司中脫穎而出。
總的來(lái)說(shuō),這次評(píng)測(cè)可謂是打破了之前醫(yī)療AI行業(yè)自說(shuō)自話、各自為戰(zhàn)的局面,這不僅是首次由官方舉辦的醫(yī)療AI影像輔助診斷產(chǎn)品的同臺(tái)競(jìng)技,更是特殊歷史時(shí)刻的“人工智能抗疫產(chǎn)品”測(cè)評(píng),意義非同小可。
測(cè)評(píng)結(jié)果分析
“總體來(lái)看,國(guó)內(nèi)部分人工智能企業(yè)的肺炎AI產(chǎn)品已達(dá)到較好水平,產(chǎn)品的功能已相對(duì)成熟和完善,有近1/3的產(chǎn)品在肺炎層面的準(zhǔn)確率、靈敏度和特異度均在90%以上。部分產(chǎn)品在完善了基礎(chǔ)功能的基礎(chǔ)上逐步在開(kāi)發(fā)一些對(duì)醫(yī)生有重要輔助意義的特色創(chuàng)新功能,如傳染性肺炎AI預(yù)警系統(tǒng)、智能示教功能等,也得到了醫(yī)生權(quán)威專家的認(rèn)可”。在分析了整個(gè)測(cè)評(píng)的結(jié)果后,中國(guó)信通院給出了上述結(jié)論。
但從17家企業(yè)的實(shí)際得分來(lái)看,人工智能企業(yè)的產(chǎn)品性能優(yōu)劣還是存在較大差異。此外,僅小部分產(chǎn)品實(shí)現(xiàn)了針對(duì)新冠肺炎的識(shí)別,對(duì)于病灶的定位精確度尚待進(jìn)一步提升。小部分產(chǎn)品沒(méi)有對(duì)肺炎進(jìn)行有效分類,產(chǎn)品功能、性能的提升需要通過(guò)更多標(biāo)注的數(shù)據(jù)進(jìn)行訓(xùn)練。
“性能測(cè)試部分是拉開(kāi)差距的主要原因!敝袊(guó)信通院相關(guān)負(fù)責(zé)人介紹,性能測(cè)試包含“是否肺炎”、“是否新冠”、“病灶位置”。根據(jù)測(cè)評(píng)結(jié)果顯示,大部分企業(yè)產(chǎn)品都能較好地篩查出“是否肺炎”,但在“新冠肺炎鑒別診斷”方面,僅有3家企業(yè)準(zhǔn)確率、靈敏度、特異度在80%以上,部分指標(biāo)超過(guò)90%。
“出現(xiàn)這一結(jié)果的原因是多樣的,這是我們第一次啟用沙箱環(huán)境測(cè)試,企業(yè)對(duì)我們的數(shù)據(jù)格式、測(cè)試環(huán)境等因素不太熟悉造成了一定操作上的失誤。有的企業(yè)在測(cè)試過(guò)程中會(huì)出現(xiàn)一些故障,比如軟件突然Down掉了,導(dǎo)致后續(xù)的數(shù)據(jù)測(cè)不出來(lái),而進(jìn)行補(bǔ)充測(cè)試時(shí),模型可能已經(jīng)出現(xiàn)了一定偏移。對(duì)于這些情況,我們通常給予了操作失誤的企業(yè)重新測(cè)評(píng)的機(jī)會(huì),但更為重要的原因還是在于訓(xùn)練數(shù)據(jù)與技術(shù)積累!
“從時(shí)間維度上講,三個(gè)月左右的疫情期算不上長(zhǎng),企業(yè)不太容易拿到數(shù)量充分的數(shù)據(jù),也沒(méi)用充分的時(shí)間訓(xùn)練,加之后續(xù)的標(biāo)注流程可能存在問(wèn)題,種種原因造成很多企業(yè)測(cè)評(píng)結(jié)果不佳。相比之下,有的企業(yè)技術(shù)積累較豐富、訓(xùn)練數(shù)據(jù)量較大,后續(xù)的測(cè)評(píng)結(jié)果也就越好,這是一個(gè)客觀原因!
“從更宏觀的維度上講,很多企業(yè)為了迅速實(shí)現(xiàn)商業(yè)化,會(huì)對(duì)產(chǎn)品功能進(jìn)行一些調(diào)整,使其能夠盡快完成器械準(zhǔn)入審批,實(shí)現(xiàn)商業(yè)化。”這一激勵(lì)機(jī)制下,企業(yè)或許會(huì)對(duì)AI產(chǎn)品進(jìn)行了一定程度的簡(jiǎn)化。但測(cè)評(píng)并非審批,人工智能企業(yè)得以立足的關(guān)鍵還是需要做出符合醫(yī)生實(shí)際臨床需求的產(chǎn)品。
如何建立面向未來(lái)的醫(yī)療AI?
為了進(jìn)一步了解本次測(cè)評(píng)的實(shí)際情況,并從中歸納經(jīng)驗(yàn),動(dòng)脈網(wǎng)采訪到了本次獲得前7佳績(jī)的人工智能企業(yè),希望從與他們的對(duì)話之中,探尋AI的未來(lái)發(fā)展方向。
>>>>
關(guān)于本次測(cè)評(píng)
Q:從企業(yè)的角度來(lái)看,必須做好哪些工作才能保證AI的性能,有效通過(guò)測(cè)試?
聯(lián)影智能詹翊強(qiáng):由于本次測(cè)試的數(shù)據(jù)既包含了新冠肺炎的數(shù)據(jù),也包含了非新冠肺炎的數(shù)據(jù)。因此,我們的思路是以已有的肺炎AI產(chǎn)品為基礎(chǔ)補(bǔ)充新冠肺炎的輔助診斷功能。
新冠肺炎的數(shù)據(jù)本身不多,這便對(duì)標(biāo)注過(guò)程提出了新的要求。在這一過(guò)程中,我們采用了“人在回路”的標(biāo)注方式,由醫(yī)生和專家團(tuán)隊(duì)對(duì)小部分新冠肺炎數(shù)據(jù)進(jìn)行標(biāo)注,讓算法對(duì)這一部分內(nèi)容進(jìn)行學(xué)習(xí),得到一個(gè)初始版模型。雖然這個(gè)初始版的模型性能欠佳,但在逐漸添加新數(shù)據(jù)的情況下,它將逐漸變得成熟。
分割環(huán)節(jié)則用到了聯(lián)影智能自主研發(fā)的分割引擎,這一AI引擎能夠?qū)Σ≡畋旧磉M(jìn)行分割,對(duì)肺段和肺葉進(jìn)行分割。這個(gè)分割過(guò)程實(shí)際上完成了兩件事,一是判斷是否存在病灶,二是通過(guò)分割病灶可獲得大量定量數(shù)據(jù),我們能夠計(jì)算每一個(gè)肺段病灶區(qū)的感染比例,從而判斷患者病情的輕重。在當(dāng)時(shí)醫(yī)療資源緊張的武漢,這項(xiàng)功能能夠有效輔助資源的最有分配。
因此,要保證新冠AI產(chǎn)品的質(zhì)量,一是要高效的標(biāo)注手段,二是要?jiǎng)?chuàng)新性的AI算法,三是要與醫(yī)生進(jìn)行深入溝通。
安德醫(yī)智李晶玨:新冠肺炎和非新新冠肺炎的CT影像之間有很多重疊性,也有明顯特異性。我們的AI在進(jìn)行學(xué)習(xí)時(shí),一定要明確這一數(shù)據(jù)的病原學(xué)情況,分清這個(gè)患者是不是新冠?如果不是新冠,那么我們會(huì)一定確認(rèn)它到底是細(xì)菌肺炎,甲流還是乙流。因此,對(duì)于這樣包含數(shù)據(jù)維度較為寬泛的數(shù)據(jù)庫(kù),我們的訓(xùn)練方法為我們爭(zhēng)取到了很大的優(yōu)勢(shì)。
皓樺科技周英:長(zhǎng)期的經(jīng)驗(yàn)積累是必要的,舉個(gè)例子,平常醫(yī)生診斷時(shí)難以判斷甲流、乙流,我們是能夠通過(guò)AI解決這些問(wèn)題,并通過(guò)多中心臨床試驗(yàn)進(jìn)行驗(yàn)證的。在新冠之后,我們有幸拿到了較多的新冠數(shù)據(jù),進(jìn)一步強(qiáng)化了自己的產(chǎn)品,這可能是我們相對(duì)于部分企業(yè)的一個(gè)優(yōu)勢(shì)。
依圖醫(yī)療石磊:產(chǎn)品設(shè)計(jì)、研發(fā)、內(nèi)部測(cè)試、外部驗(yàn)證,還有對(duì)于數(shù)據(jù)的標(biāo)注、專家內(nèi)部產(chǎn)品訓(xùn)練、專家的業(yè)務(wù)理解……AI性能是多因素合力結(jié)果。在此次疫情對(duì)企業(yè)是個(gè)考驗(yàn),各企業(yè)必須有能力在短時(shí)間內(nèi),先借助較小樣本數(shù)據(jù)研發(fā)產(chǎn)品,并滿足產(chǎn)品在多家醫(yī)院使用的泛化性,這需要企業(yè)的綜合能力,是由企業(yè)多年經(jīng)驗(yàn)積累而來(lái)的。這也同樣說(shuō)明,本次僅有部分企業(yè)通過(guò)測(cè)試,性能拉開(kāi)了一定差距,只是冰山一角,而水面之下的部分,是企業(yè)的真正實(shí)力展現(xiàn)。
Q:訓(xùn)練新冠肺炎AI算法用了多少數(shù)據(jù)?
深睿醫(yī)療李一鳴:肺炎數(shù)據(jù)是數(shù)萬(wàn)例。
安德醫(yī)智李晶玨:有核酸金標(biāo)準(zhǔn)的數(shù)據(jù)1萬(wàn)例左右,沒(méi)有核酸金標(biāo)準(zhǔn)的數(shù)據(jù)2萬(wàn)例左右。
皓樺科技周英:5000例非新冠肺炎數(shù)據(jù),1000例新冠肺炎數(shù)據(jù)。
Q:信通院曾表示,在材料審查時(shí),新冠肺炎數(shù)據(jù)訓(xùn)練數(shù)據(jù)量大的企業(yè)往往結(jié)果會(huì)相對(duì)好一些,怎樣看待數(shù)據(jù)量與AI結(jié)果的關(guān)系?
深睿醫(yī)療李一鳴:數(shù)據(jù)的量雖然重要,但并非決定性因素。一個(gè)AI產(chǎn)品的開(kāi)發(fā),除了訓(xùn)練數(shù)據(jù),還有核心的算法模型以及測(cè)試與臨床驗(yàn)證。此外,在訓(xùn)練新冠AI時(shí),我們更多地是在對(duì)已有產(chǎn)品進(jìn)行強(qiáng)化。單純從征象角度而言,新冠肺炎與傳統(tǒng)肺炎的差異并沒(méi)有那么大,但它會(huì)有一些其他的輔助信息需要我們注意,這也是我們模型調(diào)整的重點(diǎn)所在。
聯(lián)影智能詹翊強(qiáng):數(shù)據(jù)量對(duì)于新冠AI算法的訓(xùn)練非常重要,其次則是數(shù)據(jù)的來(lái)源。武漢的疫情比較嚴(yán)重,如果我們所有的訓(xùn)練數(shù)據(jù)都來(lái)自于武漢,那么訓(xùn)練后的AI可能更多偏向于重癥患者。因此,我們會(huì)近況考慮到不同地域的不同數(shù)據(jù)收集,這樣才能有效提高AI產(chǎn)品的可靠性。
依圖醫(yī)療石磊:數(shù)據(jù)量是影響性能的因素之一,數(shù)據(jù)的質(zhì)量、標(biāo)注的質(zhì)量、模型的設(shè)計(jì)、訓(xùn)練等都是重要的影響因素,每個(gè)環(huán)節(jié)都要做好,才能獲得優(yōu)異的性能。所以AI產(chǎn)品的準(zhǔn)確率與數(shù)據(jù)量有關(guān),但不能簡(jiǎn)單理解為擁有大量數(shù)據(jù)就能獲得優(yōu)異的AI結(jié)果。
安德醫(yī)智李晶玨:好的AI離不開(kāi)泛化性與大數(shù)據(jù)支持。實(shí)驗(yàn)室的結(jié)果與實(shí)戰(zhàn)結(jié)果存在差異,這說(shuō)明AI泛化性不足,這個(gè)問(wèn)題于人工智能而言就像一塊牛皮蘚,很難解決,卻也必須解決。解決的方法倒也不難,AI企業(yè)需要把不同廠家設(shè)備、不同型號(hào)、不同CT層厚的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練,這里需要投入大量的時(shí)間。再說(shuō)大數(shù)據(jù)支持,這是許多企業(yè)AI不能表現(xiàn)出好結(jié)果的根本原因,人工智能來(lái)源于大數(shù)據(jù),不與有效的大數(shù)據(jù)結(jié)合,基本上出不了好結(jié)果,數(shù)據(jù)的量與質(zhì)必須嚴(yán)控。
Q:企業(yè)在落地醫(yī)院之中往往會(huì)面臨一個(gè)新的環(huán)境,本次沙箱環(huán)境下的檢驗(yàn)也是如此。為了保證AI產(chǎn)品在落地的第一時(shí)間就能表現(xiàn)出較好的準(zhǔn)確性、敏感度和特異度,企業(yè)應(yīng)該怎樣應(yīng)對(duì)?
深睿醫(yī)療李一鳴:這其實(shí)是一個(gè)經(jīng)驗(yàn)問(wèn)題。進(jìn)入醫(yī)院后,我們會(huì)遇見(jiàn)不同的PACS系統(tǒng)或是影像設(shè)備,這一問(wèn)題在深睿醫(yī)療產(chǎn)品落地的早期確實(shí)存在。但經(jīng)過(guò)數(shù)百家醫(yī)院的實(shí)戰(zhàn),我們?nèi)缃褚呀?jīng)積累了10余種跟PACS對(duì)接的方案,這些方案都為我們的AI影像平臺(tái)所支持,只需要在配置項(xiàng)上進(jìn)行適當(dāng)勾選即可。如果影像設(shè)備更標(biāo)準(zhǔn),對(duì)接也更容易,相關(guān)的標(biāo)準(zhǔn)協(xié)議我們?cè)贏I開(kāi)發(fā)時(shí)便已經(jīng)準(zhǔn)備就緒。
依圖醫(yī)療石磊:AI產(chǎn)品想要在醫(yī)院實(shí)際發(fā)揮作用,需要經(jīng)歷多方面考驗(yàn),首先是能夠與醫(yī)院已有的系統(tǒng)穩(wěn)定的對(duì)接,很多醫(yī)院的信息化系統(tǒng)較為復(fù)雜,如果企業(yè)沒(méi)有經(jīng)驗(yàn),甚至在這個(gè)環(huán)節(jié)都可能面臨困難。AI產(chǎn)品需要兼容不同設(shè)備產(chǎn)生數(shù)據(jù),如果AI的泛化能力不足,不同拍攝條件下產(chǎn)生的細(xì)微差別,都有可能影響AI的能力。所以,企業(yè)在進(jìn)行AI研發(fā)時(shí),要充分考慮數(shù)據(jù)的訓(xùn)練方法、數(shù)據(jù)來(lái)源的多樣性,并對(duì)于一些特殊情況進(jìn)行針對(duì)性的設(shè)計(jì)和訓(xùn)練。
第二個(gè)難題是當(dāng)AI進(jìn)入系統(tǒng)后,對(duì)于不同設(shè)備產(chǎn)生數(shù)據(jù)、不同地域數(shù)據(jù)在拍攝條件上產(chǎn)生的細(xì)微差別把控不足時(shí),就容易出現(xiàn)判別結(jié)果不佳的問(wèn)題。所以,企業(yè)在進(jìn)行算法訓(xùn)練時(shí),要充分考慮數(shù)據(jù)的訓(xùn)練方法、數(shù)據(jù)來(lái)源的多樣性,并對(duì)于某些極端情況進(jìn)行一些穩(wěn)定性的設(shè)計(jì)。
平安科技黃凌云:我們對(duì)待這個(gè)問(wèn)題的認(rèn)識(shí)不外乎三點(diǎn),一是需要從臨床實(shí)際需求、業(yè)務(wù)場(chǎng)景流程和已有技術(shù)積累出發(fā),幫助醫(yī)護(hù)人員和醫(yī)療機(jī)構(gòu)做好三提兩降,提效益提效果提體驗(yàn),降成本降風(fēng)險(xiǎn)。
二是創(chuàng)新:要勇于進(jìn)行技術(shù)創(chuàng)新,比如新冠肺炎中對(duì)于病肺和病態(tài)肺葉的分割難點(diǎn)、以及初始條件下數(shù)據(jù)量和精準(zhǔn)標(biāo)注不足的問(wèn)題;我們嘗試了在腹部CT病態(tài)器官中行之有效的新的分割網(wǎng)絡(luò),以及遷移學(xué)習(xí)和人機(jī)結(jié)合半自動(dòng)標(biāo)注等新的方法,指標(biāo)有了很好的提升。
三要做好項(xiàng)目管理,功能和性能測(cè)評(píng)針對(duì)的是一整個(gè)肺炎系統(tǒng)的體系,需要從算法到產(chǎn)品設(shè)計(jì)到交互等不同方面的工作人員相互配合,形成一個(gè)有機(jī)的整體,才能呈現(xiàn)最佳的產(chǎn)品效果。
Q: 信通院的結(jié)論之中提到了“系統(tǒng)可靠性需要進(jìn)一步提升”,企業(yè)應(yīng)該如何提高產(chǎn)品的可靠性?
健培科技周彬波:系統(tǒng)可靠性分為兩種,一是軟件本身的可靠性,它是否能夠在長(zhǎng)期的運(yùn)行中保證無(wú)故障。二是診斷結(jié)果的可靠性,是否能夠保證在長(zhǎng)時(shí)間使用過(guò)程中保持的高準(zhǔn)確度,在不同設(shè)備之間保證結(jié)果的一致性。在研發(fā)軟件時(shí),企業(yè)需要提前根據(jù)質(zhì)量管理體系在需求階段、研發(fā)階段、測(cè)試階段進(jìn)行質(zhì)量把控。
平安科技黃凌云:有兩個(gè)層面的考慮,一個(gè)從算法表現(xiàn)上來(lái)看,為了提升系統(tǒng)可靠性,我們應(yīng)該進(jìn)行多中心和多模態(tài)多品牌數(shù)據(jù)訓(xùn)練,并采用domain adaption等研究領(lǐng)域中的有效算法,提升系統(tǒng)的魯棒性;另一個(gè)是從系統(tǒng)運(yùn)行角度來(lái)看,我們要設(shè)計(jì)好軟件系統(tǒng)架構(gòu),從產(chǎn)品設(shè)計(jì)階段開(kāi)始,對(duì)并發(fā)量、待處理數(shù)據(jù)排序、并行運(yùn)算穩(wěn)定性做好規(guī)劃,并嚴(yán)格按照軟件開(kāi)發(fā)流程規(guī)范進(jìn)行。
Q: 怎么看待創(chuàng)新分較低這一選項(xiàng)?
平安科技黃凌云:本次測(cè)評(píng)的創(chuàng)新分普遍較低,就我個(gè)人理解,大部分公司產(chǎn)品集中在肺炎病灶分割和定量測(cè)量等方面,醫(yī)生對(duì)于這批產(chǎn)品的功能感覺(jué)比較雷同,希望能有更多突破。但臨床的突破創(chuàng)新需要一定時(shí)間,隨著我們對(duì)于新冠數(shù)據(jù)更加系統(tǒng)化和結(jié)構(gòu)化的整理,采用人工智能技術(shù)對(duì)疾病轉(zhuǎn)歸預(yù)測(cè)等新的功能有深入挖掘,相信會(huì)對(duì)臨床起到更多的幫助作用。
此外,企業(yè)要強(qiáng)調(diào)創(chuàng)新,不能因循守舊,醫(yī)療AI解決的是一些醫(yī)療流程中的痼疾,但是要從新的視角切入,和新的算法流程表達(dá); 同時(shí)AI學(xué)習(xí)訓(xùn)練方法上不能簡(jiǎn)單地認(rèn)為用大體量標(biāo)注深度學(xué)習(xí)就能解決,這樣是很難規(guī);摹P枰C合考慮研發(fā)時(shí)間和人力資源成本和系統(tǒng)性能,要用方法上的本質(zhì)創(chuàng)新來(lái)優(yōu)化學(xué)習(xí)流程,并提高最后AI系統(tǒng)的精度和泛化能力。
>>>>
關(guān)于未來(lái)發(fā)展
Q:怎樣看待未來(lái)審批發(fā)展?
深睿醫(yī)療李一鳴:在這一個(gè)時(shí)點(diǎn)上,國(guó)家對(duì)于AI產(chǎn)品的審批給予了政策與資金上的大力支持,但在產(chǎn)品同質(zhì)化較為嚴(yán)重的今天,第一個(gè)同類產(chǎn)品的獲批必然面臨更為嚴(yán)格的審核。等到這一類產(chǎn)品的認(rèn)證陸續(xù)出現(xiàn)后,還需要解決的便是創(chuàng)新軟件更新迭代過(guò)程的報(bào)批問(wèn)題,總不能一個(gè)產(chǎn)品來(lái)回審個(gè)7-8回吧?
我個(gè)人認(rèn)為未來(lái)的AI產(chǎn)品審批流程會(huì)有一個(gè)更為科學(xué)和適用的測(cè)試方案,在保證AI安全、有效的前提下,保證產(chǎn)品的更新與迭代,為企業(yè)和檢驗(yàn)機(jī)構(gòu)都節(jié)省大量的成本與精力。
健培科技周彬波:從注冊(cè)角度來(lái)說(shuō),現(xiàn)在面臨最大的問(wèn)題在于注冊(cè)周期實(shí)在太長(zhǎng)了。從我們開(kāi)始準(zhǔn)備做三類注冊(cè),到現(xiàn)在差不多花費(fèi)了兩年多的時(shí)間,我們AI產(chǎn)品的核心已經(jīng)經(jīng)歷了非常多次的迭代,傳統(tǒng)器械的審批流程真的不適用于創(chuàng)新企業(yè)的審批。
但是從這兩年開(kāi)始,器審中心、信通院等機(jī)構(gòu)的介入正在建立第三方的測(cè)評(píng)平臺(tái)以及測(cè)評(píng)數(shù)據(jù)庫(kù),如果這個(gè)測(cè)評(píng)結(jié)果可以被公認(rèn),那對(duì)于企業(yè)而言,可以節(jié)省非常多的時(shí)間,如果每一更新都需企業(yè)去設(shè)計(jì)臨床試驗(yàn),它的時(shí)間跨度太長(zhǎng)了。
Q:醫(yī)療人工智能發(fā)展至今有多年,為什么直到今年才陸續(xù)建立第三方測(cè)評(píng)標(biāo)準(zhǔn)、第三方測(cè)評(píng)數(shù)據(jù)庫(kù)?
依圖醫(yī)療石磊:這一輪醫(yī)療人工智能行業(yè)發(fā)展已有幾年,但從絕對(duì)時(shí)間上來(lái)說(shuō),AI作為一個(gè)新技術(shù)切入發(fā)展成熟的醫(yī)療領(lǐng)域,三四年時(shí)間還是偏短的。即便是在今天,AI產(chǎn)品仍在以日新月異的形態(tài)、種類和豐富多樣的落地形態(tài)和原有的醫(yī)療生態(tài)相結(jié)合,說(shuō)明這個(gè)行業(yè)具有非常強(qiáng)的創(chuàng)新性,和無(wú)限生命力。
但是這也意味著行業(yè)認(rèn)知的成熟和行業(yè)標(biāo)準(zhǔn)的建立不能一撮而就,需要逐步完成。 這幾年中,中檢院、信通院等機(jī)構(gòu)開(kāi)始牽頭建立數(shù)據(jù)標(biāo)準(zhǔn)與第三方數(shù)據(jù)庫(kù),有助于行業(yè)長(zhǎng)期發(fā)展。醫(yī)療AI領(lǐng)域正逐漸規(guī)范起來(lái),從時(shí)間上來(lái)說(shuō),并不晚。
健培科技程國(guó)華:2016年,AlphaGo與圍棋大師的博弈掀起了公眾對(duì)于AI的狂熱潮,也正是這個(gè)時(shí)候,一大批企業(yè)在此扎根。
隨后的醫(yī)療人工智能經(jīng)歷了一個(gè)百家爭(zhēng)鳴的過(guò)程,接著是循序漸進(jìn)的認(rèn)知統(tǒng)一。對(duì)于一項(xiàng)新興技術(shù)而言,4年算不上長(zhǎng)。
在這個(gè)期間,其實(shí)也有很多企業(yè)、機(jī)構(gòu)想要成為制定標(biāo)準(zhǔn)的人,但在共識(shí)之前,這樣的標(biāo)準(zhǔn)幾乎得不到其他人的認(rèn)可。大家各自有各自的想法,包括今天要建什么樣的數(shù)據(jù)庫(kù)?今天要建什么樣的標(biāo)準(zhǔn)?哪一個(gè)數(shù)據(jù)庫(kù)和標(biāo)準(zhǔn)先建?哪一個(gè)后建?大家都有各自的考量。
因此,從今年信通院、協(xié)和醫(yī)院等機(jī)構(gòu)開(kāi)始介入建立數(shù)據(jù)標(biāo)準(zhǔn)與第三方數(shù)據(jù)庫(kù),這實(shí)際也是長(zhǎng)期考量的結(jié)果,也意味著過(guò)去混沌的認(rèn)知正在統(tǒng)一,新的生態(tài)意識(shí)與認(rèn)知正在達(dá)成一致。這是一件讓人欣慰的事,AI領(lǐng)域正因這些動(dòng)作逐漸規(guī)范起來(lái),而這個(gè)時(shí)間點(diǎn),并不晚。此外,隨著三類證的逐步獲批,時(shí)間已經(jīng)成熟。
Q: 醫(yī)療影像AI的未來(lái)將走像何方?
聯(lián)影智能詹翊強(qiáng):很難描述未來(lái)的AI具體是怎樣的,但聯(lián)影智能發(fā)展路徑至少是朝著它理想中的未來(lái)發(fā)展的,這里有兩條思考可供參考。
一是從病種出發(fā),解決單一科室的問(wèn)題。以腦卒中為例,首先要判斷患者是出血還是缺血,若是出血,其次要判斷是否造成了中線偏移,那么下一步就該指導(dǎo)患者做一個(gè)CT灌注,看看實(shí)際評(píng)分指數(shù)?偠灾,疾病的種類很多,但如今AI能夠處理的病種很少,我們正一個(gè)一個(gè)地攻克最為值得攻克的疾病問(wèn)題。
二是從部位出發(fā),實(shí)現(xiàn)一次胸部 CT 掃描,AI 輔助篩查肺結(jié)節(jié)、肺炎、肋骨骨折、食道癌、淋巴結(jié)等多疾病。影像學(xué)上有一個(gè)說(shuō)法叫Incidental finding。打個(gè)比方,骨科醫(yī)生在看患者的胸部CT時(shí),卻發(fā)現(xiàn)CT上有一個(gè)疑似病灶,經(jīng)進(jìn)一步確認(rèn)和發(fā)現(xiàn)這是腫瘤。這便是Incidental finding,也是聯(lián)影智能將骨折檢測(cè)、腫瘤檢測(cè)等功能放在一起的原因。
人們?cè)谔幚硎录臅r(shí)候往往會(huì)產(chǎn)生主觀偏移,如果是骨科醫(yī)生接待患者,他的重點(diǎn)便放在了患者是否發(fā)生骨折這個(gè)點(diǎn)上,這時(shí)就容易漏掉一些肺部的病灶。AI的優(yōu)勢(shì)便在于此,沒(méi)有心理上的預(yù)設(shè),它能夠及時(shí)地找到Incidental finding,通過(guò)單一影像找到更多信息,從這個(gè)角度出發(fā),我們能夠發(fā)掘AI更為深遠(yuǎn)的價(jià)值。
安德醫(yī)智李晶玨:公共衛(wèi)生的防控是未來(lái)AI影像發(fā)展的一個(gè)重要方向。對(duì)于影像科醫(yī)生而言,識(shí)別肺炎是人家的基本職業(yè)素質(zhì),但到了新冠就不一樣。如果是讓武漢大醫(yī)院的醫(yī)生去看新冠的CT,他可能一眼就看出來(lái),但若放在許多疫情不嚴(yán)重的城市,那么這些醫(yī)生可能就不能一眼識(shí)別出新冠與否。這是AI作用的第一步,即分清新冠與非新冠。
進(jìn)一步,在分清新冠與非新冠后,醫(yī)生要進(jìn)一步確認(rèn)肺炎的種類,這對(duì)于醫(yī)生是個(gè)更大的挑戰(zhàn),也是AI的價(jià)值所在。特別是在基層,如果AI能夠幫助醫(yī)生進(jìn)行一個(gè)初步的判斷,從而有的放矢地對(duì)疑似患者進(jìn)行進(jìn)一步的病原學(xué)檢測(cè),能夠?qū)Ψ酪唧w系起到很大的幫助。
這也是新基建提及醫(yī)療AI的重要原因之一,當(dāng)出現(xiàn)新的流行性病毒時(shí),AI雖然不能直接判斷新病毒的種類,但通過(guò)過(guò)去的學(xué)習(xí),AI會(huì)給出不同于已訓(xùn)練種類的輸出,即“其他肺炎”,給予提示,取得監(jiān)測(cè)者的重視。因此,AI將是未來(lái)公衛(wèi)防控體系建設(shè)的重要力量。
>>>>
感謝以下專家對(duì)本文的大力支持
中國(guó)信息通信研究院云計(jì)算與大數(shù)據(jù)研究所智慧健康部主任 閔棟
中國(guó)信息通信研究院云計(jì)算與大數(shù)據(jù)研究所智慧健康部副主任 王秀梅
中國(guó)信息通信研究院華東分院智慧醫(yī)療中心高級(jí)咨詢顧問(wèn) 王道洋
平安科技智能視覺(jué)技術(shù)團(tuán)隊(duì)醫(yī)療影像技術(shù)組資深技術(shù)專家 黃凌云
上海聯(lián)影智能醫(yī)療科技有限公司首席運(yùn)營(yíng)官 詹翊強(qiáng)
北京安德醫(yī)智科技有限公司大中華區(qū)首席執(zhí)行官 李晶玨
杭州依圖醫(yī)療技術(shù)有限公司副總裁 石磊
北京深睿博聯(lián)科技有限責(zé)任公司 李一鳴
杭州健培科技有限公司董事長(zhǎng) 程國(guó)華
杭州健培科技有限公司產(chǎn)品總監(jiān) 周彬波
上海皓樺科技股份有限公司總經(jīng)理 周英
(以上排名不分先后)
作者:趙泓維

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
-
ChatZOC,藏在口袋里的「眼科醫(yī)生」
-
金百澤科技亮相中國(guó)國(guó)際醫(yī)療器械博覽會(huì) | 盡顯醫(yī)療領(lǐng)域硬實(shí)力
-
進(jìn)階的新冠疫苗 又一個(gè)中國(guó)造
-
“AI醫(yī)療第一股”鷹瞳科技上市首日即破發(fā)
-
圓心科技登陸港股,“賣藥的生意”還好不好做?
-
十圖解讀2021年中國(guó)康復(fù)醫(yī)療行業(yè)現(xiàn)狀
-
醫(yī)藥流通數(shù)字化運(yùn)營(yíng)實(shí)現(xiàn)精細(xì)化飼養(yǎng)
-
科學(xué)家發(fā)現(xiàn)人體新器官:將有助于癌癥治療
技術(shù)文庫(kù)
最新活動(dòng)更多
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠展
-
7月30-31日報(bào)名參會(huì)>>> 全數(shù)會(huì)2025中國(guó)激光產(chǎn)業(yè)高質(zhì)量發(fā)展峰會(huì)
-
精彩回顧立即查看>> 【線下論壇】新唐科技2025新品發(fā)布會(huì)
-
精彩回顧立即查看>> 【在線會(huì)議】研華嵌入式核心優(yōu)勢(shì),以Edge AI驅(qū)動(dòng)機(jī)器視覺(jué)升級(jí)
-
精彩回顧立即查看>> OFweek 2025(第十四屆)中國(guó)機(jī)器人產(chǎn)業(yè)大會(huì)
-
精彩回顧立即查看>> 【在線會(huì)議】從直流到高頻,材料電特性參數(shù)的全面表征與測(cè)量
- 1 2025高端醫(yī)療器械國(guó)產(chǎn)替代提速,這些賽道值得關(guān)注!
- 2 多數(shù)人錯(cuò)估了關(guān)稅將對(duì)中國(guó)醫(yī)藥產(chǎn)業(yè)的影響
- 3 一季度醫(yī)療儀器及器械進(jìn)出口報(bào)告:前十大出口市場(chǎng)在哪?
- 4 認(rèn)購(gòu)火爆,映恩生物打響18A IPO重啟信號(hào)槍
- 5 核藥賽道解碼:高壁壘、國(guó)產(chǎn)替代與千億市場(chǎng)卡位
- 6 中國(guó)創(chuàng)新藥出海:機(jī)遇、挑戰(zhàn)與未來(lái)展望
- 7 創(chuàng)新藥是避風(fēng)港,更是發(fā)射臺(tái)!
- 8 第一醫(yī)藥扣非凈利潤(rùn)僅687.40萬(wàn)元:上海“隱形土豪”要再沉淀沉淀
- 9 復(fù)星的進(jìn)退與前行
- 10 隱匿的醫(yī)療大佬,10年干出千億級(jí)公司