近年來(lái)，在互聯(lián)網(wǎng)技術(shù)和政策、疫情等大環(huán)境的推動(dòng)下，在線(xiàn)問(wèn)診需求正高速增長(zhǎng)，自然語(yǔ)言處理（NLP）技術(shù)在該領(lǐng)域的研究成果和應(yīng)用落地也越來(lái)越多。雖然，智能問(wèn)診已經(jīng)能夠?qū)崿F(xiàn)預(yù)診斷，但很多時(shí)候系統(tǒng)給出的診斷結(jié)果與現(xiàn)實(shí)情況大相徑庭。舉例來(lái)說(shuō)，當(dāng)我們能準(zhǔn)確地給出“體溫38．5度、有點(diǎn)發(fā)熱、四肢無(wú)力”等癥狀時(shí)，系統(tǒng)會(huì)比較容易根據(jù)提供的信息進(jìn)行詢(xún)問(wèn)，給出如感冒、病毒感染等相對(duì)精準(zhǔn)基礎(chǔ)診斷；但如果給出諸如“疲勞”，甚至“累”“沒(méi)勁”“胸痛”等含糊不清的主訴，智能診斷系統(tǒng)可能就無(wú)能為力了。

這是因?yàn)椋�目前�?jì)算機(jī)在文本理解的精度和深度上和人類(lèi)仍然有很大的差距，特別是在醫(yī)學(xué)領(lǐng)域，不僅要求計(jì)算機(jī)學(xué)會(huì)龐大的專(zhuān)業(yè)術(shù)語(yǔ)，形成知識(shí)圖譜；更要能讀懂沒(méi)有專(zhuān)業(yè)知識(shí)的患者對(duì)于癥狀的模糊主訴，并將其與專(zhuān)業(yè)術(shù)語(yǔ)做關(guān)聯(lián)。

在此過(guò)程中，研究人員除了要給算法“投喂”龐大的專(zhuān)業(yè)語(yǔ)料和日常知識(shí)，提升算法能力，加強(qiáng)AI對(duì)真實(shí)世界的理解，還需要用更好的策略，選擇合適的模型，優(yōu)化醫(yī)療NLP領(lǐng)域目前面臨的問(wèn)題，而這也是第二十屆中國(guó)計(jì)算語(yǔ)言學(xué)大會(huì)（下稱(chēng)CCL2021）智能醫(yī)療對(duì)話(huà)診療評(píng)測(cè)——“智能化醫(yī)療診斷賽道”要解決的主要難點(diǎn)。

在此賽道中，騰訊天衍實(shí)驗(yàn)室團(tuán)隊(duì)提交的方案憑借較高的疾病預(yù)測(cè)準(zhǔn)確率和癥狀召回率，成功獲得該賽道第一名，下面我們來(lái)看看這套方案是如何進(jìn)行算法思考和模型選擇的。

任務(wù)難點(diǎn)：讓算法迅速讀懂“患者”

“智能化醫(yī)療診斷”賽道的任務(wù)是：需要選手開(kāi)發(fā)一個(gè)模擬實(shí)際問(wèn)診過(guò)程的可交互程序，用程序與擁有超過(guò)2000組醫(yī)患對(duì)話(huà)樣本的病人模擬器“過(guò)招”：首先，要與主辦方提供的baseline模型交手，判斷出“患者”的初始癥狀；然后，還要根據(jù)這些信息，輸出能夠進(jìn)一步獲取有效信息的問(wèn)題，對(duì)“患者” 進(jìn)行接下來(lái)的癥狀詢(xún)問(wèn)；最終，在不超過(guò)11次的交互過(guò)程中，識(shí)別出“患者”的疾病和癥狀。比賽結(jié)果也是以診斷準(zhǔn)確率和癥狀召回率來(lái)確定。

其中的難點(diǎn)是，2000組的對(duì)話(huà)樣本，每個(gè)都包含著大量數(shù)據(jù)信息：疾病類(lèi)別、病人自訴文本、直接信息（病人自訴中明確提及的實(shí)體信息、癥狀），甚至隱藏信息（需要結(jié)合整段醫(yī)患對(duì)話(huà)得到實(shí)體及標(biāo)簽，判斷患者是否已經(jīng)有該癥狀）。并且，與現(xiàn)實(shí)世界病人一樣，機(jī)器“患者”不會(huì)一次性把癥狀表述清楚，比如出現(xiàn)一種癥狀多種描述等主訴表達(dá)。

選手開(kāi)發(fā)的算法和對(duì)應(yīng)算法選擇的模型，不僅要能“讀懂”被“模糊描述”的癥狀，并迅速將癥狀分類(lèi)；還要根據(jù)當(dāng)前詢(xún)問(wèn)到的病人信息，準(zhǔn)確判斷出“患者”還可能具備什么癥狀，以便在有限的問(wèn)診交互環(huán)節(jié)中，增加“患者”有效信息輸出，從而最大可能提升疾病診斷準(zhǔn)確率以及癥狀召回率。

因此，該任務(wù)不僅考驗(yàn)算法能力，更同時(shí)考驗(yàn)算法和模型的搭配策略，以提升程序問(wèn)診的準(zhǔn)確性和效率。

方案對(duì)策：更高效的算法＋更合適的模型 提升推理速度

為了讓AI更加理解“患者”信息，騰訊天衍實(shí)驗(yàn)室利用搜索、問(wèn)答、預(yù)訓(xùn)練、分類(lèi)等多項(xiàng)NLP、機(jī)器學(xué)習(xí)技術(shù)，進(jìn)行程序開(kāi)發(fā)，整體方案分為癥狀問(wèn)詢(xún)、疾病預(yù)測(cè)兩大版塊，每個(gè)版塊都采用相同模型預(yù)測(cè)方案，同時(shí)，每個(gè)版塊細(xì)分為三個(gè)部分：基于檢索查詢(xún)歷史病例、基于自然語(yǔ)言的癥狀／疾病預(yù)測(cè)、基于癥狀的癥狀／疾病預(yù)測(cè)（如圖所示）。這三個(gè)部分在同一個(gè)交互周期內(nèi)會(huì)同時(shí)運(yùn)行，并通過(guò)加權(quán)算法進(jìn)行“校準(zhǔn)”，來(lái)得到需要繼續(xù)問(wèn)詢(xún)的癥狀或者輸出診斷的疾病。

癥狀問(wèn)詢(xún)預(yù)測(cè)框架圖

基于檢索查詢(xún)歷史病例部分，利用了精準(zhǔn)搜索、模糊搜索，以及貝葉斯推理等技術(shù)，用來(lái)查找算法數(shù)據(jù)庫(kù)中的相似病例，這樣做的好處是，不僅能將主訴癥狀的模糊表述和精準(zhǔn)表述相結(jié)合，以拓寬對(duì)于主訴癥狀和疾病的檢索范圍，還能更高效地對(duì)癥狀進(jìn)行預(yù)測(cè)。

基于自然語(yǔ)言的疾病預(yù)測(cè)，是將癥狀列表轉(zhuǎn)化為自然語(yǔ)言后，利用預(yù)訓(xùn)練語(yǔ)言模型預(yù)測(cè)查詢(xún)癥狀概率分布。值得注意的是，此部分選手們采用的模型是天衍實(shí)驗(yàn)室自有的大規(guī)模醫(yī)療預(yù)訓(xùn)練語(yǔ)言模型MedBERT，它是基于大規(guī)模的醫(yī)療在線(xiàn)文本由Robert繼續(xù)訓(xùn)練得到的，不僅能更好適配醫(yī)療領(lǐng)域內(nèi)的語(yǔ)言學(xué)習(xí)，還在多項(xiàng)醫(yī)療標(biāo)準(zhǔn)數(shù)據(jù)集上取得了SOTA。相比通用預(yù)訓(xùn)練模型來(lái)說(shuō)，MedBERT更能勝任醫(yī)療相關(guān)的任務(wù)執(zhí)行。

在癥狀／疾病的預(yù)測(cè)部分，方案采用了在多項(xiàng)賽事中被驗(yàn)證、分類(lèi)效果表現(xiàn)優(yōu)異的分類(lèi)器——xgboost模型，其優(yōu)勢(shì)是使學(xué)習(xí)出來(lái)的模型更加簡(jiǎn)單，防止過(guò)擬合，因此，進(jìn)一步提升了算法運(yùn)行效率。

疾病預(yù)測(cè)框架圖

多策略融合召回預(yù)測(cè)的方式，不僅將檢索、自然語(yǔ)言疾病預(yù)測(cè)、癥狀疾病預(yù)測(cè)三種模型優(yōu)勢(shì)進(jìn)行互補(bǔ)，實(shí)現(xiàn)了更高的準(zhǔn)確率和癥狀召回率，同時(shí)，在癥狀召回上，還能鼓勵(lì)更多輪的癥狀問(wèn)詢(xún)，并做良好的超參數(shù)配置調(diào)優(yōu)，從而獲得更高的癥狀召回率。正因如此，在最終評(píng)測(cè)中，天衍實(shí)驗(yàn)室在疾病預(yù)測(cè)準(zhǔn)確率和癥狀召回率上，均獲得了總分第一的成績(jī)，甚至，在癥狀召回率上，還超出其他團(tuán)隊(duì)方案10％以上。

這一成果的獲得，不僅表明天衍實(shí)驗(yàn)室在算法能力和模型具備相對(duì)優(yōu)勢(shì)，同時(shí)，這也是天衍實(shí)驗(yàn)室在醫(yī)療健康領(lǐng)域AI算法研究和應(yīng)用落地深耕多年的實(shí)力體現(xiàn)。

騰訊天衍實(shí)驗(yàn)室一直專(zhuān)注于醫(yī)療健康領(lǐng)域NLP研究，其成果已經(jīng)在騰訊互聯(lián)網(wǎng)醫(yī)院中的導(dǎo)輔診、合理用藥、健康助手等業(yè)務(wù)版塊成功落地。同時(shí)，天衍實(shí)驗(yàn)室還期望在行業(yè)層面推動(dòng)整個(gè)NLP的創(chuàng)新研究：如，在深度學(xué)習(xí)頂會(huì)ICLR 2021上舉辦MLPCP挑戰(zhàn)賽（醫(yī)療對(duì)話(huà)生成與自動(dòng)診斷國(guó)際挑戰(zhàn)賽），以推動(dòng)醫(yī)療咨詢(xún)對(duì)話(huà)系統(tǒng)和預(yù)測(cè)患者可能的疾病類(lèi)型等方面的創(chuàng)新突破；攜手CCKS 2021（全國(guó)知識(shí)圖譜與語(yǔ)義計(jì)算大會(huì)）和中山大學(xué)舉辦蘊(yùn)含實(shí)體的中文醫(yī)療對(duì)話(huà)生成評(píng)測(cè)，以助力自然語(yǔ)言基礎(chǔ)、語(yǔ)言理解、信息抽取、知識(shí)圖譜構(gòu)建等領(lǐng)域的研究創(chuàng)新和算法能力提升……未來(lái)，天衍實(shí)驗(yàn)室仍將持續(xù)扎根醫(yī)療健康領(lǐng)域，持續(xù)探索和推動(dòng)NLP領(lǐng)域?qū)W術(shù)科研與應(yīng)用方向更多價(jià)值落地。