近年來在自然語言生成（natural language generation， NLG）研究上取得了巨大的進展， 經(jīng)過充分訓練的復雜模型已經(jīng)可以高精度完成文本遷移、文章總結(jié)、參與對話和圖片注釋等多種任務(wù)。目前主要有兩種主要方式對NLG系統(tǒng)進行評測：人工測評和自動化度量。

人工測評需要人類標注員在每個模型版本上進行大規(guī)模的質(zhì)量檢查，這種方法雖然精度很高但勞動密集型的檢查任務(wù)十分消耗人力；而像BLEU這樣自動化測評方法可以對模型進行迅速的評測，但相較于人類翻譯和評審來說經(jīng)常會出現(xiàn)不可靠的情況。NLG的高速發(fā)展和現(xiàn)有測評方法的局限性使得學術(shù)界迫切需要開發(fā)出新的測評方法來促進NLG系統(tǒng)的發(fā)展。

為了解決這一問題，來自谷歌的研究人員提出了一種名為BLEURT的魯棒文本生成測評指標，BLUERT可以實現(xiàn)非常魯棒并接近于人類標注的精度水平。

BLEURT （Bilingual Evaluation Understudy with Representations from Transformers） 基于最近高速發(fā)展的遷移學習方法進行構(gòu)建，可以捕捉像句子轉(zhuǎn)述等廣泛使用的語言特征。

NLG系統(tǒng)的評測

在人類測評的過程中，系統(tǒng)向人類標注者呈現(xiàn)生成的部分文本內(nèi)容，讓人類基于連貫性和表意來評價內(nèi)容生成的質(zhì)量。生成的句子一般與參考句子一對一地進行呈現(xiàn)，參考句子主要來源于網(wǎng)絡(luò)或者人類作品中。

在機器翻譯任務(wù)中一個典型的人類測評問題。

人類評測的優(yōu)點在于其準確性：在評測文本片段時，人類具有無可比擬的準確性。但這種方法對于大規(guī)模測評來說，隨隨便便就需要數(shù)十人花費很多天時間，這足以打斷高效的模型研發(fā)流程。

而自動化測量的主要優(yōu)勢在于低成本、高效率。一般會將待測評結(jié)果和參考結(jié)果同時輸入自動化測評系統(tǒng)，返回描述兩個句子間相似程度的分數(shù)。典型的方法是使用詞匯的重合度來評分，但像BLEU則測算候選句子單詞序列同時也出現(xiàn)在參考句子中的次數(shù)（非常類似于準確度）。

人類測評與自動化測評的優(yōu)缺點正好相反，自動化度量十分便捷，可以實時測評訓練結(jié)果，但他們的精度卻無法令人滿意。這主要是由于自動化方法聚焦于對生成文本表面相似性的度量，而無法理解人類語言的多樣性與精妙。僅靠表面形式來獎勵哪些詞語上匹配的句子（即使他們沒有捕捉到真正的含義）是不公平的測評方法。

三個備選句子的BLUE分數(shù)，第二句顯然在語義上接近參考句子，但得分卻低于第三句。自動化評測方法僅僅依賴表面的文本信息，而忽略了背后所要傳達的意義。

新評測指標BLEURT

BLEURT是一種基于機器學習的自動化度量新方法，可以捕捉句子字面背后的語義相似性。下圖顯示了BLEURT指標下幾個句子的得分情況：

利用BLEURT對三個備選句子進行了測評，雖然2包含兩個不同的詞，但語義相似性讓它獲取了高分。