為了有效阻止新冠病毒的傳播和感染，近兩個多月來世界各國人民都帶上了口罩。雖然口罩能夠幫助我們抵御病毒 ，但先前已經(jīng)廣泛使用的人臉識別系統(tǒng)卻無法正常工作了，包括乘坐交通工具認證、門禁、打卡、手機解鎖和付款等功能都無法正常進行。因此研發(fā)出佩戴口罩的人臉識別系統(tǒng)對于復工復產(chǎn)和正常的社會經(jīng)濟活動具有十分重要的作用。

目前絕大多數(shù)的人臉識別系統(tǒng)都需要大規(guī)模的數(shù)據(jù)來訓練深度學習。雖然很多公司提出了自己的口罩人臉識別方案，但目前卻還沒有開源的人臉佩戴口罩公開數(shù)據(jù)集。

為了有效助力疫情防控中的人臉識別，促進復工復產(chǎn)的順利進行，來自武漢大學的研究人員提出了三種佩戴口罩的人臉數(shù)據(jù)集，包括1、口罩佩戴檢測人臉數(shù)據(jù)集（Masked Face Detection Dataset，MFDD）2、真實世界的口罩佩戴人臉識別數(shù)據(jù)集（Real－world Masked Face Recognition Dataset， RMFRD）3、模擬口罩佩戴人臉識別數(shù)據(jù)（Simulated Masked Face Recognition Dataset， SMFRD）

其中RMFRD是目前世界上最大的公開人臉口罩佩戴數(shù)據(jù)集，可以廣泛用于人臉識別、口罩佩戴檢測和多種識別任務中。實驗表明，這一數(shù)據(jù)和對應方法可以實現(xiàn)95％的佩戴口罩人臉識別準確率。

口罩抗疫，技術(shù)護航

我們周圍的每個人幾乎都在這次疫情中帶起了口罩保護自己，為抗疫作出自己的貢獻。然而在過去一段時間，人臉識別這一計算機視覺最為重要的應用在諸多場合失效了，除了日常生活不便外、在公共場所人臉識別的失效將會帶來較大的安全風險。同時在疫情期間，非接觸式的人臉識別與授權(quán)驗證的優(yōu)勢也顯現(xiàn)了出來，比人臉識別認證比指紋識別或輸入密碼更加安全。

人臉識別技術(shù)基本上依賴于面部關(guān)鍵點和特征的檢測，絕大部分都是利用深度學習技術(shù)實現(xiàn)。在佩戴口罩的情況下只能漏出眉眼和額頭，需要對算法進行重新訓練，更重要的是需要龐大的佩戴口罩人臉數(shù)據(jù)對模型進行訓練。目前需求最大的任務要數(shù)口罩佩戴檢測和佩戴口罩人臉識別兩個應用了。

目前進入公共場所都需要佩戴口罩，利用視覺檢測進入場所的個人是否佩戴口罩對于疫情防控十分必要！而佩戴口罩者人臉身份識別則對于各類需要人臉識別認證、授權(quán)和支付的場合至關(guān)重要。這兩類任務需要不同的數(shù)據(jù)集進行訓練，前者只需要佩戴口罩的人臉樣本而后者則需要同一主體佩戴口罩和正常狀況下的多張照片，構(gòu)建的難度更大。針對用途的不同，研究人員分類構(gòu)建了口罩佩戴檢測數(shù)據(jù)集MFDD，真實口罩人臉識別數(shù)據(jù)集RMFRD和模擬人臉口罩數(shù)據(jù)集SMFRD。

三種數(shù)據(jù)集，了解一下！

MFDD的數(shù)據(jù)主要來源于兩部分：其中一部分數(shù)據(jù)來自于aizoo．com先前的研究，而另一部分則從互聯(lián)網(wǎng)上爬取，并對其進行了口罩佩戴和位置標注，最終構(gòu)建了包含2771張口罩佩戴圖片。MFDD數(shù)據(jù)可用于訓練精確的佩戴口罩的人臉檢測模型，同時可以作為口罩人臉識別的預處理工具。此外還可用于判斷圖像中的個人是否按照規(guī)定佩戴口罩。

RMFRD則使用爬蟲爬取公眾人物的正面照和對應的口罩人臉照，并利用人工去除一系列不符合要求的人臉圖像。隨后利用LabelMe剪切了人物的頭部從而得到了包含525個人的90000張頭像。這是目前最大的公開人臉佩戴口罩數(shù)據(jù)集，下圖顯示了一些數(shù)據(jù)樣本：

為了擴充數(shù)據(jù)的多樣性，研究人員同時制作了合成數(shù)據(jù)集SMFRD，利用Dlib將口罩合成到現(xiàn)有的大規(guī)模人臉數(shù)據(jù)集上（包括LFW和Webface數(shù)據(jù)集），通過這樣的方法研究人員構(gòu)建了包含一萬個人的五十萬張合成口罩佩戴圖像。下圖顯示了一系列合成的口罩佩戴圖像。

口罩佩戴人臉識別

人臉識別基本分為兩種場景：受控和非受控環(huán)境。
其中非受控環(huán)境主要是公共監(jiān)控下，人臉的距離、光照、位姿、遮擋等帶來的不確定性，這種場景下的識別精度較低，再加上口罩后會使得精度進一步下降。

而受控場景主要包括公司門禁、打卡、火車站人臉查驗和手機解鎖等場景，這些場景具有高質(zhì)量的正面照使得佩戴口罩識別的難度有所下降。即使口罩遮擋了部分面部，上半部分的眉眼額等特征也可以被用于人臉識別。

在本研究中提出的人臉識別技術(shù)兼顧了兩方面的因素，一方面是構(gòu)建數(shù)據(jù)集，另一面則充分利用未被遮擋部分的人臉特征。研究人員充分利用了現(xiàn)有公開人臉數(shù)據(jù)集，并結(jié)合上文中提出的數(shù)據(jù)集來訓練面部－眉眼多粒度口罩人臉識別模型。研究人員對人臉輪廓、眼部、眼周圍、前額等面部可見區(qū)域的關(guān)鍵特征使用了不同的注意力權(quán)重，有效地解決了面部可識別特征的不平衡分布問題。在這些方法的提升下，研究人員最終將模型的識別精度從50％提升到了95％。

應用與展望

也許是疫情來勢兇猛，只有少數(shù)機構(gòu)實現(xiàn)了人臉口罩佩戴情況下的準確識別。據(jù)作者了解，商湯目前在50％鼻子暴露的情況下達到了85％的準確率，漢王科技也達到了85％的識別精度，小視科技則報道了90％的識別精度。而本文提出的面部－眉眼多粒度口罩人臉識別模型則達到了95％的識別精度，但與常規(guī)情況下達到99％的人臉識別相比還不是太可靠。
而在另一識別主體是否佩戴口罩的任務中，騰訊、百度和京東等公司都達到了超過99％的精度。本文提出的數(shù)據(jù)集和算法將有效提升口罩佩戴檢測和佩戴口罩人臉識別的精度，為基于人臉的授權(quán)、驗證等場景應用提供較好的解決方案，為疫情期間甚至冬季霧霾期間佩戴口罩情況下的各類人臉識別場景作出貢獻。

山川異域，風月同天；共同戰(zhàn)疫，全球加油!