本文想與大家分享一下我們?cè)谑褂?span id="s4oagqa" class='hrefStyle'>人工智能技術(shù)自動(dòng)生成數(shù)據(jù)標(biāo)簽方面所做的工作。

在我們深入了解我們的方法之前，首先讓我們了解一下數(shù)據(jù)標(biāo)簽是什么。

在機(jī)器學(xué)習(xí)中，數(shù)據(jù)標(biāo)記只是識(shí)別原始數(shù)據(jù)（圖像、視頻、音頻文件、文本文件等）的過程，并添加一個(gè)或多個(gè)有意義且信息豐富的標(biāo)簽以提供上下文，以便機(jī)器學(xué)習(xí)模型可以從中學(xué)習(xí)和推斷。

大多數(shù)最先進(jìn)的機(jī)器學(xué)習(xí)模型高度依賴于大量標(biāo)記數(shù)據(jù)的可用性，這是監(jiān)督任務(wù)中必不可少的一步。各種用例都需要數(shù)據(jù)標(biāo)簽，包括計(jì)算機(jī)視覺、自然語(yǔ)言處理和語(yǔ)音識(shí)別。

傳統(tǒng)上，到目前為止，標(biāo)記數(shù)據(jù)的這一繁瑣而平凡的過程主要是由人類完成的。為了幫助人類從零開始盡可能減少數(shù)據(jù)標(biāo)記的工作和努力，我們提出了一種自動(dòng)化算法解決方案，旨在減少大量手動(dòng)工作。

在這里，將討論計(jì)算機(jī)視覺任務(wù)。計(jì)算機(jī)視覺僅僅是復(fù)制人類視覺（人眼視覺）的復(fù)雜性和對(duì)周圍環(huán)境的理解。

計(jì)算機(jī)視覺任務(wù)包括獲取、處理、分析和理解數(shù)字圖像的方法，以及從現(xiàn)實(shí)世界中提取高維數(shù)據(jù)以產(chǎn)生數(shù)字或符號(hào)信息的方法，例如以決策的形式。在計(jì)算機(jī)視覺領(lǐng)域，有許多不同的任務(wù)。將不詳細(xì)介紹這些任務(wù)，例如分類、檢測(cè)、分割等。但是，下圖提供了這些任務(wù)的清晰概述和目標(biāo)，并給出了上下文中對(duì)象的示例——“香蕉”。

一個(gè)示例上下文－標(biāo)記數(shù)據(jù)的需求

對(duì)于檢測(cè)對(duì)象“香蕉”的監(jiān)督模型，注釋標(biāo)簽被饋送到模型，以便它可以學(xué)習(xí)香蕉像素的表示，并在上下文中對(duì)其進(jìn)行定位，然后可以使用上下文來(lái)推斷不可見／新數(shù)據(jù)。

實(shí)例分割任務(wù)旨在檢測(cè)對(duì)象，定位這些對(duì)象，并提供它們的數(shù)量、大小和形狀信息。

我們使用這樣一種最先進(jìn)的實(shí)例分割模型——“Mask R－CNN”作為我們框架的核心主干，但在這里，我們可以根據(jù)其需求和目標(biāo)使用任何其他網(wǎng)絡(luò)體系結(jié)構(gòu)。

我們堅(jiān)持使用mask R－CNN，因?yàn)樗�可以有效地檢測(cè)圖像中的對(duì)象，同時(shí)為每個(gè)對(duì)象生成高質(zhì)量的分段掩碼。對(duì)于我們檢測(cè)到的新冠病毒感染的特定測(cè)試用例，感染區(qū)域的精確位置至關(guān)重要，因此像素級(jí)檢測(cè)在這種情況下更合適。

我們的方法

我們工具的管道如下圖所示，主要由檢測(cè)器和跟蹤器、自動(dòng)標(biāo)簽?zāi)�塊和I／O模塊組成，用于將機(jī)器注釋標(biāo)簽輸出并保存到磁盤。

步驟1：－目標(biāo)檢測(cè)和跟蹤以進(jìn)行像素級(jí)分類

一個(gè)定制的弱訓(xùn)練mask－RCNN模型用于檢測(cè)極少數(shù)標(biāo)記實(shí)例（＜10個(gè)樣本）的新冠病毒感染。

為了標(biāo)記感染區(qū)域，我們使用VGG圖像注釋器（VIA）圖像注釋工具。這是一個(gè)簡(jiǎn)單和獨(dú)立注釋圖像，音頻和視頻的軟件。

VIA在web瀏覽器中運(yùn)行，不需要任何安裝或設(shè)置。完整的VIA軟件可以放在一個(gè)獨(dú)立的HTML頁(yè)面中，頁(yè)面大小小于400KB，在大多數(shù)現(xiàn)代web瀏覽器中作為離線應(yīng)用程序運(yùn)行。VIA是一個(gè)完全基于HTML、Javascript和CSS（不依賴于外部庫(kù)）的開源項(xiàng)目。

VIA由Visual Geometry Group（VGG）開發(fā)，根據(jù)BSD－2條款許可證發(fā)布，可用于學(xué)術(shù)項(xiàng)目和商業(yè)應(yīng)用。

檢測(cè)器用于獲取本地化的掩碼、邊界框和類。接下來(lái)，為了沿著輸入視頻數(shù)據(jù)流對(duì)多個(gè)感染區(qū)域進(jìn)行統(tǒng)一跟蹤和標(biāo)記，我們使用了中心點(diǎn)跟蹤算法。下面給出了我們的mask RCNN covid檢測(cè)器的一個(gè)片段。

步驟2：－逐幀數(shù)據(jù)標(biāo)記

來(lái)自預(yù)訓(xùn)練的檢測(cè)器模型的推理用于獲取邊界框的位置，并創(chuàng)建json元數(shù)據(jù)。

一旦使用Mask RCNN對(duì)幀進(jìn)行分割，就會(huì)生成相應(yīng)的感興趣區(qū)域（ROI）。此外，生成每個(gè)ROI的掩碼，然后在整個(gè)圖像幀上進(jìn)行輪廓檢測(cè)。然后，從輪廓中提�。▁，y）坐標(biāo)。最后，這些形狀、區(qū)域和坐標(biāo)屬性逐幀保存到磁盤中。

下面給出了我們的自動(dòng)標(biāo)記算法的片段。

示例－新冠病毒－19感染檢測(cè)和自動(dòng)標(biāo)記

我們測(cè)試了我們的方法，目的是為新冠病毒感染區(qū)域自動(dòng)生成計(jì)算機(jī)標(biāo)簽。機(jī)器生成標(biāo)簽和人工標(biāo)注標(biāo)簽的結(jié)果如下所示。可以看出，自動(dòng)注釋引擎生成的合成標(biāo)簽質(zhì)量相當(dāng)好，可用于重新訓(xùn)練對(duì)象檢測(cè)模型或生成更多可用于不同任務(wù)的注釋數(shù)據(jù)。

總結(jié)

數(shù)據(jù)標(biāo)記是一項(xiàng)非常重要的任務(wù)，也是有監(jiān)督學(xué)習(xí)管道的關(guān)鍵組成部分之一。

這是一項(xiàng)需要大量手動(dòng)操作的任務(wù)。那么，我們就可以讓這些平凡的、勞動(dòng)密集型的、耗時(shí)的工作中的大部分由機(jī)器自主驅(qū)動(dòng)，從而最大限度地減少人類的大部分任務(wù)。

注意：－我們的工具目前處于alpha測(cè)試階段。目前，我們?cè)O(shè)計(jì)的框架基于mask R－CNN和VIA注釋格式。

我們還希望將我們的原型推廣到包括不同的最先進(jìn)的檢測(cè)器，例如YOLO和相應(yīng)的YOLO兼容注釋格式。此外，我們還計(jì)劃集成COCO注釋格式。它值得將所有不同的圖像注釋集成為我們框架的一部分，同時(shí)為設(shè)施提供不同的庫(kù)，即Torch、TensorFlow、Caffe等。