自動駕駛注釋數(shù)據(jù)的有效性該如何判斷?
本文來源:智車科技
/ 導(dǎo)讀 /
數(shù)據(jù)是現(xiàn)代機(jī)器學(xué)習(xí)應(yīng)用程序中最重要的組成部分,包括自動駕駛汽車的感知系統(tǒng)都是依靠數(shù)據(jù)進(jìn)行訓(xùn)練的。目前汽車都配備了許多傳感器,這些傳感器收集信息并輸入到汽車計(jì)算機(jī),然后信息必須進(jìn)行實(shí)時處理和注釋,以便汽車了解行駛中道路前方的情況。但是,汽車計(jì)算機(jī)上的算法需要接受有關(guān)如何進(jìn)行分類的訓(xùn)練,所以數(shù)據(jù)標(biāo)注的準(zhǔn)確性變得很重要。以下是Annotell公司在數(shù)據(jù)標(biāo)注上的一些探索。
帶注釋的數(shù)據(jù)至關(guān)重要,它有兩個目的:在汽車上的計(jì)算機(jī)上訓(xùn)練算法以解釋收集的信息,并驗(yàn)證計(jì)算機(jī)確實(shí)已學(xué)會正確解釋收集的信息。由于注釋數(shù)據(jù)用于這兩個關(guān)鍵目的,因此注釋的質(zhì)量至關(guān)重要。最終,低質(zhì)量的注釋可能會導(dǎo)致汽車誤解道路上正在發(fā)生的事情。
注釋數(shù)據(jù)的過程始終包括一些人為的決定,第一個挑戰(zhàn)就是讓人們同意對記錄的數(shù)據(jù)進(jìn)行正確的注釋,而創(chuàng)建這樣的注釋準(zhǔn)則有時并不像人們想象的那么容易。往往需要有效設(shè)計(jì)注釋準(zhǔn)則以提高質(zhì)量方面具有豐富的經(jīng)驗(yàn)。第二個挑戰(zhàn)是在指南的指導(dǎo)下按比例執(zhí)行注釋。
如何判斷數(shù)據(jù)集的有效性?
量化注釋質(zhì)量的一種方法是注釋數(shù)據(jù)集的精度和召回率?紤]一下標(biāo)注的類型,其中攝像機(jī)圖像中的一個對象(如接近的車輛)由一個邊界框標(biāo)注。在對此類數(shù)據(jù)集的質(zhì)量進(jìn)行推理時,有兩個重要的問題(i)感興趣的對象是否已由邊界框正確標(biāo)注,以及(ii)邊界框是否實(shí)際上包含感興趣的對象。
上面示意圖中出現(xiàn)了錯誤標(biāo)注。而在完美注釋的數(shù)據(jù)集中,以上兩個錯誤均不存在。因此,定義質(zhì)量的一種方法是計(jì)算這些錯誤在帶注釋的數(shù)據(jù)集中出現(xiàn)的程度。例如計(jì)算
實(shí)際表示對象的包圍盒的比率。這稱為精度。理想情況下,精度為1。用邊界框正確注釋的對象的比率。這就是所謂的召回。理想情況下,召回率為1。
但是,計(jì)算數(shù)據(jù)集的精度和召回率還需要對整個數(shù)據(jù)集中的每個幀進(jìn)行人工批判性檢查,這可能與注釋過程本身一樣昂貴!為了在計(jì)算精度和召回率時獲得效率,因此Annotell團(tuán)隊(duì)依靠統(tǒng)計(jì)數(shù)據(jù)來推斷精度和召回率。僅對所有注釋的統(tǒng)計(jì)選擇良好的子集進(jìn)行人工批判性審查,并使用概率論得出有關(guān)整個數(shù)據(jù)集的結(jié)論。
更詳細(xì)地講,他們使用貝葉斯方法來計(jì)算后驗(yàn)分布,以提高精度并召回整個數(shù)據(jù)集,這取決于已經(jīng)進(jìn)行了嚴(yán)格審查的注釋的子樣本。它不僅提供了精確度和召回率的估計(jì),而且還量化了這些估計(jì)中的不確定性。例如,我們可以計(jì)算所謂的95%可信度下限,這意味著可以確定95%的精度或召回率不低于此閾值。
Annotell公司提供了一種具有成本效益的工具,用于根據(jù)精度和召回級別以及對級別的確定性來衡量注釋的質(zhì)量。- End -

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達(dá)AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇,探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 4 “AI寒武紀(jì)”爆發(fā)至今,五類新物種登上歷史舞臺
- 5 國產(chǎn)智駕迎戰(zhàn)特斯拉FSD,AI含量差幾何?
- 6 光計(jì)算迎來商業(yè)化突破,但落地仍需時間
- 7 東陽光:2024年扭虧、一季度凈利大增,液冷疊加具身智能打開成長空間
- 8 地平線自動駕駛方案解讀
- 9 封殺AI“照騙”,“淘寶們”終于不忍了?
- 10 優(yōu)必選:營收大增主靠小件,虧損繼續(xù)又逢關(guān)稅,能否乘機(jī)器人東風(fēng)翻身?