訂閱
糾錯(cuò)
加入自媒體

如何使用Python分析姿態(tài)估計(jì)數(shù)據(jù)集COCO?

當(dāng)我們訓(xùn)練姿勢(shì)估計(jì)模型,比較常用的數(shù)據(jù)集包括像COCO、MPII和CrowdPose這樣的公共數(shù)據(jù)集,但如果我們將其與不同計(jì)算機(jī)視覺任務(wù)(如對(duì)象檢測(cè)或分類)的公共可用數(shù)據(jù)集的數(shù)量進(jìn)行比較,就會(huì)發(fā)現(xiàn)可用的數(shù)據(jù)集并不多。姿態(tài)估計(jì)問題屬于一類比較復(fù)雜的問題,為神經(jīng)網(wǎng)絡(luò)模型建立一個(gè)合適的數(shù)據(jù)集是很困難的,圖像中每個(gè)人的每個(gè)關(guān)節(jié)都必須定位和標(biāo)記,這是一項(xiàng)瑣碎而費(fèi)時(shí)的任務(wù)。最流行的姿態(tài)估計(jì)數(shù)據(jù)集是COCO數(shù)據(jù)集,它有大約80類圖像和大約250000個(gè)人物實(shí)例。如果你檢查此數(shù)據(jù)集中的一些隨機(jī)圖像,你可能會(huì)遇到一些與要解決的問題無關(guān)的實(shí)例。學(xué)術(shù)界希望達(dá)到最高的精度,但在實(shí)際生產(chǎn)環(huán)境中并不總是如此。在現(xiàn)實(shí)世界中,我們可能更感興趣的是在非常特定的環(huán)境中工作良好的模型,例如行人、籃球運(yùn)動(dòng)員、健身房等。讓我們從COCO數(shù)據(jù)集中查看此圖像:

你看到紅點(diǎn)了嗎?這是關(guān)鍵點(diǎn):鼻子。有時(shí),你可能不希望網(wǎng)絡(luò)看到僅包含頭部一部分的示例,尤其是在幀的底部。在這篇文章中,我會(huì)向你展示COCO數(shù)據(jù)集的一個(gè)示例分析COCO數(shù)據(jù)集COCO數(shù)據(jù)集是用于許多計(jì)算機(jī)視覺任務(wù)的大規(guī)模通用數(shù)據(jù)集。150萬(wàn)個(gè)對(duì)象實(shí)例,80個(gè)對(duì)象類別,25萬(wàn)人——這些都讓這個(gè)數(shù)據(jù)集令人印象深刻。你可以在源站點(diǎn)上找到更多詳細(xì)信息,在那里你還可以下載所有必需的文件:https://cocodataset.org/數(shù)據(jù)集由圖像文件和注釋文件組成。注釋文件是一個(gè)JSON,包含關(guān)于一個(gè)人(或其他一些類別)的所有元數(shù)據(jù)。在這里我們會(huì)找到邊界框的位置和大小,區(qū)域,關(guān)鍵點(diǎn),源圖像的文件名等。我們不必手動(dòng)解析JSON。有一個(gè)方便的Python庫(kù)可用使用,即pycocotools(https://github.com/cocodataset/cocoapi/tree/master/PythonAPI)我們需要train2017.zip(https://cocodataset.org/#download),val2017.zip(https://cocodataset.org/#download),annotations_trainval2017.zip(https://cocodataset.org/#download)具體來說,我們只需要人的注釋。zip中有兩個(gè)文件:annotations_trainval2017.zip:person_keypoints_train2017.json和person_keypoints_val2017.json我建議將文件放在以下這個(gè)文件夾層次結(jié)構(gòu)中:dataset_coco
  |---annotations
        |---person_keypoints_train2017.json
        |---person_keypoints_val2017.json
  |---train2017
        |---*.jpg
  |---val2017
        |---*.jpg
下面是顯示如何加載注釋的代碼:from pycocotools.coco import COCO
...
train_annot_path = 'dataset_coco/annotations  /person_keypoints_train2017.json'
val_annot_path = 'dataset_coco/annotations/person_keypoints_val2017.json'
train_coco = COCO(train_annot_path) # 加載訓(xùn)練集的注釋
val_coco = COCO(val_annot_path) # 加載驗(yàn)證集的注釋
...
# 函數(shù)遍歷一個(gè)人的所有數(shù)據(jù)庫(kù)并逐行返回相關(guān)數(shù)據(jù)
def get_meta(coco):
   ids = list(coco.imgs.keys())
   for i, img_id in enumerate(ids):
       img_meta = coco.imgs[img_id]
       ann_ids = coco.getAnnIds(imgIds=img_id)
       # 圖像的基本參數(shù)
       img_file_name = img_meta['file_name']
       w = img_meta['width']
       h = img_meta['height']
       # 檢索當(dāng)前圖像中所有人的元數(shù)據(jù)
       anns = coco.loadAnns(ann_ids)
       yield [img_id, img_file_name, w, h, anns]
...
# 迭代圖像
for img_id, img_fname, w, h, meta in get_meta(train_coco):
   ...
   # 遍歷圖像的所有注釋
   for m in meta:
       # m是字典
       keypoints = m['keypoints']
       ...
...
首先,我們必須加載COCO對(duì)象,它是json數(shù)據(jù)的包裝器(第6-7行)在第11行,我們加載所有圖像標(biāo)識(shí)符。在接下來的幾行中,我們?yōu)槊總(gè)圖像加載元數(shù)據(jù),這是一個(gè)包含圖像寬度、高度、名稱、許可證等一般信息的詞典。在第14行,我們加載給定圖像的注釋元數(shù)據(jù),這是一個(gè)字典列表,每個(gè)字典代表一個(gè)人。第27-32行顯示了如何加載整個(gè)訓(xùn)練集(train_coco),類似地,我們可以加載驗(yàn)證集(val_coco)將COCO轉(zhuǎn)換為Pandas數(shù)據(jù)幀讓我們將COCO元數(shù)據(jù)轉(zhuǎn)換為pandas數(shù)據(jù)幀,我們使用如matplotlib、sklearn 和pandas。這可用使得數(shù)據(jù)的過濾、可視化和操作變得更加容易,此外,我們還可以將數(shù)據(jù)導(dǎo)出為csv或parquet等。def convert_to_df(coco):
   images_data = []
   persons_data = []

1  2  3  下一頁(yè)>  
聲明: 本文由入駐維科號(hào)的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評(píng)論

暫無評(píng)論

    掃碼關(guān)注公眾號(hào)
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯(cuò)
    x
    *文字標(biāo)題:
    *糾錯(cuò)內(nèi)容:
    聯(lián)系郵箱:
    *驗(yàn) 證 碼:

    粵公網(wǎng)安備 44030502002758號(hào)