使用Python可視化卷積神經(jīng)網(wǎng)絡方法匯總
2. 基于激活的方法2.1 最大激活為了了解我們的神經(jīng)網(wǎng)絡在做什么,我們可以對輸入圖像應用濾波器,然后繪制輸出,這使我們能夠理解什么樣的輸入模式激活了一個特定的濾波器,例如,可能有一個人臉濾波器,當它在圖像中出現(xiàn)一個人臉時會激活它。from vis.visualization import visualize_activationfrom vis.utils import utilsfrom keras import activations
from matplotlib import pyplot as plt%matplotlib inlineplt.rcParams['figure.figsize'] = (18, 6)
# 按名稱搜索圖層索引。# 或者,我們可以將其指定為-1,因為它對應于最后一層。layer_idx = utils.find_layer_idx(model, 'preds')
#用線性層替換softmaxmodel.layers[layer_idx].a(chǎn)ctivation = activations.linearmodel = utils.a(chǎn)pply_modifications(model)
# 這是我們要最大化的輸出節(jié)點。filter_idx = 0img = visualize_activation(model, layer_idx, filter_indices=filter_idx)plt.imshow(img[..., 0])
我們可以把這個想法轉(zhuǎn)移到所有的類中,并檢查每個類。PS:運行下面的腳本來檢查它。for output_idx in np.a(chǎn)range(10): # 讓我們這次關閉詳細輸出以避免混亂 img = visualize_activation(model, layer_idx, filter_indices=output_idx, input_range=(0., 1.)) plt.figure() plt.title('Networks perception of {}'.format(output_idx)) plt.imshow(img[..., 0])2.2 圖像遮擋在一個圖像分類問題中,一個簡單問題是模型是否真正識別了圖像中對象的位置,或者僅僅使用了周圍的上下文。我們在上面基于梯度的方法中對此做了簡要的介紹;谡趽醯姆椒ㄔ噲D通過系統(tǒng)地用一個灰色正方形遮擋輸入圖像的不同部分來回答這個問題,并監(jiān)視分類器的輸出。示例清楚地表明,模型正在場景中定位對象,因為當對象被遮擋時,正確類的概率顯著降低。
為了理解這個概念,讓我們從數(shù)據(jù)集中隨機抽取一張圖像,并嘗試繪制圖像的熱圖。這將給我們一個直覺,圖片的哪些部分是重要的,可以明確區(qū)分類別。def iter_occlusion(image, size=8):
occlusion = np.full((size * 5, size * 5, 1), [0.5], np.float32) occlusion_center = np.full((size, size, 1), [0.5], np.float32) occlusion_padding = size * 2
# print('padding...') image_padded = np.pad(image, ( (occlusion_padding, occlusion_padding), (occlusion_padding, occlusion_padding), (0, 0) ), 'constant', constant_values = 0.0)
for y in range(occlusion_padding, image.shape[0] + occlusion_padding, size):
for x in range(occlusion_padding, image.shape[1] + occlusion_padding, size): tmp = image_padded.copy()
tmp[y - occlusion_padding:y + occlusion_center.shape[0] + occlusion_padding, x - occlusion_padding:x + occlusion_center.shape[1] + occlusion_padding] = occlusion
tmp[y:y + occlusion_center.shape[0], x:x + occlusion_center.shape[1]] = occlusion_center
yield x - occlusion_padding, y - occlusion_padding, tmp[occlusion_padding:tmp.shape[0] - occlusion_padding, occlusion_padding:tmp.shape[1] - occlusion_padding]
i = 23 # 例如data = val_x[i]correct_class = np.a(chǎn)rgmax(val_y[i])
# model.predict的輸入向量inp = data.reshape(1, 28, 28, 1)
# matplotlib imshow函數(shù)的圖片img = data.reshape(28, 28)
# 遮蓋img_size = img.shape[0]occlusion_size = 4
print('occluding...')
heatmap = np.zeros((img_size, img_size), np.float32)class_pixels = np.zeros((img_size, img_size), np.int16)
from collections import defaultdictcounters = defaultdict(int)
for n, (x, y, img_float) in enumerate(iter_occlusion(data, size=occlusion_size)):
X = img_float.reshape(1, 28, 28, 1) out = model.predict(X) #print('#{}: {} @ {} (correct class: {})'.format(n, np.a(chǎn)rgmax(out), np.a(chǎn)max(out), out[0][correct_class])) #print('x {} - {} | y {} - {}'.format(x, x + occlusion_size, y, y + occlusion_size))
heatmap[y:y + occlusion_size, x:x + occlusion_size] = out[0][correct_class] class_pixels[y:y + occlusion_size, x:x + occlusion_size] = np.a(chǎn)rgmax(out) counters[np.a(chǎn)rgmax(out)] += 1

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 AI 眼鏡讓百萬 APP「集體失業(yè)」?
- 2 大廠紛紛入局,百度、阿里、字節(jié)搶奪Agent話語權(quán)
- 3 深度報告|中國AI產(chǎn)業(yè)正在崛起成全球力量,市場潛力和關鍵挑戰(zhàn)有哪些?
- 4 上海跑出80億超級獨角獸:獲上市公司戰(zhàn)投,干人形機器人
- 5 國家數(shù)據(jù)局局長劉烈宏調(diào)研格創(chuàng)東智
- 6 下一代入口之戰(zhàn):大廠為何紛紛押注智能體?
- 7 百億AI芯片訂單,瘋狂傾銷中東?
- 8 Robotaxi新消息密集釋放,量產(chǎn)元年誰在領跑?
- 9 格斗大賽出圈!人形機器人致命短板曝光:頭腦過于簡單
- 10 一文看懂視覺語言動作模型(VLA)及其應用