異常檢測(cè)是異常值分析中的一項(xiàng)統(tǒng)計(jì)任務(wù)，但是如果我們開(kāi)發(fā)一個(gè)機(jī)器學(xué)習(xí)模型來(lái)自動(dòng)化地進(jìn)行異常檢測(cè)，可以節(jié)省很多時(shí)間。

異常檢測(cè)有很多用例，包括信用卡欺詐檢測(cè)、故障機(jī)器檢測(cè)、基于異常特征的硬件系統(tǒng)檢測(cè)、基于醫(yī)療記錄的疾病檢測(cè)都是很好的例子，除此之外也還有很多的用例。在本文中，我們將使用Python從頭開(kāi)始實(shí)現(xiàn)異常檢測(cè)算法。公式和過(guò)程與我之前解釋過(guò)的其他機(jī)器學(xué)習(xí)算法相比，我們使用的異常檢測(cè)算法要簡(jiǎn)單得多。該算法使用均值和方差來(lái)計(jì)算每個(gè)訓(xùn)練數(shù)據(jù)的概率。如果一個(gè)訓(xùn)練實(shí)例的概率很高，則是正常的；如果某個(gè)訓(xùn)練實(shí)例的概率很低，那就可以是一個(gè)異常樣本。對(duì)于不同的訓(xùn)練集，高概率和低概率的定義是不同的，這個(gè)我們以后再討論。接下來(lái)我們來(lái)看一下異常檢測(cè)的工作過(guò)程。使用以下公式計(jì)算平均值：

這里m是數(shù)據(jù)集的長(zhǎng)度或訓(xùn)練數(shù)據(jù)的數(shù)量，而是一個(gè)單獨(dú)的訓(xùn)練例子。如果你有多個(gè)訓(xùn)練特征，大多數(shù)情況下都需要計(jì)算每個(gè)特征的平均值。使用以下公式計(jì)算方差：

這里，mu是上一步計(jì)算的平均值。現(xiàn)在，用這個(gè)概率公式來(lái)計(jì)算每個(gè)訓(xùn)練例子的概率。

不要被這個(gè)公式中的求和符號(hào)弄糊涂了！這實(shí)際上是Sigma方差。稍后我們實(shí)現(xiàn)該算法時(shí)，就會(huì)理解它了�，F(xiàn)在我們需要找到概率的臨界值。正如我前面提到的，如果一個(gè)訓(xùn)練例子的概率很低，那這就是一個(gè)異常樣本。多大是低概率呢這沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)，我們需要為我們的訓(xùn)練數(shù)據(jù)集找出這個(gè)閾值。我們從步驟3中得到的輸出中獲取一系列概率值，對(duì)于每個(gè)概率，通過(guò)閾值的設(shè)置來(lái)判斷數(shù)據(jù)是否異常然后計(jì)算一系列概率的精確度、召回率和f1分?jǐn)?shù)。精度可使用以下公式計(jì)算

召回率的計(jì)算公式如下：

在這里，True positives（真正例）是指是異常的且算法檢測(cè)到也是異常的樣本。False Positives（假正例）是指不是異常的但算法檢測(cè)到是異常的樣本。False Negative（假反例）是指不是異常的且算法檢測(cè)到也不是異常的樣本。從上面的公式你可以看出，更高的精確度和更高的召回率說(shuō)明算法性能更好，因?yàn)檫@意味著我們有更多的真正的正例，但同時(shí)，假正例和假反例也起著至關(guān)重要的作用，這需要一個(gè)平衡點(diǎn)，根據(jù)你的行業(yè)，你需要決定哪一個(gè)對(duì)你來(lái)說(shuō)是可以忍受的。一個(gè)好辦法是取平均數(shù)。計(jì)算平均值有一個(gè)獨(dú)特的公式，這就是f1分?jǐn)?shù)，f1得分公式為：

這里，P和R分別表示精確性和召回率。如果你對(duì)該公式感興趣的話(huà)，可以查看：https：／／towardsdatascience．com／a－complete－understanding－of－precision－recall－and－f－score－concepts－23dc44defef6根據(jù)f1分?jǐn)?shù)，你需要選擇你的閾值概率。異常檢測(cè)算法我們將使用Andrew Ng的機(jī)器學(xué)習(xí)課程的數(shù)據(jù)集，它具有兩個(gè)訓(xùn)練特征。我沒(méi)有在本文中使用真實(shí)的數(shù)據(jù)集，因?yàn)檫@個(gè)數(shù)據(jù)集非常適合學(xué)習(xí)，它只有兩個(gè)特征。在任何真實(shí)的數(shù)據(jù)集中，都不可能只有兩個(gè)特征。有兩個(gè)特性的好處是可以可視化數(shù)據(jù)，這對(duì)學(xué)習(xí)者非常有用。請(qǐng)從該鏈接下載數(shù)據(jù)集：https：／／github．com／rashida048／Machine－Learning－With－Python／blob／master／ex8data1．xlsx首先，導(dǎo)入必要的包import pandas as pd 

import numpy as np

導(dǎo)入數(shù)據(jù)集。這是一個(gè)excel數(shù)據(jù)集。在這里，訓(xùn)練數(shù)據(jù)和交叉驗(yàn)證數(shù)據(jù)存儲(chǔ)在單獨(dú)的表中。df ＝ pd．read＿excel（＇ex8data1．xlsx＇， sheet＿name＝＇X＇， header＝None）

df．head（）

讓我們將第0列與第1列進(jìn)行比較。plt．figure（）

plt．scatter（df［0］， df［1］）

plt．show（）

你可能通過(guò)看這張圖知道哪些數(shù)據(jù)是異常的。檢查此數(shù)據(jù)集中有多少個(gè)訓(xùn)練示例：m ＝ len（df）