前沿：學(xué)習(xí)過(guò)概率的人一定知道貝葉斯定理，在信息領(lǐng)域內(nèi)有著無(wú)與倫比的地位。貝葉斯算法是基于貝葉斯定理的一類(lèi)算法，主要用來(lái)解決分類(lèi)和回歸問(wèn)題。

人工智能之機(jī)器學(xué)習(xí)中最為廣泛的兩種分類(lèi)模型是1）決策樹(shù)模型（Decision Tree Model）和2） 樸素貝葉斯模型（Naive Bayesian Model）。決策樹(shù)DT已經(jīng)講過(guò)，請(qǐng)參見(jiàn)之前有關(guān)文章。

今天我們重點(diǎn)探討一下樸素貝葉斯（NB），注意這里NB不是牛X， 而是Naive Bayesian。 ＾＿＾

樸素貝葉斯是經(jīng)典的機(jī)器學(xué)習(xí)算法之一，也是為數(shù)不多的基于概率論的分類(lèi)算法。樸素貝葉斯原理簡(jiǎn)單，也很容易實(shí)現(xiàn)，多用于文本分類(lèi)、垃圾郵件過(guò)濾、情感分析等。

英國(guó)數(shù)學(xué)家托馬斯·貝葉斯（Thomas Bayes）在1763年發(fā)表的一篇論文中，首先提出了貝葉斯定理。

貝葉斯定理的應(yīng)用需要大量的計(jì)算，因此歷史上很長(zhǎng)一段時(shí)間，無(wú)法得到廣泛應(yīng)用。只有計(jì)算機(jī)誕生以后，它才獲得真正的重視。人們發(fā)現(xiàn)，許多統(tǒng)計(jì)量是無(wú)法事先進(jìn)行客觀判斷的，而互聯(lián)網(wǎng)時(shí)代出現(xiàn)的大型數(shù)據(jù)集，再加上高速運(yùn)算能力，為驗(yàn)證這些統(tǒng)計(jì)量提供了方便，也為應(yīng)用貝葉斯定理創(chuàng)造了條件，它的威力正在日益顯現(xiàn)。

概念和定義：

樸素貝葉斯法是基于貝葉斯定理與特征條件獨(dú)立假設(shè)的分類(lèi)方法。樸素貝葉斯分類(lèi)器NBC （NaiveBayes Classifier）發(fā)源于古典數(shù)學(xué)理論，有著堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)，以及穩(wěn)定的分類(lèi)效率。樸素貝葉斯分類(lèi)器（NBC）模型所需估計(jì)的參數(shù)很少，對(duì)缺失數(shù)據(jù)不太敏感，算法也比較簡(jiǎn)單。理論上，NBC模型與其他分類(lèi)方法相比具有最小的誤差率。但是實(shí)際上并非總是如此，這是因?yàn)镹BC模型假設(shè)屬性之間相互獨(dú)立，這個(gè)假設(shè)在實(shí)際應(yīng)用中往往是不成立的，這給NBC模型的正確分類(lèi)帶來(lái)了一定影響。

貝葉斯分類(lèi)是一系列分類(lèi)算法總稱(chēng)，這類(lèi)算法均以貝葉斯定理為基礎(chǔ)，故統(tǒng)稱(chēng)為貝葉斯分類(lèi)。而樸素貝葉斯分類(lèi)是貝葉斯分類(lèi)中最簡(jiǎn)單，也是常見(jiàn)的一種分類(lèi)方法。

理論基礎(chǔ)：

樸素貝葉斯最核心的部分是貝葉斯法則，而貝葉斯法則的基石是條件概率。貝葉斯法則如下：

這里的C表示類(lèi)別，輸入待判斷數(shù)據(jù)，式子給出要求解的某一類(lèi)的概率。

樸素貝葉斯分類(lèi)器基于一個(gè)簡(jiǎn)單的假定：給定目標(biāo)值時(shí)屬性之間相互條件獨(dú)立。

樸素貝葉斯分類(lèi)器模型：

Vmap＝arg maxP（ Vj ｜ a1，a2．．．a(chǎn)n） Vj屬于V集合，其中Vmap是給定一個(gè)example，得到的最可能的目標(biāo)值。其中a1．．．a(chǎn)n是這個(gè)example里面的屬性。Vmap目標(biāo)值，就是后面計(jì)算得出的概率最大的一個(gè)。所以用max來(lái)表示。

貝葉斯公式應(yīng)用到 P（ Vj ｜ a1，a2．．．a(chǎn)n）中�？傻玫� Vmap＝ arg max P（a1，a2．．．a(chǎn)n ｜ Vj ） P（ Vj ） ／ P（a1，a2．．．a(chǎn)n）。又因?yàn)闃闼刎惾~斯分類(lèi)器默認(rèn)a1．．．a(chǎn)n互相獨(dú)立。所以P（a1，a2．．．a(chǎn)n）對(duì)于結(jié)果沒(méi)有用處�？傻玫絍map＝ arg max P（a1，a2．．．a(chǎn)n ｜ Vj ） P（ Vj ）。

＂樸素貝葉斯分類(lèi)器基于一個(gè)簡(jiǎn)單的假定：給定目標(biāo)值時(shí)屬性之間相互條件獨(dú)立。換言之。該假定說(shuō)明給定實(shí)例的目標(biāo)值情況下。觀察到聯(lián)合的a1，a2．．．a(chǎn)n的概率正好是對(duì)每個(gè)單獨(dú)屬性的概率乘積：P（a1，a2．．．a(chǎn)n ｜ Vj ） ＝Πi P（ai｜ Vj ）

因此，樸素貝葉斯分類(lèi)器模型：Vnb＝arg max P（ Vj ） Π iP （ ai ｜ Vj ）