樸素貝葉斯基本框架，c類別，A特征

樸素貝葉斯分類器：

比較流行的樸素貝葉斯分類器有：

高斯樸素貝葉斯（Gaussian naive Bayes）：適用于多個(gè)類型變量，假設(shè)特征符合高斯分布。

多項(xiàng)式樸素貝葉斯（Multinomial naive Bayes）：用于離散計(jì)數(shù)，如一個(gè)句子中某個(gè)詞語重復(fù)出現(xiàn)，我們視它們每個(gè)都是獨(dú)立的，所以統(tǒng)計(jì)多次，概率指數(shù)上出現(xiàn)了次方。

伯努利樸素貝葉斯（Bernoulli naive Bayes）：如果特征向量是二進(jìn)制（即0和1），那這個(gè)模型是非常有用的。不同于多項(xiàng)式，伯努利把出現(xiàn)多次的詞語視為只出現(xiàn)一次，更加簡單方便。

可以根據(jù)特定數(shù)據(jù)集選取上述3個(gè)分類器中的合適者。

算法優(yōu)點(diǎn)：

1）既簡單又快速，預(yù)測表現(xiàn)良好。

2）如果變量獨(dú)立這個(gè)條件成立，相比Logistic回歸等其他分類方法，樸素貝葉斯分類器性能更優(yōu)，且只需少量訓(xùn)練數(shù)據(jù)。

3）相較于數(shù)值變量，樸素貝葉斯分類器在多個(gè)分類變量的情況下表現(xiàn)更好。若是數(shù)值變量，需要正態(tài)分布假設(shè)。

4）對缺失數(shù)據(jù)不太敏感，算法也比較簡單。

算法缺點(diǎn)：

1） 如果分類變量的類別（測試數(shù)據(jù)集）沒有在訓(xùn)練數(shù)據(jù)集總被觀察到，那這個(gè)模型會(huì)分配一個(gè)0概率給它，同時(shí)也會(huì)無法進(jìn)行預(yù)測。這通常被稱為“零頻率”。為了解決這個(gè)問題，可以使用平滑技術(shù)，拉普拉斯估計(jì)是其中最基礎(chǔ)的技術(shù)。

2） 樸素貝葉斯也被稱為bad estimator，所以它的概率輸出predict＿proba不應(yīng)被太認(rèn)真對待。

3） 刪除重復(fù)出現(xiàn)的高度相關(guān)的特征，可能會(huì)丟失頻率信息，影響效果。

4） 樸素貝葉斯的另一個(gè)限制是獨(dú)立預(yù)測的假設(shè)。在現(xiàn)實(shí)生活中，這幾乎是不可能的，各變量間或多或少都會(huì)存在相互影響。

主要應(yīng)用：

1） 實(shí)時(shí)預(yù)測：運(yùn)用樸素貝葉斯進(jìn)行很快地實(shí)時(shí)預(yù)測。

2） 多類預(yù)測：這個(gè)算法以多類別預(yù)測功能聞名，因此可以用來預(yù)測多類目標(biāo)變量的概率。

3） 文本分類／垃圾郵件過濾／情感分析：相比較其他算法，樸素貝葉斯的應(yīng)用主要集中在文本分類（變量類型多，且更獨(dú)立），具有較高的成功率。因此被廣泛應(yīng)用于垃圾郵件過濾（識(shí)別垃圾郵件）和情感分析（分辨積極情緒和消極情緒的用戶）。

4） 推薦系統(tǒng)：樸素貝葉斯分類器和協(xié)同過濾結(jié)合使用可以過濾出用戶想看到的和不想看到的東西。

結(jié)語：

樸素貝葉斯模型與其他分類方法相比具有最小的誤差率。但是實(shí)際上并非總是如此，這是因?yàn)闃闼刎惾~斯模型假設(shè)屬性之間相互獨(dú)立，這個(gè)假設(shè)在實(shí)際應(yīng)用中往往是不成立的，在屬性個(gè)數(shù)比較多或者屬性之間相關(guān)性較大時(shí)，分類效果不好。而在屬性相關(guān)性較小時(shí)，樸素貝葉斯性能最為良好。對于這一點(diǎn)，有半樸素貝葉斯之類的算法通過考慮部分關(guān)聯(lián)性適度改進(jìn)。樸素貝葉斯在有些領(lǐng)域很有用，比如文本分類、垃圾郵件過濾、情感分析等；樸素貝葉斯原理和實(shí)現(xiàn)都比較簡單，學(xué)習(xí)和預(yù)測的效率都很高，是一種經(jīng)典而常用的分類算法。在人工智能領(lǐng)域，樸素貝葉斯方法是一種十分有代表性的不確定性知識(shí)表示和推理方法。