人工智能之樸素貝葉斯(NB)
前沿:學(xué)習(xí)過概率的人一定知道貝葉斯定理,在信息領(lǐng)域內(nèi)有著無與倫比的地位。貝葉斯算法是基于貝葉斯定理的一類算法,主要用來解決分類和回歸問題。
人工智能之機(jī)器學(xué)習(xí)中最為廣泛的兩種分類模型是1)決策樹模型(Decision Tree Model)和2) 樸素貝葉斯模型(Naive Bayesian Model)。決策樹DT已經(jīng)講過,請(qǐng)參見之前有關(guān)文章。
今天我們重點(diǎn)探討一下樸素貝葉斯(NB),注意這里NB不是牛X, 而是Naive Bayesian。 ^_^
樸素貝葉斯是經(jīng)典的機(jī)器學(xué)習(xí)算法之一,也是為數(shù)不多的基于概率論的分類算法。樸素貝葉斯原理簡(jiǎn)單,也很容易實(shí)現(xiàn),多用于文本分類、垃圾郵件過濾、情感分析等。
英國(guó)數(shù)學(xué)家托馬斯·貝葉斯(Thomas Bayes)在1763年發(fā)表的一篇論文中,首先提出了貝葉斯定理。
貝葉斯定理的應(yīng)用需要大量的計(jì)算,因此歷史上很長(zhǎng)一段時(shí)間,無法得到廣泛應(yīng)用。只有計(jì)算機(jī)誕生以后,它才獲得真正的重視。人們發(fā)現(xiàn),許多統(tǒng)計(jì)量是無法事先進(jìn)行客觀判斷的,而互聯(lián)網(wǎng)時(shí)代出現(xiàn)的大型數(shù)據(jù)集,再加上高速運(yùn)算能力,為驗(yàn)證這些統(tǒng)計(jì)量提供了方便,也為應(yīng)用貝葉斯定理創(chuàng)造了條件,它的威力正在日益顯現(xiàn)。
概念和定義:
樸素貝葉斯法是基于貝葉斯定理與特征條件獨(dú)立假設(shè)的分類方法。樸素貝葉斯分類器NBC (NaiveBayes Classifier)發(fā)源于古典數(shù)學(xué)理論,有著堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ),以及穩(wěn)定的分類效率。樸素貝葉斯分類器(NBC)模型所需估計(jì)的參數(shù)很少,對(duì)缺失數(shù)據(jù)不太敏感,算法也比較簡(jiǎn)單。理論上,NBC模型與其他分類方法相比具有最小的誤差率。但是實(shí)際上并非總是如此,這是因?yàn)镹BC模型假設(shè)屬性之間相互獨(dú)立,這個(gè)假設(shè)在實(shí)際應(yīng)用中往往是不成立的,這給NBC模型的正確分類帶來了一定影響。
貝葉斯分類是一系列分類算法總稱,這類算法均以貝葉斯定理為基礎(chǔ),故統(tǒng)稱為貝葉斯分類。而樸素貝葉斯分類是貝葉斯分類中最簡(jiǎn)單,也是常見的一種分類方法。
理論基礎(chǔ):
樸素貝葉斯最核心的部分是貝葉斯法則,而貝葉斯法則的基石是條件概率。貝葉斯法則如下:
這里的C表示類別,輸入待判斷數(shù)據(jù),式子給出要求解的某一類的概率。
樸素貝葉斯分類器基于一個(gè)簡(jiǎn)單的假定:給定目標(biāo)值時(shí)屬性之間相互條件獨(dú)立。
樸素貝葉斯分類器模型:
Vmap=arg maxP( Vj | a1,a2...a(chǎn)n) Vj屬于V集合,其中Vmap是給定一個(gè)example,得到的最可能的目標(biāo)值。其中a1...a(chǎn)n是這個(gè)example里面的屬性。Vmap目標(biāo)值,就是后面計(jì)算得出的概率最大的一個(gè)。所以用max來表示。
貝葉斯公式應(yīng)用到 P( Vj | a1,a2...a(chǎn)n)中?傻玫 Vmap= arg max P(a1,a2...a(chǎn)n | Vj ) P( Vj ) / P(a1,a2...a(chǎn)n)。又因?yàn)闃闼刎惾~斯分類器默認(rèn)a1...a(chǎn)n互相獨(dú)立。所以P(a1,a2...a(chǎn)n)對(duì)于結(jié)果沒有用處。可得到Vmap= arg max P(a1,a2...a(chǎn)n | Vj ) P( Vj )。
"樸素貝葉斯分類器基于一個(gè)簡(jiǎn)單的假定:給定目標(biāo)值時(shí)屬性之間相互條件獨(dú)立。換言之。該假定說明給定實(shí)例的目標(biāo)值情況下。觀察到聯(lián)合的a1,a2...a(chǎn)n的概率正好是對(duì)每個(gè)單獨(dú)屬性的概率乘積:P(a1,a2...a(chǎn)n | Vj ) =Πi P(ai| Vj )
因此,樸素貝葉斯分類器模型:Vnb=arg max P( Vj ) Π iP ( ai | Vj )

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
3月27日立即報(bào)名>> 【工程師系列】汽車電子技術(shù)在線大會(huì)
-
4月30日立即下載>> 【村田汽車】汽車E/E架構(gòu)革新中,新智能座艙挑戰(zhàn)的解決方案
-
5月15-17日立即預(yù)約>> 【線下巡回】2025年STM32峰會(huì)
-
即日-5.15立即報(bào)名>>> 【在線會(huì)議】安森美Hyperlux™ ID系列引領(lǐng)iToF技術(shù)革新
-
5月15日立即下載>> 【白皮書】精確和高效地表征3000V/20A功率器件應(yīng)用指南
-
5月16日立即參評(píng) >> 【評(píng)選啟動(dòng)】維科杯·OFweek 2025(第十屆)人工智能行業(yè)年度評(píng)選
推薦專題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達(dá)AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇,探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 4 “AI寒武紀(jì)”爆發(fā)至今,五類新物種登上歷史舞臺(tái)
- 5 國(guó)產(chǎn)智駕迎戰(zhàn)特斯拉FSD,AI含量差幾何?
- 6 光計(jì)算迎來商業(yè)化突破,但落地仍需時(shí)間
- 7 東陽光:2024年扭虧、一季度凈利大增,液冷疊加具身智能打開成長(zhǎng)空間
- 8 地平線自動(dòng)駕駛方案解讀
- 9 封殺AI“照騙”,“淘寶們”終于不忍了?
- 10 優(yōu)必選:營(yíng)收大增主靠小件,虧損繼續(xù)又逢關(guān)稅,能否乘機(jī)器人東風(fēng)翻身?