－－（2）

其中，α， σ 和 b 是訓(xùn)練數(shù)據(jù)后產(chǎn)生的值。可以通過調(diào)節(jié)σ來匹配維度的大小，σ越大，維度越低。

SVM核心思想：

SVM目的是找到一個線性分類的最佳超平面 f（x）＝xwT＋b＝0。求 w 和 b。首先通過兩個分類的最近點(diǎn)，找到f（x）的約束條件。有了約束條件，就可以通過拉格朗日乘子法和KKT條件來求解，這時，問題變成了求拉格朗日乘子αi 和 b。對于異常點(diǎn)的情況，加入松弛變量ξ來處理。使用序列最小化SMO（Sequential Minimal Optimization）來求拉格朗日乘子αi和b。注意：有些αi＝0的點(diǎn)，可以不用在分類器中考慮。

1）線性分類可以使用公式（1）和公式（2），對于公式（1）需要求解 w 和 b；對于公式（2）需要求解拉格朗日乘子αi和b；

2）非線性分類只能使用公式（2），不能使用公式（1），因?yàn)楣�式�?）是線性函數(shù)。非線性分類的問題將向量映射到高維度，需要使用核函數(shù)。

SVM實(shí)質(zhì)：

支持向量機(jī)（SVM）將向量映射到一個更高維的空間里，在這個空間里建立有一個最大間隔超平面。在分開數(shù)據(jù)的超平面的兩邊建有兩個互相平行的超平面。建立方向合適的分隔超平面使兩個與之平行的超平面間的距離最大化。其假定為，平行超平面間的距離或差距越大，分類器的總誤差越小。

SVM關(guān)鍵因素：

SVM的關(guān)鍵在于核函數(shù)。低維空間向量集通常難于劃分，解決的方法是將它們映射到高維空間。但這個辦法帶來的困難就是計算復(fù)雜度的增加，而核函數(shù)正好巧妙地解決了這個問題。也就是說，只要選用適當(dāng)?shù)暮撕瘮?shù)，可以得到高維空間的分類函數(shù)。在SVM理論中，采用不同的核函數(shù)將導(dǎo)致不同的SVM算法。在確定了核函數(shù)之后，由于確定核函數(shù)的已知數(shù)據(jù)也存在一定的誤差，考慮到推廣性問題，因此引入了松弛系數(shù)以及懲罰系數(shù)兩個參變量來加以校正。在確定了核函數(shù)基礎(chǔ)上，再經(jīng)過大量對比實(shí)驗(yàn)等將這兩個系數(shù)取定，則問題基本搞定。

SVM常用方法：

1）一對多法：把某一種類別的樣本當(dāng)作一個類別，剩余其他類別的樣本當(dāng)作另一個類別，這樣就變成了一個兩分類問題。然后，在剩余的樣本中重復(fù)上面的步驟｀這種方法箱要構(gòu)造k個SVM模型，其中，k是待分類的個數(shù)。這種方案的缺點(diǎn)是訓(xùn)練樣本數(shù)目大，訓(xùn)練困難。

2）一對一法： 在多值分類中，每次只考慮兩類樣本，即對每兩類樣本設(shè)計一個SVM模型，因此，總共需要設(shè)計k（k一l） ／2個SVM模型。需要構(gòu)造多個二值分類器，且測試時需要對每兩類都進(jìn)行比較，導(dǎo)致算法計算復(fù)雜度很高。

SVM決策樹法：它通常和二叉決策樹結(jié)合起來，構(gòu)成多類別的識別器。這種方法的缺點(diǎn)是如果在某個節(jié)點(diǎn)上發(fā)生了分類錯誤，將會把錯誤延續(xù)下去，該節(jié)點(diǎn)后續(xù)下一級節(jié)點(diǎn)上的分類就失去了意義。weston雖然提出了用一個優(yōu)化式解多值分類問題，但由于其變量t數(shù)目過多，所以只能在小型問題的求解中使用。

SVM是一種基于統(tǒng)計學(xué)習(xí)理論的模式識別方法，是一個二分類算法，它可以在N維空間找到一個（N－1）維的超平面，這個超平面可以將這些點(diǎn)分為兩類。也就是說，平面內(nèi)如果存在線性可分的兩類點(diǎn)，SVM可以找到一條最優(yōu)的直線將這些點(diǎn)分開。它在解決小樣本、非線性及高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中。SVM應(yīng)用范圍很廣，已經(jīng)在許多領(lǐng)域，如生物信息學(xué)，文本和手寫識別等中都取得了成功的應(yīng)用。目前主要應(yīng)用于模式識別領(lǐng)域。

結(jié)語：

在機(jī)器學(xué)習(xí)中，支持向量機(jī)（SVM）是與相關(guān)的學(xué)習(xí)算法有關(guān)的監(jiān)督學(xué)習(xí)模型，可以分析數(shù)據(jù)，識別模式，用于分類和回歸分析。在解決小樣本、非線性及高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中。已經(jīng)在許多領(lǐng)域，比如生物信息學(xué)，文本和手寫識別等中都取得了成功的應(yīng)用。目前主要應(yīng)用于模式識別領(lǐng)域。