邏輯回歸

將result歸一化到［0， 1］區(qū)間，即使用一個(gè)邏輯方程將線性回歸歸一化，稱為邏輯回歸（logisticregression）。它是一種廣義的線性回歸。

邏輯回歸（logistic regression）可分為二元邏輯回歸、多元邏輯回歸。

邏輯回歸（logistic regression）是與線性回歸相對(duì)應(yīng)的一種分類方法。該算法的基本概念由線性回歸推導(dǎo)而出。邏輯回歸通過(guò)邏輯函數(shù)（即 Sigmoid 函數(shù)）將預(yù)測(cè)映射到 0 到 1 中間，因此預(yù)測(cè)值就可以看成某個(gè)類別的概率。

邏輯回歸模型仍然還是線性的。只有在數(shù)據(jù)是線性可分，即數(shù)據(jù)可被一個(gè)超平面完全分離時(shí)，算法才能有優(yōu)秀的表現(xiàn)。同樣 Logistic 模型能懲罰模型系數(shù)而進(jìn)行正則化。

算法優(yōu)點(diǎn)：

1）輸出有很好的概率解釋；

2） 算法也能正則化而避免過(guò)擬合；

3）Logistic 模型很容易使用隨機(jī)梯度下降和新數(shù)據(jù)更新模型權(quán)重。

算法缺點(diǎn)：

Logistic 回歸在多條或非線性決策邊界時(shí)性能比較差。

最小二乘法：

最小二乘法（或稱最小平方法）是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過(guò)最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。利用最小二乘法可以簡(jiǎn)便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和為最小。最小二乘法可用于直線或曲線擬合。其他一些優(yōu)化問(wèn)題也可用最小二乘法來(lái)解決。

梯度下降法：

梯度下降法是一種迭代求全局最優(yōu)（凸函數(shù)）或局部最優(yōu)（非凸函數(shù)）的算法。在大數(shù)據(jù)情況下，數(shù)據(jù)的特征維度很多維，那么此時(shí)對(duì)其使用最小二乘法計(jì)算量會(huì)很大。于是考慮采用梯度下降法來(lái)求出最優(yōu)。

梯度下降法主要思想：人在山頂下，有n多條路徑下到山的最底部。從山頂當(dāng)前位置計(jì)算所有方向的偏導(dǎo)，求出當(dāng)前位置的各個(gè)偏導(dǎo)后，得到各個(gè)偏導(dǎo)函數(shù)的最小值，最小值即當(dāng)前位置梯度的反方向，所以稱為梯度下降法。

回歸步驟：

1）確定變量：明確預(yù)測(cè)的具體目標(biāo)，也就確定了因變量。通過(guò)調(diào)查和查閱資料，尋找與預(yù)測(cè)目標(biāo)的相關(guān)影響因素，即自變量，并從中選出主要的影響因素。

2）建立預(yù)測(cè)模型：依據(jù)自變量和因變量的歷史統(tǒng)計(jì)資料進(jìn)行計(jì)算，在此基礎(chǔ)上建立回歸分析方程，即回歸分析預(yù)測(cè)模型。

3）進(jìn)行相關(guān)分析：回歸分析是對(duì)具有因果關(guān)系的影響因素（自變量）和預(yù)測(cè)對(duì)象（因變量）所進(jìn)行的數(shù)理統(tǒng)計(jì)分析處理。一般需要求出相關(guān)關(guān)系（通常用逐步回歸、向前回歸和向后回歸等方法），以相關(guān)系數(shù)的大小來(lái)判斷自變量和因變量的相關(guān)程度。

4）計(jì)算預(yù)測(cè)誤差：回歸預(yù)測(cè)模型是否可用于實(shí)際預(yù)測(cè)，取決于對(duì)回歸預(yù)測(cè)模型的檢驗(yàn)和對(duì)預(yù)測(cè)誤差的計(jì)算。回歸方程只有通過(guò)各種檢驗(yàn)，且預(yù)測(cè)誤差較小，才能將回歸方程作為預(yù)測(cè)模型進(jìn)行預(yù)測(cè)。

5）確定預(yù)測(cè)值：利用回歸預(yù)測(cè)模型計(jì)算預(yù)測(cè)值，并對(duì)預(yù)測(cè)值進(jìn)行綜合分析，確定最后的預(yù)測(cè)值。

注意問(wèn)題：

正確應(yīng)用回歸分析預(yù)測(cè)時(shí)應(yīng)注意：

1）用定性分析判斷現(xiàn)象之間的依存關(guān)系；

2）避免回歸預(yù)測(cè)的任意外推；

3）應(yīng)用合適的數(shù)據(jù)資料．

回歸應(yīng)用：

回歸分析是通過(guò)規(guī)定因變量和自變量來(lái)確定變量之間的因果關(guān)系，建立回歸模型，并根據(jù)實(shí)測(cè)數(shù)據(jù)來(lái)求解模型的各個(gè)參數(shù)，然后評(píng)價(jià)回歸模型是否能夠很好的擬合實(shí)測(cè)數(shù)據(jù)；如果能夠很好的擬合，則可以根據(jù)自變量作進(jìn)一步預(yù)測(cè)。

一般來(lái)說(shuō)，對(duì)于連續(xù)值預(yù)測(cè)可采用線性回歸和非線性回歸；對(duì)于離散值／類別預(yù)測(cè)，可采用邏輯回歸。

線性回歸用在：銷售預(yù)測(cè)、風(fēng)險(xiǎn)評(píng)估等領(lǐng)域。

非線性回歸用在：經(jīng)濟(jì)預(yù)測(cè)、人力需求等領(lǐng)域。

邏輯回歸用在：數(shù)據(jù)挖掘，疾病自動(dòng)診斷等領(lǐng)域。

結(jié)語(yǔ)：

回歸模型能夠解決預(yù)測(cè)和分類問(wèn)題。根據(jù)自變量的個(gè)數(shù)分為一元和多元回歸；根據(jù)是否線性關(guān)系分為線性回歸和非線性回歸。在求解回歸模型時(shí)要在特定的情況下選用對(duì)應(yīng)的方法，在維度小或線性回歸時(shí)可選用最小二乘法，而在Logistic回歸時(shí)應(yīng)選用梯度下降法。回歸模型在人工智能之機(jī)器學(xué)習(xí)、經(jīng)濟(jì)預(yù)測(cè)、數(shù)據(jù)挖掘，疾病自動(dòng)診斷、銷售預(yù)測(cè)和風(fēng)險(xiǎn)評(píng)估等方面有著廣泛應(yīng)用。