Python數(shù)據(jù)科學:決策樹
決策樹呈樹形結(jié)構(gòu),是一種基本的回歸和分類方法。
決策樹模型的優(yōu)點在于可讀性強、分類速度快。
下面通過從「譯學館」搬運的兩個視頻,來簡單了解下決策樹。
最后來實戰(zhàn)一波,建立一個簡單的決策樹模型。
/ 01 / 決策樹算法
本次主要涉及兩類決策樹,Quinlan系列決策樹和CART決策樹。
前者涉及的算法包括ID3算法、C4.5算法及C5.0算法,后者則是CART算法。
前者一系列算法的步驟總體可以概括為建樹和剪樹。
在建樹步驟中,首先選擇最有解釋力度的變量,接著對每個變量選擇最優(yōu)的分割點進行剪樹。
剪樹,去掉決策樹中噪音或異常數(shù)據(jù),在損失一定預測精度的情況下,能夠控制決策樹的復雜度,提高其泛化能力。
在剪樹步驟中,分為前剪枝和后剪枝。
前剪枝用于控制樹的生成規(guī)模,常用方法有控制決策樹最大深度、控制樹中父結(jié)點和子結(jié)點的最少樣本量或比例。
后剪枝用于刪除沒有意義的分組,常用方法有計算結(jié)點中目標變量預測精度或誤差、綜合考慮誤差與復雜度進行剪樹。
此外在ID3算法中,使用信息增益挑選最有解釋力度的變量。
其中信息增益為信息熵減去條件熵得到,增益越大,則變量的影響越大。
C4.5算法則是使用信息增益率作為變量篩選的指標。
CART算法可用于分類或數(shù)值預測,使用基尼系數(shù)(gini)作為選擇最優(yōu)分割變量的指標。
/ 02/ Python實現(xiàn)
慣例,繼續(xù)使用書中提供的數(shù)據(jù)。
一份汽車違約貸款數(shù)據(jù)集。
讀取數(shù)據(jù),并對數(shù)據(jù)進行清洗處理。
import os
import pydotplus
import numpy as np
import pandas as pd
import sklearn.tree as tree
import matplotlib.pyplot as plt
from IPython.display import Image
import sklearn.metrics as metrics
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split, ParameterGrid, GridSearchCV
# 消除pandas輸出省略號情況
pd.set_option('display.max_columns', None)
# 設(shè)置顯示寬度為1000,這樣就不會在IDE中換行了
pd.set_option('display.width', 1000)
# 讀取數(shù)據(jù),skipinitialspace:忽略分隔符后的空白
accepts = pd.read_csv('accepts.csv', skipinitialspace=True)
# dropna:對缺失的數(shù)據(jù)進行刪除
accepts = accepts.dropna(axis=0, how='any')
# 因變量,是否違約
target = accepts['bad_ind']
# 自變量
data = accepts.ix[:, 'bankruptcy_ind':'used_ind']
# 業(yè)務(wù)處理,loan_amt:貸款金額,tot_income:月均收入
data['lti_temp'] = data['loan_amt'] / data['tot_income']
data['lti_temp'] = data['lti_temp'].map(lambda x: 10 if x >= 10 else x)
# 刪除貸款金額列
del data['loan_amt']
# 替換曾經(jīng)破產(chǎn)標識列
data['bankruptcy_ind'] = data['bankruptcy_ind'].replace({'N': 0, 'Y': 1})
接下來使用scikit-learn將數(shù)據(jù)集劃分為訓練集和測試集。
# 使用scikit-learn將數(shù)據(jù)集劃分為訓練集和測試集
train_data, test_data, train_target, test_target = train_test_split(data, target, test_size=0.2, train_size=0.8, random_state=1234)
初始化一個決策樹模型,使用訓練集進行訓練。
采用基尼系數(shù)作為樹的生長依據(jù),樹的最大深度為3,每一類標簽的權(quán)重一樣。
# 初始化一個決策樹模型
clf = DecisionTreeClassifier(criterion='gini', max_depth=3, class_weight=None, random_state=1234)
# 輸出決策樹模型信息
print(clf.fit(train_data, train_target))
輸出的模型信息如下。
對生成的決策樹模型進行評估。
# 輸出決策樹模型的決策類評估指標
print(metrics.classification_report(test_target, clf.predict(test_data)))
# 對不同的因變量進行權(quán)重設(shè)置
clf.set_params(**{'class_weight': {0: 1, 1: 3}})
clf.fit(train_data, train_target)
# 輸出決策樹模型的決策類評估指標
print(metrics.classification_report(test_target, clf.predict(test_data)))
# 輸出決策樹模型的變量重要性排序
print(list(zip(data.columns, clf.feature_importances_)))
輸出如下。
可以看出對因變量標簽進行權(quán)重設(shè)置后,模型對違約用戶的f1-score(精確率和召回率的調(diào)和平均數(shù))提高了,為0.46。
違約用戶被識別的靈敏度也從0.24提高到了0.46。
此外決策樹模型的變量重要性排序為「FICO打分」、「信用卡授權(quán)額度」、「貸款金額/建議售價*100」。

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇,探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 4 “AI寒武紀”爆發(fā)至今,五類新物種登上歷史舞臺
- 5 國產(chǎn)智駕迎戰(zhàn)特斯拉FSD,AI含量差幾何?
- 6 光計算迎來商業(yè)化突破,但落地仍需時間
- 7 東陽光:2024年扭虧、一季度凈利大增,液冷疊加具身智能打開成長空間
- 8 地平線自動駕駛方案解讀
- 9 封殺AI“照騙”,“淘寶們”終于不忍了?
- 10 優(yōu)必選:營收大增主靠小件,虧損繼續(xù)又逢關(guān)稅,能否乘機器人東風翻身?