%matplotlib inline
import pandas as pd
import numpy as np
from sklearn import cross_validation
from sklearn.metrics import confusion_matrix
from sklearn.linear_model.logistic import LogisticRegression
import warnings
warnings.filterwarnings('ignore') #为了整洁，去除弹出的warnings
#读入数据，清洗数据
df=pd.read_csv( 'cs-training.csv')
df = df.drop(df.columns[0],axis=1)
df=df[df.age>=18]
#对空值进行填充
df['MonthlyIncome'].fillna(df['MonthlyIncome'].mean(), inplace=True)
df['NumberOfDependents'].fillna(df['NumberOfDependents'].mode()[0], inplace=True)
#把因变量和自变量分别提取出来，成为两个数据集
y_feature = df['SeriousDlqin2yrs']
x_features = df.drop('SeriousDlqin2yrs', axis=1)
#按照80%的比例，把两个数据集又分为训练集和测试集（X_1,Y_1是训练集，X_2, Y_2是测试集）
X_1, X_2, Y_1, Y_2 = cross_validation.train_test_split(
x_features, y_feature, test_size=0.8, random_state=0)
logic_clf = LogisticRegression() #生成一个逻辑回归模型
logic_clf.fit(X_1,Y_1) #用训练集进行拟合，获得模型
LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,
intercept_scaling=1, max_iter=100, multi_class='ovr', n_jobs=1,
penalty='l2', random_state=None, solver='liblinear', tol=0.0001,
verbose=0, warm_start=False)
predictions = logic_clf.predict(X_2)
#用模型对X_2进行测试，即判断X_2里面每个记录的违约情况，并把结果储存在predictions中
matrix = confusion_matrix(predictions, Y_2) #显示混淆矩阵
score = logic_clf.score(X_2, Y_2) # 用模型对X_2进行测试，并与Y_2比较，获得准确率
print("accuracy:",score)
print(matrix)
accuracy: 0.933141666667
[[111803 7854]
[ 169 174]]
关于混淆矩阵，参考下图
TP（预测为真，实际也为真），TN(预测为假，实际也为假) 都是预测准确的，FN( 预测为假，实际为真)，FP(预测为真，实际为假 ) 则是预测错误的。所以准确率=(TP+TN)/样本总数。
#换一个朴素贝叶斯 高斯模型来预测
from sklearn.naive_bayes import GaussianNB
gnb_clf = GaussianNB()
gnb_clf.fit(X_1,Y_1)
GaussianNB(priors=None)
gnb_prediction = gnb_clf.predict(X_2)
gnb_matrix = confusion_matrix(gnb_prediction, Y_2)
gnb_score = gnb_clf.score(X_2, Y_2)
print("accuracy:",gnb_score)
print( gnb_matrix)
accuracy: 0.9314
[[111589 7849]
[ 383 179]]
- 参考
sklearn 文档中的1.1.10. 逻辑回归和1.9.1. 朴素贝叶斯 高斯模型 两部分。
scikit-learn 朴素贝叶斯类库使用小结
