第一部分：sklearn主要模块和使用方法
1. sklearn的六大板块：
- 分类: Classification
- 回归: Regression
- 聚类：Clustering
- 维数约简：Dimensional Reduction
- 模型选择：Model Selection
- 数据预处理：Preprocessing
2. 监督学习/无监督学习下的各个模块及调用方法
2.1 监督学习的各个模块
- neighbors: 近邻算法
- SVM: 支持向量机
- kernal_ridge: 核岭回归
- discriminant_analysis: 判别分析
- linear_model: 广义线性模型
- ensemble: 集成方法
- tree: 决策树
- naive_bayes: 朴素贝叶斯
- cross_decomposition: 交叉分解
- gaussion_process: 高斯过程
- neural_network: 多层神经网络
- calibration: 概率校准
- isotonic: 保序回归
- feature_selection: 监督特征选择
- multiclass: 多类多标签算法
2.2 无监督学习各个模块
- decomposition: 矩阵因子分解
- cluster: 聚类分析
- manifold: 流行学习
- mixture: 高斯混合模型
- neural_network: 无监督神经网络
- density: 密度估计
- covariance: 协方差估计
2.3 数据变换模块
- feature_extraction: 特征提取
- feature_selection: 特征选择
- preprocessing: 数据预处理
- random_projection: 随机投影
- kernal_approximation: 核逼近
- pipline: 管道流
调用方法：from sklearn import model(model 表示对应的模型)
例如：调用决策树回归分析模块
from sklearn import tree
model = tree.DecisionTreeRegressor()
3. API调用方法
3.1 统一调用
| estimator.fit(x_train,[y_train]) | [ ]表示无监督模块无y |
|---|---|
| estimator.predict(x_test) | estimator.transform(x_test) |
| Classification | Preprocessing |
| Regression | Dimensionally Reduction |
| clustering | Feature Extraction |
| Feature Selection |
3.2 数据集的加载方式 Dataset Loading
- sklearn自带的小数据集的加载(Packaged Dataset)
sklearn.datasets.load_datanema(对应的数据集名称，可在官方API介绍中查看)
以导入波士顿房价数据集为例：
sklearn.datasets.load_boston - 在线下载的数据集(Downloadable Dataset)
sklearn.datasets.fetch_dataname（下载的数据集名称） - 计算机生成的数据集(Generated_Dataset)
sklearn.datasets.make_dataname(生成的数据集名称) - svmlight/libsvm 格式的数据集
sklearn.datasets.load_svmlight_file(对应文件在磁盘中的地址) - 从mldata.org(一个机器学习数据集网站）在线下载获取数据集
注：更多API接口在需要的时候从官方API介绍查看使用。
4.利用sklearn进行分析的基本流程
- 准备我们所需要的数据集即加载数据集 (Loading datasets)
--选择合适的方式将我们要处理的数据集加载到内存中，这里以从UCI下载的数据集为例
#python3.6
import numpy as np
import urllib
# 导入数据集所在网址
url = "http://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data"
# 借用urlopen 将数据集导入
raw_data = urllib.urlopen(url)
# 以矩阵形式存储数据
dataset = np.loadtxt(raw_data, delimiter=",")
# 观察数据特征并进行适当的切分
X = dataset[:,0:7]
y = dataset[:,8]
- 数据处理 (Preprocessing)
-- 由于我们所用到的大多数机器学习回归算法以梯度下降法为主，且对数据的缩放和尺度较为敏感，所以我们在使用数据前应该进行数据归一化，归至（-1,1）或者（0,1）之间。
-- 不过sklearn作为强大的机器学习模块，已经内置了normalize(),scale()等函数，便于我们对数据的归一化。
#归一化在数据预处理板块中
from sklearn import preprocessing
# normalize the data attributes
normalized_X = preprocessing.normalize(X)
# standardize the data attributes
standardized_X = preprocessing.scale(X)
- 特征选择 (Feature selection)
-- 根据已有数据要想拟合出我们需要的回归曲线，最重要的就是特征选择，到底数据集中的哪些规律值得我们重视呢？
-- 往往在面对不同的实际问题时，对应的特征复杂程度也不同，这需要很强的专业知识，但做为初学者，sklearn内置的函数就够我们进行分析使用。
#以决策树的特征提取为例
from sklearn import metrics
from sklearn.ensemble import ExtraTreesClassifier
model = ExtraTreesClassifier()
model.fit(X, y)
- 算法的选择(Choose the algorithm)
-- 针对不同的问题我们可以选择不同的回归方法进行分析，具体展示在下面一栏。
5. 常用回归分析的实现及对比
5.1 首先我们准备下所需要的数据集，这里的数据采用计算机随机生成。
import numpy as np
import matplotlib.pyplot as plt
#Prepare the data we need
def f(x1,x2):
y = 0.5 * np.sin(x1) + 0.5 * np.cos(x2) + 0.1 * x1 + 3
return y
#creat training data and test data
def LoadData():
x1_train = np.linspace(0, 50,500)
x2_train = np.linspace(-10, 10,500)
data_train = np.array([[x1,x2,f(x1, x2) + (np.random.random(1)-0.5)] for x1,x2 in zip(x1_train, x2_train)])
x1_test = np.linspace(0, 50,100) + 0.5 * np.random.random(100)
x2_test = np.linspace(-10, 10,100) + 0.02 * np.random.random(100)
data_test = np.array([[x1,x2,f(x1, x2)] for x1,x2 in zip(x1_test, x2_test)])
return data_train,data_test
train,test = LoadData()
x_train,y_train = train[:,:2],train[:,2]
x_test,y_test = test[:,:2],test[:,2]
5.2 定义拟合函数，以便重复调用实现不同的回归方法
def TryDifferentMethod(model):
model.fit(x_train,y_train)
score = model.score(x_test,y_test)
result = model.predict(x_test)
plt.figure()
plt.plot(np.arange(len(result)),y_test,'go-',label='true value')
plt.plot(np.arange(len(result)),result,'ro-',label='predict value')
plt.title('score:%f'%score)
plt.legend()
plt.show()
5.3 这里使用经常用到的五种回归方法进行展示
# 1.DecisionTree Regression
from sklearn import tree
model_DecisionTreeRegressor = tree.DecisionTreeRegressor()
#TryDifferentMethod(model_DecisionTreeRegressor)
# 2.LinearRegression
from sklearn import linear_model
model_LinearRegression = linear_model.LinearRegression()
#TryDifferentMethod(model_LinearRegression)
# 3.SVM Regression
from sklearn import svm
model_SVMRegression = svm.SVR()
#TryDifferentMethod(model_SVMRegression)
# 4.KNN Regression
from sklearn import neighbors
model_KNeighborsRegressor = neighbors.KNeighborsRegressor()
#TryDifferentMethod(model_KNeighborsRegressor)
# 5.RandomForest Regression
from sklearn import ensemble
model_RandomForestRegressor = ensemble.RandomForestRegressor(n_estimators=22) # Use 22 Decision Trees
#TryDifferentMethod(model_RandomForestRegressor)
为了更明显的对比初差距，将可视化后的图像呈现出来：
1.线性回归方法
LinearRegression.png
2.决策树回归方法
DecisionTree.png
3.支持向量机回归方法
SVMRegression.png
4.KNN回归方法
KNN_Regression.png
5.随机森林回归方法
RandomForestRegression.png
接下来，就开始一个个搞了，先从这些回归方法的内置函数搞起。。。。
