K近邻算法(K Nearest Neighbors)
和K个样本哪个类别相似越多，则这个新的样本最有可能属于哪个类别。
1.1过程
(1)相似度计算：
欧拉距离：
distances=[sqrt(np.sum((x_train-x)**2))for x_train in X_train]
(2)进行排序，返回的是索引
nearest=np.argsort(distances)
k=6
topK_y=[y_train[i] for I in nearest[:k]]
(3)不同类别的点有多少个
from collections import Counter
votes=Counter(topK_y)
predict_y=votes.most_common(1)[0] //计算最多的一个元素
===========》则判断出新来的类别predict_y
1.2如何使用scikit-learn中的kNN？
(1)引包:from sklearn.neighbors import kNeighborsClassifier
(2)改造函数：kNN_classfier=KNeighborsClassifier(n_neighbors=6)
(3)kNN_classfier.fit(x_train,y_train)
(4)预测：y_predict=kNN_classfier.predict(x)
(5)y_predict[0]
1.3算法性能
分割原始模型成训练数据集和测试数据集：
训练数据集用于训练模型；测试数据集用于评测训练出来的模型怎么样。
（1）打乱：索引随机的排列：shuffle_index=np.random.permutation(len(X))
（2）设置测试数据集和训练数据集的比例，得到测试数据集和训练数据集的数据大小
test_radio=0.2
test_size=(int)(len(X)*test_radio)
test_indexes=shuffle_index[:test_size]
tain_indexes=shuffle_index[test_size:]
x_train=X[train_indexes]
y_train=Y[train_indexes]
x_test=X[test_indexes]
y_test=Y[test_indexes]
sklearn中的train_test_split:
from sklearn.model_selection import train_test_split
x_train, y_train, x_test,y_test=train_split_test(X,Y,test_size=0.2)
1.4超参数
超参数：在运行机器学习之前需要指定的参数。例如KNN中的K
模型参数：在模型过程中学习的参数
寻找knn中最好的k？
距离：当p=1=》曼哈顿距离；当p=2=》欧拉距离…..则p就是超参数
搜索明可夫斯基距离相应的p：
1.5网格搜索GridSearch
导包：fromsklearn.model_selection import GridSearchCV
使用：grid_search=GridSearchCV(knn_clf,param_grid，njobs,verbose)
1.6数据归一化Feature Scaling
将所有的数据映射到同一尺度。
1.6.1最值归一化normalization
把所有数据映射到0-1之间（适用于分布有明显边界的情况；受outlier影响较大）
例如：同学考试成绩，图像像素
X[:,0]=(X[:,0]-np.min(X[:,0]))/(np.max(X[:,0]-np.min(X[:,0])))
1.6.2均值方差归一化standardization
把所有数据归一到均值为0方差为1的分布中。（适用于分布没有明显边界的情况；有可能存在极端数据值）
X [:,0]=(X [:,0]-np.mean(X[:,0]))/ np.std(X[:,0])
X[:,1]=(X[:,1]-np.mean(X[:,1]))/ np.std(X[:,1])
1.6.3Scikit-learn中使用Scaler
(1)导包：from sklearn.preprocessing import StandardScaler
(2)实例化：standardScaler=StandardScaler()
(3)fit：standardScaler.fit(x_train)
(4)均值：standardScaler.mean_
(5)方差：standardScaler.scale_
(6)归一化：
x_train =standardScaler.transform(x_train)
x_test_standard=standardScaler.transform(x_test)
更多：
