1、K-NN算法：
算法基本流程：
对未知类别属性的数据集中的每个点依次执行以下操作:
(1) 计算已知类别数据集中的点与当前点之间的距离;
(2) 按照距离递增次序排序;
(3) 选取与当前点距离最小的k个点;
(4) 确定前k个点所在类别的出现频率;
(5) 返回前k个点出现频率最高的类别作为当前点的预测分类。
K-NN算法理解起来不难，重点在于一些numpy所带函数的熟练使用。
有遇到不理解的可以看下面第二部分，一些小问题的深入。
代码如下：
test_knn.py
#!/usr/bin/python
#-*-coding:utf-8-*-
from numpy import *
import operator
sample=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
lables=['A','A','B','B']
def classify0(inputvector,dataset,labels,k)
#shape[0]返回矩阵第一维度的长度
setsize=dataset.shape[0]
#按行复制，将输入向量扩展到和dataset一样的行数，再减去dataset
diffmat=tile(inputvector,(setsize,1))-dataset
sq_diffmat=diffmat**2
#按行相加求和
sq_dist=sq_diffmat.sum(axis=1)
distances=sq_dist**0.5
#以上就是求输入向量和各训练样本向量的欧式距离
#argsort()排序后，返回下标向量
dis_sort_indicies=distances.argsort()
#初始化一个字典，也就是c++的map
class_count={}
for i in range(k):
#通过循环，依次找出前k距离的下标（第几行样本，也就是第几个样本),映射到labels上，找出对应分类label
votedlabel=labels[dist_sort_indicies[i]]
#字典：{'标签'：出现次数}
class_count{votedlabel}=class_count.get(votedlabel,0)+1
result=sorted(class_count.iteritems(),key=operator.itemgetter(1),reverse=True)
return result[0][0]
print classify0([10,0],sample,label,3)
2、遇到的一些小问题的深入
简单聊聊shape
>>> from numpy import *
>>> shape([1])
(1,)
>>> shape(1)
()
>>> shape([[1],[2]])
(2, 1)
>>> shape([[1,1],[1,1],[1,1]])
(3, 2)
# mymatrix.shape[0]:也可以作为矩阵的方法调用，0代表返回矩阵第一维度的长度,二维矩阵第一维也就是行数。
mymatrix.sum(axis=1)
# 对于一维数组而言，只有axis=0可以使用（没必要使用）。
# 二维数组axis=1表示按行相加 , axis=0表示按列相加，none即无参数时候代表所有元素相加
argsort()：
# argsort()函数是将x中的元素从小到大排列，提取其对应的index(索引)，然后输出到y
>>> argsort([1,4,3,9,2])
array([0, 4, 2, 1, 3])
#还有其他例子，后面再补充example
get(key,0)的解释：
>>>dict1 #空的字典
{}
>>>dict1.get('a') #键‘a’在dict1中不存在，返回none
>>> dict1.get('d1','no1') #default参数给出值'no1'，所以返回'no1'
'no1'
iteritems():
在Python2.x中，items( )用于 返回一个字典的拷贝列表，占额外的内存。
iteritems() 用于返回本身字典列表操作后的迭代，不占用额外的内存，iteritems方法作用：与items方法相比作用大致相同，只是它的返回值不是列表，而是一个迭代器。
而在python 3.x 里面，iteritems() 和 viewitems() 这两个方法都已经废除了，而items() 得到的结果是和 2.x 里面 viewitems() 一致的。在3.x 里 用 items()替换iteritems() ，可以用于 for 来循环遍历。
sorted(class_count.iteritems(),key=operator.itemgetter(1),reverse=True)的含义:
先来看sorted()的参数：
sorted(iterable[, cmp[, key[, reverse]]])
参数解释：
（1）iterable指定要排序的list或者iterable，不用多说；
（2）cmp为函数，指定排序时进行比较的函数，可以指定一个函数或者lambda函数，如：
students为类对象的list，没个成员有三个域，用sorted进行比较时可以自己定cmp函数，例如这里要通过比较第三个数据成员来排序，代码可以这样写：
students = [('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10)]
sorted(students, key=lambda student : student[2])
（3）key为函数，指定取待排序元素的哪一项进行排序，函数用上面的例子来说明，代码如下：
sorted(students, key=lambda student : student[2])
key指定的lambda函数功能是去元素student的第三个域（即：student[2]），因此sorted排序时，会以students所有元素的第三个域来进行排序。
有了上面的operator.itemgetter函数，也可以用该函数来实现，例如要通过student的第三个域排序，可以这么写：
sorted(students, key=operator.itemgetter(2))
sorted函数也可以进行多级排序，例如要根据第二个域和第三个域进行排序，可以这么写：
sorted(students, key=operator.itemgetter(1,2))
即先跟句第二个域排序，再根据第三个域排序。
（4）reverse参数就不用多说了，是一个bool变量，表示升序还是降序排列，默认为false（升序排列），定义为True时将按降序排列。
举个栗子说一下tile()是怎么复制的
比如：tile(A,(2,3,4))，将
其中：A=[1,2]
4代表:A->B=[1,2,1,2,1,2,1,2]
3代表:B->C=[[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2]]
2代表:C->D[[[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2]],[[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2]]]
>>> from numpy import tile
>>> tile(A,(2,3,4))
array([[[1, 2, 1, 2, 1, 2, 1, 2],
[1, 2, 1, 2, 1, 2, 1, 2],
[1, 2, 1, 2, 1, 2, 1, 2]],
[[1, 2, 1, 2, 1, 2, 1, 2],
[1, 2, 1, 2, 1, 2, 1, 2],
[1, 2, 1, 2, 1, 2, 1, 2]]])
>>>
