ML一：python的KNN算法

（1）：list的排序算法：

参考链接：http://blog.csdn.net/horin153/article/details/7076321

示例： DisListSorted = sorted(DisList, key = lambda DisList: DisList[1], reverse =False) 使用lambda函数，利用元素索引作为key；

在 Python 中, 当需要对一个 list 排序时, 一般可以用 list.sort() 或者 sorted(iterable[, cmp[, key[, reverse]]]).

其中:

cmp(e1, e2) 是带两个参数的比较函数, 返回值: 负数: e1 < e2, 0: e1 == e2, 正数: e1 > e2. 默认为 None, 即用内建的比较函数；

key 是带一个参数的函数, 用来为每个元素提取比较值. 默认为 None, 即直接比较每个元素；

reverse 是一个布尔值, 表示是否反转比较结果.。reverse =False 代表从小到大...

（2）：几种排序算法：

1, 通常, key 和 reverse 比 cmp 快很多, 因为对每个元素它们只处理一次; 而 cmp 会处理多次.
也就是说, 同等情况下, 写 key 函数比写 cmp 函数要高效很多.

2, 对一些貌似比较复杂的排序, 也是不需要写 cmp 函数的, 举例如下:
>>> students = [('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10),]

用元素索引做 key:
>>> sorted(students, key=lambda student: student[2])   # sort by age
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]

用元素已经命名的属性做 key:
>>> sorted(students, key=lambda student: student.age)   # sort by age
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]

用 operator 函数来加快速度, 上面两个排序等价于:
>>> from operator import itemgetter, attrgetter
>>> sorted(students, key=itemgetter(2))
>>> sorted(students, key=attrgetter('age'))

用 operator 函数进行多级排序, 这个就是比较复杂的应用. 按我以前的理解, 是一定要写个定制的 cmp 函数的. 现在看来, 以前真的够笨.
# sort by grade then by age
>>> sorted(students, key=itemgetter(1,2))
[('john', 'A', 15), ('dave', 'B', 10), ('jane', 'B', 12)]
>>> sorted(students, key=attrgetter('grade', 'age'))
[('john', 'A', 15), ('dave', 'B', 10), ('jane', 'B', 12)]

3, 根据字典值排序
>>> d = {'a':2, 'b':23, 'c':5, 'd':17, 'e':1}

#1, 返回 pair 对:
from operator import itemgetter
>>> sorted(d.iteritems(), key=itemgetter(1), reverse=True)
[('b', 23), ('d', 17), ('c', 5), ('a', 2), ('e', 1)]

#2, 仅返回 keys:
>>> sorted(d, key=d.__getitem__, reverse=True)
['b', 'd', 'c', 'a', 'e']

 4, sorted() 会返回一个新的已经排好序的 list.
list.sort() 是就地排序, 以节约空间, 当然就不会返回一个排好序的新的 list 了. 这对大的 list 排序是有空间优势的.

（3）：KNN算法实例：

<p>#  DataMatrix 为向量数组 列表
</p><p> def creatDataSetLabel(DataMatrix, LabelVec):
    
    Classifier ={}
    if len (LabelVec) !=len (DataMatrix):
        return Classifier
    
    for idx in range(len (LabelVec)):
        Classifier[LabelVec[idx] ]  = DataMatrix[idx]        
    
    return Classifier</p>
<p>#filename 为文件夹
</p><p>def   trainClassifier(filename):
    DataMatrix= creatDataSet(filename)
    LabelNum  = len(DataMatrix )
    LabelVec  = creatLabel(LabelNum)
    Classifier= creatDataSetLabel(DataMatrix,LabelVec)
 
    return Classifier
</p><p>
</p><p>#输入向量，返回k近邻！
</p><p>def classify(Classifier, Feature ,K):
    
    if len(Feature) != len(Classifier[0] ):
        return 0
    
    kNear = []
    Distance ={}# similarity
    
    for i in range(len(Classifier) ):
        DisVec = Classifier[i] - Feature
        DisMat = DisVec **2
        Distance[i] = DisMat.sum()
    
    DisList =[]
    for key in Distance:
        DisList.append([key, Distance[key] ])</p><p>
    DisListSorted = sorted(DisList, key = lambda DisList: DisList[1], reverse =False) #排序 距离
    
    for i in range(K):
        kNear.append(DisListSorted[i] )
    
    return kNear
</p>