Python实现kNN

糖逗

参考书籍《机器学习实战》
本地测试环境：python3.7

1. import numpy as np
   
2. import operator
   
3. 
   
4. class kNN():
   
5.     def __init__(self, inX, dataSet, labels, k):
   
6.         self.inX = inX
   
7.         self.dataSet = dataSet
   
8.         self.labels = labels
   
9.         self.k = k
   
10.         
    
11.     def classify0(self):
    
12.         dataSetSize = self.dataSet.shape[0]
    
13.         #https://blog.csdn.net/laobai1015/article/details/85719724
    
14.         diffMat = np.tile(self.inX, (dataSetSize, 1)) - dataSet
    
15.         sqDiffMat = diffMat ** 2
    
16.         sqDistances = sqDiffMat.sum(axis = 1)
    
17.         distances = sqDistances ** 0.5
    
18.         sortedDistIndicies = distances.argsort()
    
19.         classCount = {}
    
20.         for i in range(self.k):
    
21.             voteIlabel = self.labels[sortedDistIndicies[i]]
    
22.             #https://blog.csdn.net/weixin_45683963/article/details/103898093
    
23.             classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    
24.         #https://www.runoob.com/python3/python3-func-sorted.html
    
25.         sortedClassCount = sorted(classCount.items(),
    
26.                                   ##https://www.cnblogs.com/zhoufankui/p/6274172.html
    
27.                                   key = operator.itemgetter(1),
    
28.                                   reverse = True)#reverse = True为降序
    
29.         print(sortedClassCount[0][0])
    
30.    
    
31. if __name__ == '__main__':
    
32.     group = np.array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]]) #特征
    
33.     labels = ['A', 'A', 'B', 'B']#分类
    
34.     kNN([0, 0], group, labels, 3).classify0()#[0,0]是待分了的特征

复制代码

1. import numpy as np
   
2. import operator
   
3. 
   
4. class kNN():
   
5.     def __init__(self, filename, k):
   
6.         self.filename = filename
   
7.         self.k = k
   
8.    
   
9.     #读取数据
   
10.     def file2matrix(filename):
    
11.         fr = open(filename)
    
12.         arrayOLines = fr.readlines()
    
13.         numberOfLines = len(arrayOLines)
    
14.         returnMat = np.zeros((numberOfLines, 3))
    
15.         classLabelVector = []
    
16.         index = 0
    
17.         for line in arrayOLines:
    
18.             line = line.strip()
    
19.             listFromLine = line.split('\t')
    
20.             returnMat[index, :] = listFromLine[0:3]
    
21.             classLabelVector.append(int(listFromLine[-1]))
    
22.             index += 1
    
23.         return returnMat, classLabelVector
    
24.    
    
25.     #归一化
    
26.     def autoNorm(dataSet):
    
27.         minVals = dataSet.min(0)
    
28.         maxVals = dataSet.max(0)
    
29.         ranges = maxVals - minVals
    
30.         normDataSet = np.zeros(np.shape(dataSet))
    
31.         m = dataSet.shape[0]
    
32.         normDataSet = dataSet - np.tile(minVals, (m, 1))
    
33.         normDataSet = normDataSet / np.tile(ranges, (m, 1))
    
34.         return normDataSet, ranges, minVals
    
35.    
    
36.     #kNN
    
37.     def classify0(self, inX, dataSet, labels):
    
38.             dataSetSize = dataSet.shape[0]
    
39.             diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
    
40.             sqDiffMat = diffMat ** 2
    
41.             sqDistances = sqDiffMat.sum(axis = 1)
    
42.             distances = sqDistances ** 0.5
    
43.             sortedDistIndicies = distances.argsort()
    
44.             classCount = {}
    
45.             for i in range(self.k):
    
46.                 voteIlabel = labels[sortedDistIndicies[i]]
    
47.                 classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    
48.             sortedClassCount = sorted(classCount.items(),
    
49.                                       key = operator.itemgetter(1),
    
50.                                       reverse = True)#reverse = True为降序
    
51.             return sortedClassCount[0][0]
    
52.    
    
53.     #测试准确率
    
54.     def datingClassTest(self, hoRatio):
    
55.         #只取了数据量的10%作为样本
    
56.         #hoRatio = 0.10
    
57.         datingDataMat, datingLabels = kNN.file2matrix(self.filename)
    
58.         normMat, ranges, minVals = kNN.autoNorm(datingDataMat)
    
59.         m = normMat.shape[0]
    
60.         numTestVecs = int(m * hoRatio)
    
61.         errorCount = 0.0
    
62.         for i in range(numTestVecs):
    
63.             classifierResult = kNN.classify0(self, normMat[i, :], normMat[numTestVecs:m, :],
    
64.                                          datingLabels[numTestVecs:m])
    
65.             print("the classifier came back with: %d, the real answer is %d"
    
66.                   %(classifierResult, datingLabels[i]))
    
67.             if(classifierResult != datingLabels[i]):
    
68.                 errorCount += 1
    
69.         print("the total error rate is: %f" %(errorCount / float(numTestVecs)))
    
70.         
    
71.     #预测   
    
72.     def classifyPerson(self):
    
73.         resultList = ["not at all", "in small doses", "in large doses"]
    
74.         percentTats = float(input("percentage of time spent playing video games?"))#用来获取控制台的输入
    
75.         ffMiles = float(input("frequent filer miles earned per year?"))
    
76.         iceCream = float(input("liters of ice cream consumed per year?"))
    
77.         datingDataMat, datingLabels = kNN.file2matrix(self.filename)
    
78.         normMat, ranges, minVals = kNN.autoNorm(datingDataMat)
    
79.         inArr = np.array([ffMiles, percentTats, iceCream])
    
80.         classifierResult = kNN.classify0(self, (inArr - minVals)/ranges, normMat, datingLabels)
    
81.         print("You will probably like this person:", resultList[classifierResult - 1])#因为实际类别是1,2,3，下标识从0开始的，所以要-1
    
82. 
    
83. if __name__ == '__main__':
    
84.     path = 'datingTestSet2.txt'
    
85.     test1 = kNN(path, 3)
    
86.     test1.datingClassTest(0.1)
    
87.     test1.classifyPerson()
    

复制代码

1. import numpy as np
   
2. import operator
   
3. import os
   
4. 
   
5. class kNN():
   
6.     def __init__(self, path):
   
7.         self.path = path
   
8.         
   
9.     #将矩阵打平，编程一维向量
   
10.     def img2vector(filname):
    
11.         returnVect = np.zeros((1, 1024))
    
12.         fr = open(filname)
    
13.         for i in range(32):
    
14.             lineStr = fr.readline()
    
15.             for j in range(32):
    
16.                 returnVect[0, 32 * i + j] = int(lineStr[j])
    
17.         return returnVect
    
18. 
    
19. 
    
20.     def classify0(inX, dataSet, labels, k):
    
21.             dataSetSize = dataSet.shape[0]
    
22.             diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
    
23.             sqDiffMat = diffMat ** 2
    
24.             sqDistances = sqDiffMat.sum(axis = 1)
    
25.             distances = sqDistances ** 0.5
    
26.             sortedDistIndicies = distances.argsort()
    
27.             classCount = {}
    
28.             for i in range(k):
    
29.                 voteIlabel = labels[sortedDistIndicies[i]]
    
30.                 classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    
31.             sortedClassCount = sorted(classCount.items(),
    
32.                                       key = operator.itemgetter(1),
    
33.                                       reverse = True)#reverse = True为降序
    
34.             return sortedClassCount[0][0]
    
35. 
    
36.     #在全部的数据上训练，然后在全部的数据上进行检验
    
37.     def handwritingClassTest(self):
    
38.         hwLabels = []
    
39.         #返回文件下的所有文件名
    
40.         trainingFileList = os.listdir(self.path + "testDigits")
    
41.         m = len(trainingFileList)
    
42.         trainingMat = np.zeros((m, 1024))
    
43.         for i in range(m):
    
44.             fileNameStr = trainingFileList[i]
    
45.             fileStr = fileNameStr.split('.')[0]
    
46.             classNumStr = int(fileStr.split('_')[0])
    
47.             hwLabels.append(classNumStr)
    
48.             trainingMat[i, :] = kNN.img2vector(self.path + "testDigits/%s" % fileNameStr)
    
49.         testFileList = os.listdir(self.path + "testDigits")
    
50.         errorCount = 0
    
51.         mTest = len(testFileList)
    
52.         for i in range(mTest):
    
53.             fileNameStr = testFileList[i]
    
54.             fileStr = fileNameStr.split('.')[0]
    
55.             classNumStr = int(fileStr.split('_')[0])
    
56.             vectorUnderTest = kNN.img2vector(self.path + "testDigits\%s" % fileNameStr)
    
57.             classifierResult = kNN.classify0(vectorUnderTest, trainingMat, hwLabels, 3)
    
58.             print("the classifier came back with:%d, the real answer if :%d" %(classifierResult, classNumStr))
    
59.             if(classifierResult != classNumStr) :
    
60.                 errorCount += 1
    
61.         print("\nthe total numner of errors is: %d" % errorCount)
    
62.         print("\nthe total error rate is %f" %(errorCount / float(mTest)))
    
63. 
    
64. if __name__ == '__main__':
    
65.     path = "C:/.../machinelearninginaction/Ch02/digits/"
    
66.     kNN(path).handwritingClassTest()

复制代码

糖逗

每个框都是独立的个体，可以独立运行

糖逗

该书数据代码配套网站：https://www.manning.com/books/machine-learning-in-action