python实现SVM【软间隔】【SMO算法】

糖逗

参考书籍：《机器学习实战》

1. import numpy as np
   
2. from numpy import random
   
3. 
   
4. def loadDataSet(fileName):
   
5.     dataMat = []
   
6.     labelMat = []
   
7.     fr = open(fileName)
   
8.     for line in fr.readlines():
   
9.         lineArr = line.strip().split('\t')
   
10.         dataMat.append([float(lineArr[0]), float(lineArr[1])])
    
11.         labelMat.append(float(lineArr[2]))
    
12.     return dataMat, labelMat
    
13. 
    
14. def selectJrand(i, m):
    
15.     j = i
    
16.     while(j == i):
    
17.         j = int(random.uniform(0, m))
    
18.     return j
    
19. 
    
20. def clipAlpha(aj, H, L):
    
21.     if aj > H:
    
22.         aj = H
    
23.     if L > aj:
    
24.         aj = L
    
25.     return aj
    
26. 
    
27. 
    
28. def smoSimple(dataMatIn, classLabels, C, toler, maxIter):
    
29.     dataMatrix = np.mat(dataMatIn)
    
30.     labelMat = np.mat(classLabels).transpose()
    
31.     b = 0; m,n = np.shape(dataMatrix)
    
32.     alphas = np.mat(np.zeros((m,1)))
    
33.     iter = 0
    
34.     while (iter < maxIter):
    
35.         alphaPairsChanged = 0
    
36.         for i in range(m):
    
37.             fXi = float(np.multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[i,:].T)) + b
    
38.             Ei = fXi - float(labelMat[i])
    
39.             if ((labelMat[i]*Ei < -toler) and (alphas[i] < C)) or ((labelMat[i]*Ei > toler) and (alphas[i] > 0)):
    
40.                 j = selectJrand(i,m)
    
41.                 fXj = float(np.multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[j,:].T)) + b
    
42.                 Ej = fXj - float(labelMat[j])
    
43.                 alphaIold = alphas[i].copy(); alphaJold = alphas[j].copy();
    
44.                 if (labelMat[i] != labelMat[j]):
    
45.                     L = max(0, alphas[j] - alphas[i])
    
46.                     H = min(C, C + alphas[j] - alphas[i])
    
47.                 else:
    
48.                     L = max(0, alphas[j] + alphas[i] - C)
    
49.                     H = min(C, alphas[j] + alphas[i])
    
50.                 if L==H: print("L==H"); continue
    
51.                 eta = 2.0 * dataMatrix[i,:]*dataMatrix[j,:].T - dataMatrix[i,:]*dataMatrix[i,:].T - dataMatrix[j,:]*dataMatrix[j,:].T
    
52.                 if eta >= 0:
    
53.                     print("eta>=0"); continue
    
54.                 alphas[j] -= labelMat[j]*(Ei - Ej)/eta
    
55.                 alphas[j] = clipAlpha(alphas[j],H,L)
    
56.                 if (abs(alphas[j] - alphaJold) < 0.00001):
    
57.                     print("j not moving enough"); continue
    
58.                 alphas[i] += labelMat[j]*labelMat[i]*(alphaJold - alphas[j])
    
59.                 b1 = b - Ei- labelMat[i]*(alphas[i]-alphaIold)*dataMatrix[i,:]*dataMatrix[i,:].T - labelMat[j]*(alphas[j]-alphaJold)*dataMatrix[i,:]*dataMatrix[j,:].T
    
60.                 b2 = b - Ej- labelMat[i]*(alphas[i]-alphaIold)*dataMatrix[i,:]*dataMatrix[j,:].T - labelMat[j]*(alphas[j]-alphaJold)*dataMatrix[j,:]*dataMatrix[j,:].T
    
61.                 if (0 < alphas[i]) and (C > alphas[i]):
    
62.                     b = b1
    
63.                 elif (0 < alphas[j]) and (C > alphas[j]):
    
64.                     b = b2
    
65.                 else:
    
66.                     b = (b1 + b2)/2.0
    
67.                 alphaPairsChanged += 1
    
68.                 print("iter: %d i:%d, pairs changed %d" % (iter,i,alphaPairsChanged))
    
69.         if(alphaPairsChanged == 0):
    
70.             iter += 1
    
71.         else:
    
72.             iter = 0
    
73.         print("iteration number: %d" % iter)
    
74.     return b,alphas
    
75. 
    
76. 
    
77. def calcWs(alphas,dataArr,classLabels):
    
78.     X = np.mat(dataArr); labelMat = np.mat(classLabels).transpose()
    
79.     m, n = np.shape(X)
    
80.     w = np.zeros((n,1))
    
81.     for i in range(m):
    
82.         w += np.multiply(alphas[i]*labelMat[i],X[i,:].T)
    
83.     return w
    
84. 
    
85. 
    
86. dataArr, labelArr = loadDataSet(r"C:\...\testSet.txt")         
    
87. b, alphas = smoSimple(dataArr, labelArr, 0.6, 0.001, 40)   
    
88. ws = calcWs(alphas, dataArr, labelArr)   
    
89. 
    
90. 
    
91. 
    
92. import seaborn as sns
    
93. import pandas as pd
    
94. import matplotlib.pyplot as plt
    
95. temp = pd.DataFrame(dataArr)
    
96. temp.columns = ["1", "2"]
    
97. temp["label"] = pd.array(labelArr)
    
98. temp["label"] = np.array(temp["label"]).astype(np.int)
    
99. xx = np.linspace(0, 10, 20)
    
100. yy = (-b - xx * ws[0]) / ws[1]
     
101. temp1 = pd.DataFrame()
     
102. temp1["xx"] = np.array(xx)
     
103. temp1["yy"] = np.array(yy.T)
     
104. sns.scatterplot(data = temp, x = "1", y = "2", hue = "label")
     
105. plt.plot(temp1['xx'], temp1['yy'])               
     
106.                

复制代码

糖逗

参考文献：https://www.math.pku.edu.cn/teac ... Ref/platt_smoTR.pdf
参考链接：https://zhuanlan.zhihu.com/p/27662928
https://www.jianshu.com/p/eef51f939ace