python实现Apriori**

糖逗

参考书籍：《机器学习实战》

1. import numpy as np
   
2. 
   
3. def loadDataSet():
   
4.     return [[1, 3, 4], [2, 3, 5], [1, 2, 3, 5], [2, 5]]
   
5. 
   
6. def createC1(dataSet):
   
7.     C1 = []
   
8.     for transaction in dataSet:
   
9.         for item in transaction:#遍历list中的每个list中的元素
   
10.             if not [item] in C1:#为了使用frozenset对每个元素映射，用[item]
    
11.                 C1.append([item])
    
12.     C1.sort()#从小到大排序
    
13.     #https://www.runoob.com/python/python-func-frozenset.html
    
14.     return list(map(frozenset, C1))#之后要将集合作为字典键使用，frozenset可以实现而set不行
    
15. 
    
16. def scanD(D, Ck, minSupport):
    
17.     ssCnt = {}
    
18.     for tid in D:
    
19.         for can in Ck:
    
20.             #https://www.runoob.com/python3/ref-set-issubset.html
    
21.             if can.issubset(tid):
    
22.                 if can not in ssCnt:
    
23.                     ssCnt[can] = 1
    
24.                 else:
    
25.                     ssCnt[can] += 1
    
26.     numItems = float(len(D))
    
27.     retList = []
    
28.     supportData = {}
    
29.     for key in ssCnt:#遍历每个键
    
30.         support = ssCnt[key]/numItems
    
31.         if support >= minSupport:
    
32.             retList.insert(0, key)#每次在最前面加入
    
33.         supportData[key] = support
    
34.     return retList, supportData#返回满足支持度阈值的元素和所有元素支持度
    
35. 
    
36. def aprioriGen(Lk, k):
    
37.     retList = []
    
38.     lenLk = len(Lk)
    
39.     for i in range(lenLk):
    
40.         for j in range(i + 1, lenLk):
    
41.             L1 = list(Lk[i])[: k - 2]#前k-2个相同时，将两个集合合并，这样做会漏项吧？？
    
42.             L2 = list(Lk[j])[: k - 2]
    
43.             L1.sort()
    
44.             L2.sort()
    
45.             if L1 == L2:
    
46.                 retList.append(Lk[i] | Lk[j])#集合合并
    
47.     return retList
    
48. 
    
49. def apriori(dataSet, minSupport = 0.5):
    
50.     C1 = createC1(dataSet)
    
51.     D = list(map(set, dataSet))
    
52.     L1, supportData = scanD(D, C1, minSupport)
    
53.     L = [L1]
    
54.     k = 2#作为L中的index，k生成的组合数
    
55.     while (len(L[k - 2]) > 0):
    
56.         Ck = aprioriGen(L[k - 2], k)
    
57.         Lk, supK = scanD(D, Ck, minSupport)
    
58.         supportData.update(supK)
    
59.         L.append(Lk)
    
60.         k += 1
    
61.     return L, supportData
    
62. 
    
63. def generateRules(L, supportData, minConf = 0.7):#生成关联规则
    
64.     bigRuleList = []#L已经经过了第一次minsupport筛选了，相当于剪枝
    
65.     for i in range(1, len(L)):
    
66.         for freqSet in L[i]:
    
67.             H1 = [frozenset([item]) for item in freqSet]
    
68.             if (i > 1):#元素超过两个以上的需要建立规则
    
69.                 rulesFromConseq(freqSet, H1, supportData, bigRuleList, minConf)
    
70.             else:
    
71.                 calcConf(freqSet, H1, supportData, bigRuleList, minConf)
    
72.     return bigRuleList         
    
73. 
    
74. def calcConf(freqSet, H, supportData, brl, minConf = 0.7):#可信度值计算，H是freqSet的子集
    
75.     prunedH = []
    
76.     for conseq in H:
    
77.         conf = supportData[freqSet]/supportData[freqSet-conseq]
    
78.         if conf >= minConf:
    
79.             print(freqSet-conseq,'-->',conseq,'conf:', conf)
    
80.             brl.append((freqSet-conseq, conseq, conf))
    
81.             prunedH.append(conseq)
    
82.     return prunedH
    
83. 
    
84. def rulesFromConseq(freqSet, H, supportData, brl, minConf = 0.7):
    
85.     m = len(H[0])
    
86.     if (len(freqSet) > (m + 1)): #因为后文需要将集合合并成一个每组m+1的集合，所以m+1要小于freqSet
    
87.         Hmp1 = aprioriGen(H, m + 1)
    
88.         Hmp1 = calcConf(freqSet, Hmp1, supportData, brl, minConf)
    
89.         if (len(Hmp1) > 1):#假设2->1,3 ; 3->1,2;则想进一步验证2,3 -> 1
    
90.             rulesFromConseq(freqSet, Hmp1, supportData, brl, minConf)
    
91.     return
    
92. 
    
93. if __name__ == "__main__":
    
94.     dataSet = loadDataSet()
    
95.     L, suppData = apriori(dataSet, minSupport = 0.5)
    
96.     rules = generateRules(L, suppData, minConf = 0.7)

复制代码

糖逗

需要再看一遍，这个代码有点复杂。

昨非

宝藏鱼友啊

糖逗

昨非 发表于 2020-11-18 15:35
宝藏鱼友啊

好书和好内容应该大家一起分享嘛

昨非

糖逗 发表于 2020-11-18 15:37
好书和好内容应该大家一起分享嘛

鉴定完毕，盲猜是竞赛大佬

膜！！

糖逗

昨非 发表于 2020-11-18 15:39
鉴定完毕，盲猜是竞赛大佬

膜！！

不是的，这是书里代码

昨非

糖逗 发表于 2020-11-18 19:29
不是的，这是书里代码