python实现朴素贝叶斯

糖逗

参考书籍：《机器学习实战》

1. import numpy as np
   
2. 
   
3. #获得词典
   
4. def createVocabList(dataSet):
   
5.     vocabSet = set()
   
6.     for document in dataSet:
   
7.         #求两个集合的全集
   
8.         vocabSet = vocabSet | set(document)#按位或运算符：只要对应的二个二进位有一个为1时，结果位就为1。
   
9.     return list(vocabSet)
   
10. 
    
11. #将输入根据已有的词典转换为向量
    
12. def setOfWords2Vec(vocabList, inputSet):
    
13.     returnVec = [0] * len(vocabList)
    
14.     for word in inputSet:
    
15.         if word in vocabList:
    
16.             returnVec[vocabList.index(word)] = 1
    
17.         else:
    
18.             print("the word: %s is not in my Vocabulary!" % word)
    
19.     return returnVec
    
20. 
    
21. def trainNB0(trainMatrix, trainCategory):
    
22.     numTrainDocs = len(trainMatrix)
    
23.     numWords = len(trainMatrix[0])
    
24.     pAbusive = sum(trainCategory) / float(numTrainDocs)#训练的样本中属于正样本的占比
    
25.     p0Num = np.ones(numWords)#为了避免概率连乘时，其中一个概率为0，导致总体成绩为0
    
26.     p1Num = np.ones(numWords)
    
27.     p0Denom = 2#为了避免概率连乘时，其中一个概率为0，导致总体成绩为0
    
28.     p1Denom = 2
    
29.     for i in range(numTrainDocs):
    
30.         if trainCategory[i] == 1:
    
31.             p1Num += trainMatrix[i]
    
32.             p1Denom += sum(trainMatrix[i])
    
33.         else:
    
34.             p0Num += trainMatrix[i]
    
35.             p0Denom += sum(trainMatrix[i])
    
36.     p1Vect = np.log(p1Num / p1Denom)#正分类样本中，某一个单词数占所有正样本单词数的比值
    
37.     p0Vect = np.log(p0Num / p0Denom)#防止下溢
    
38.     return p0Vect, p1Vect, pAbusive
    
39. 
    
40. def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
    
41.     p1 = sum(vec2Classify * p1Vec) + np.log(pClass1)
    
42.     p0 = sum(vec2Classify * p0Vec) + np.log(1 - pClass1)
    
43.     if p1 > p0:
    
44.         return 1
    
45.     else:
    
46.         return 0
    
47.    
    
48. def testingNB(testEntry, listOPosts, listClasses):
    
49.     myVocabList = createVocabList(listOPosts)#创建词典
    
50.     trainMat = []
    
51.     for postinDoc in listOPosts:
    
52.         trainMat.append(setOfWords2Vec(myVocabList, postinDoc))#将训练数据变为二维矩阵形式
    
53.     p0V, p1V, pAb = trainNB0(np.array(trainMat), np.array(listClasses))
    
54.     thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))
    
55.     print(testEntry, "classified as:", classifyNB(thisDoc, p0V, p1V, pAb))
    
56.    
    
57.    
    
58. if __name__ == "__main__":
    
59.     postingList = [["my", "dog", "has", "flea","problems", "help", "please"],
    
60.                    ["maybe", "not", "take", "him", "to", "dog", "park", "stupid"],
    
61.                    ["my", "dalmation", "is", "so", "cute", "I", "love", "him"],
    
62.                    ["stop", "posting", "stupid", "worthless", "garbage"],
    
63.                    ["mr", "licks", "ate", "my", "steak", "how", "to", "stop", "him"],
    
64.                    ["quit", "buying", "worthless", "dog", "food", "stupid"]]
    
65.     classVec = [0, 1, 0, 1, 0, 1]
    
66.     testEntry = ["love", "my", "dalmation"]
    
67.     testingNB(testEntry, postingList, classVec)
    

复制代码

糖逗

永恒的蓝色梦想

建议把 set([]) 改为 set() 。

#按位或运算符：只要对应的二个二进位有一个为1时，结果位就为1。
这个是并集吧……只有 int 才是按位或。

糖逗

永恒的蓝色梦想 发表于 2020-11-6 23:08
建议把 set([]) 改为 set() 。

#按位或运算符：只要对应的二个二进位有一个为1时，结果位就为1。

set已改谢谢
另一个问题：

1. set(["a", "b"]) | set(["a"])
   
2. Out: {'a', 'b'}

复制代码

所以我怎么觉得还是全集呀

永恒的蓝色梦想

糖逗 发表于 2020-11-7 08:55
set已改谢谢
另一个问题：

set 的创建一般不这么写……

1. {"a", "b"} | {"a"}
   
2. Out: {'a', 'b'}

复制代码

这里全集和并集有区别么……

糖逗

永恒的蓝色梦想 发表于 2020-11-7 11:32
set 的创建一般不这么写……

这里全集和并集有区别么……

vocabSet就是想根据所有set（）里的每个词条，得到一个没有重复的总词条库。

永恒的蓝色梦想

糖逗 发表于 2020-11-7 14:15
vocabSet就是想根据所有set（）里的每个词条，得到一个没有重复的总词条库。

我是说 | 是并集运算符

糖逗

永恒的蓝色梦想 发表于 2020-11-7 17:36
我是说 | 是并集运算符

{"a", "b"} | {"a"}
Out: {'a', 'b'}

如果并集的话，不就返回了 {'a'}了吗

永恒的蓝色梦想

糖逗 发表于 2020-11-7 19:47
{"a", "b"} | {"a"}
Out: {'a', 'b'}

你说的那叫交集

1. >>> {"a", "b"} | {"a"}
   
2. {'a', 'b'}
   
3. >>> {"a", "b"} & {"a"}
   
4. {'a'}

复制代码

糖逗

永恒的蓝色梦想 发表于 2020-11-8 14:18
你说的那叫交集