python 机器学习：通过评论预测十部动漫

小伤口

python 机器学习：预测十部动漫

程序效果

数据是由本人自己通过爬虫爬取 b 站评论制作的

目前只支持以下十部动漫预测




为了更直观一点外观也用了 Tkinter 当界面,看看实现效果怎么样吧
我去腾讯视频找评论进行预测

（界面默认是罗小黑封面）
预测《刺客伍六七》



预测之后顺便爬取 B 站封面（之前已经用爬虫爬取下载地址与简介，所以这个程序并没有爬取简介图片的代码

如果想要我也可以把这个代码分享出去 ）

预测《天宫赐福》



貌似效果不错~

不过他的预测准确率只有 60.9% 有一半多一些的准确率

造成这样的主要原因，是我做的数据数量太少了 ，总共只有 10w 左右的数据，除去测试集
也只有不到十万拿来做训练，不过只要评论偏向动漫内容，一般预测的准确率还是挺高的
我会一直更新数据的，力求将预测准确率达到 80% 以上 ,并且增加更多的动漫类别

需要安装的库

1. pip install requests

复制代码

1. pip3 install pillow

复制代码

1. pip3 install pandas

复制代码

1. pip install -U scikit-learn

复制代码

1. pip3 install Beautifulsoup4

复制代码

1. pip3 install lxml

复制代码

1. pip install jupyter

复制代码

（非必须）


数据制作
我会不定时更新关于 B 站评论的数据，到时候帖子也会进行提示
大家点击下面的链接就可以下载到最新的数据（文件名称有更新时间）
数据
如果大家自己想更新数据集我这儿也有更新的脚本，有详细注释，和操作说明跟着一步步来就可实现更新
制作数据集

数据集图片：



爬取原理和过程       

经过分析得知 b站评论存储在 有 main 名字的 json 文件中

https://api.bilibili.com/x/v2/reply/main?callback=jQuery1720002087738314316301_1629621752570&jsonp=jsonp&next=0&type=1&oid=7961887&mode=3&plat=1&_=1629621766385

然而我们却并不能打开网址，通过百度得知只要删除 callback 和 _ 参数就可以访问了

爬虫代码:

游客，如果您要查看本帖隐藏内容请回复

这里面也包含了将除中文以外所有的符号删除
这里简单爬取一下来演示
爬取完成之后打开文件


然后通过下面代码（文件中是 Brief.py 文件）进行简单数据处理

1. #简单处理数据
   
2. import pandas as pd
   
3. #修改路径即可
   
4. #读取你要处理数据
   
5. 
   
6. a=pd.read_csv("凸变英雄LEAF.csv")
   
7. b=pd.DataFrame(a,columns=["Name","Comment"])
   
8. 
   
9. #添加列
   
10. b['Name']="《凸变英雄LEAF》"
    
11. 
    
12. #数据去重
    
13. b=b.drop_duplicates(keep='last')
    
14. #重新保存
    
15. b.to_csv('凸变英雄LEAF.csv')
    

复制代码

就变成这样

大家想爬取其他的就直接改名字就好了

机器学习

数据爬取的差不多的时候，就把文件放在数据集文件中

1. #获取数据
   
2.     print("获取数据中...")
   
3.    
   
4.     Tu=pd.read_csv("数据集\凸变英雄LEAF.csv")
   
5.     Hui=pd.read_csv("数据集\辉夜大小姐想让我告白？~天才们的恋爱头脑战~.csv")
   
6.     Ling=pd.read_csv("数据集\灵笼.csv")
   
7.     Luo=pd.read_csv("数据集\罗小黑战记.csv")
   
8.     Qi=pd.read_csv("数据集\齐木楠雄的灾难.csv")
   
9.     Tian=pd.read_csv("数据集\天宫赐福.csv")
   
10.     Wu=pd.read_csv("数据集\伍六七之玄武国篇.csv")
    
11.     Xiao=pd.read_csv("数据集\小林家的龙女仆.csv")
    
12.     Zai=pd.read_csv("数据集\在下坂本，有何贵干？.csv")
    
13.     Zhou=pd.read_csv("数据集\咒术回战.csv")
    
14. 
    
15.     #数据处理
    
16.     print("数据处理中...")
    
17.    
    
18.     #数据拼接
    
19.     Data=pd.concat([Tu,Hui,Ling,Luo,Qi,Tian,Wu,Xiao,Zai,Zhou],axis=0)
    
20.     Data=Data.drop('Unnamed: 0', 1)
    
21. 
    
22.     print("数据拼接成功...")

复制代码

以上代码是将读取的所有数据进行拼接整合在一起

然后将数据中的空值删除，以及将中文的语气词之类无用的词语删掉
停用词存放在一个 txt 文件中加载他进行删除

1. #清洗空值
   
2.     Data1=Data.dropna()
   
3.     print("成功清洗数据")
   
4.    
   
5.     print("正在进行数据构建..")   
   
6.     #将Name类转换成id
   
7.     Data1["Name_id"]=Data1['Name'].factorize()[0]
   
8. 
   
9.     Name_id_N = Data1[['Name', 'Name_id']].drop_duplicates().sort_values('Name_id').reset_index(drop=True)
   
10.     id_Name = dict(Name_id_N[['Name_id', 'Name']].values)
    
11. 
    
12.     print("正在进行中文分词")
    
13.     #加载停用词
    
14.     stop_words=StopWords("StopWords.txt")
    
15. 
    
16.    
    
17.     print("删掉无用数据中..")
    
18.     #分词，并过滤停用词
    
19.     Data1['Comment'] = Data1['Comment'].apply(lambda x: " ".join([w for w in list(jieba.cut(x)) if w not in stop_words]))
    
20. 
    
21.     print("数据处理完毕")
    
22.     #数据集划分
    
23.     x_train,x_test,y_train,y_test=train_test_split(Data1["Comment"],Data1["Name_id"],test_size=0.2,random_state=100)
    
24.     print("数据集划分成功")
    
25. 
    

复制代码

数据处理完成就开始特征工程

1. #特征处理-特征提取-tfid
   
2.     #实例化一个转换器
   
3.     print("正在进行特征工程")
   
4.     count_vect = CountVectorizer()
   
5.     transfer=TfidfVectorizer(norm='l2', ngram_range=(1, 2))
   
6.     x_train=transfer.fit_transform(x_train)
   
7.     x_test=transfer.transform(x_test)

复制代码

tfid 简单来说就是体现一个词语在文章的重要程度

最后就是算法和建立模型了

1. #朴素贝叶斯算法预估器流程
   
2.     bayes=MultinomialNB(alpha=1.0)
   
3.     #建立模型
   
4.     bayes.fit(x_train,y_train)
   
5.     print("模型建立成功")
   
6. 
   
7.     print("启动程序。。。")

复制代码

这里用的算法是朴素贝叶斯算法

完整代码

游客，如果您要查看本帖隐藏内容请回复

运行结果：

真实值
[5 3 9 ... 4 8 9]
真实值与测试值比对
7978    False
8292     True
5712     True
2829    False
6233     True
        ...  
478      True
4713    False
6072    False
1369     True
4396     True
Name: Name_id, Length: 23518, dtype: bool
准确率
0.6097457266774385
Forecast("来了 他来了 他带着剪刀走来了🙃")
《伍六七之玄武国篇》
6
Forecast("齐神yyds！又来回顾了")
《齐木楠雄的灾难》
4
Forecast("怎么赤司征十郎在里面")
《齐木楠雄的灾难》
4
Forecast("小白的爸爸为什么我总是看不见他的脸呢？总是用报纸给他蒙上了。")
《罗小黑战记》
3
Forecast("小黑真萌，比丢真憨，哈哈")
《罗小黑战记》
3
Forecast("最后一个片段真的很感动啊，隐隐约约把谢怜花城的800年来由啥的都交代了，特别是配乐也太合适了啊，让我重新感受到看天官时的感动，“惊鸿一瞥，百世沦陷”的爱情，我们作为一个旁观者，也能感受到那至死不渝的感情以及感动…天官赐福，百无禁忌！")
《天宫赐福》
5

游客，如果您要查看本帖隐藏内容请回复

运行请双击 main.py 文件


exe文件请关注小伤口公众号回复预测怪获取
（不建议下载文件有点大 200 多 MB）
（但建议关注小伤口公众号 ）
        exe文件运行请找到dist 文件夹里面找到 main.exe(很好找的有专属图标)




还要下载 jieba 库进行中文分词

小伤口

沙发求评分

小伤口

程序第一次启动时，耗时可能会比较长

不大不小甲鱼

大佬666

Rebecca2021

66666666666666666666666666666666666666666666666

hornwong

让记忆定格

厉害

冰清玉洁丸

。。太牛了

青出于蓝

哇，这个好强。
最近也在学习机器学习（keras），感觉很难
赞！

邓CX

小伤口

青出于蓝 发表于 2021-8-23 16:29
哇，这个好强。
最近也在学习机器学习（keras），感觉很难
赞！

过奖了，我也感觉很难

小薛王

学习

937135952

大佬牛批，支持一下

kerln888

大佬66666666666

老迈

牛蛙

burntlime

学习

隐市仙

大佬，都哪些网站可以爬啊？一般的常规网站不涉及违法的都能爬吗？

trolwy

挣鱼币做作业

小伤口

隐市仙 发表于 2021-8-24 16:33
大佬，都哪些网站可以爬啊？一般的常规网站不涉及违法的都能爬吗？

其实一般只需要一个人用，都没啥事，如果你因为爬取内容导致服务器出问题，或者赚了好多钱出名了这些，应该会有危险吧哈哈哈

xw20010211

kankan