正确展示用代码吃王力宏的瓜

不二如是

在线视频：





年底的瓜有点猛吖，吃不过来了，上代码帮忙！

我们先找到微博源头出处：（传送门）



文中透漏的完全是一副好聚好散，岁月静好的气氛，好像用词有点不当了，不过也不纠结这些了。

这个评论量，哪里看的完，不数据分析一下，可能会漏掉一些精彩地方～

实现原理其实和小师妹之前做电影分析的教程一毛一样，来不急讲了，不会的自己去看～



迫不及待撸起代码了：

1. # 爬取一页评论内容
   
2. def get_one_page(url):
   
3.     headers = {
   
4.         'User-agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3880.4 Safari/537.36',
   
5.         'Host' : 'weibo.cn',
   
6.         'Accept' : 'application/json, text/plain, */*',
   
7.         'Accept-Language' : 'zh-CN,zh;q=0.9',
   
8.         'Accept-Encoding' : 'gzip, deflate, br',
   
9.         'Cookie' : '自己的Cookie',
   
10.         'DNT' : '1',
    
11.         'Connection' : 'keep-alive'
    
12.     }
    
13.     # 获取网页 html
    
14.     response = requests.get(url, headers = headers, verify=False)
    
15.     # 爬取成功
    
16.     if response.status_code == 200:
    
17.         # 返回值为 html 文档，传入到解析函数当中
    
18.         return response.text
    
19.     return None

复制代码

记住 get_one_page(url) 中，Cookie 要换成你们自己的！

数据有了，来看下前十的词汇有哪些，主要代码实现如下：

1. stop_words = []
   
2. with open('stop_words.txt', 'r', encoding='utf-8') as f:
   
3.     lines = f.readlines()
   
4.     for line in lines:
   
5.         stop_words.append(line.strip())
   
6. content = open('comments.txt', 'rb').read()
   
7. # jieba 分词
   
8. word_list = jieba.cut(content)
   
9. words = []
   
10. for word in word_list:
    
11.     if word not in stop_words:
    
12.         words.append(word)
    
13. 
    
14. wordcount = {}
    
15. for word in words:
    
16.     if word != ' ':
    
17.         wordcount[word] = wordcount.get(word, 0)+1
    
18. wordtop = sorted(wordcount.items(), key=lambda x: x[1], reverse=True)[:10]
    
19. wx = []
    
20. wy = []
    
21. for w in wordtop:
    
22.     wx.append(w[0])
    
23.     wy.append(w[1])
    
24. 
    
25. (

复制代码

再来生成个词云，看看：

游客，如果您要查看本帖隐藏内容请回复

不做评论，让数据自己说话，这个瓜，好吃吗？

源码： FihsC-ChiGua.zip (5.09 KB, 下载次数: 46, 售价: 8 鱼币)

2021-12-18 16:03 上传

点击文件名下载附件

hrpzcf

这瓜保熟

柿子饼同学

这瓜保熟

小甲鱼的二师兄

这瓜保熟

小甲鱼

这瓜保熟

热水哥

抱树吗

xhblxw

这瓜保熟

wangshushuo

这瓜保熟

嘉岳呀

这瓜保熟

add的

这瓜保熟

非凡

请教下，代码里用来统计词语出现频率，生成词条，生成云图都是用到了什么函数或者库？
能否告诉我下用到的函数名字，或者库名？

这块的知识还没学到，想了解，学习下。

划句顾

这瓜保熟

fish小鱼很香

这瓜保熟

梦想天空

这瓜熟

RICH_NI

这瓜保熟

1molHF

这瓜保熟

三刀流.索隆

这瓜保熟

Kro

这瓜保熟

小伤口

这瓜保熟

小伤口

非凡 发表于 2021-12-18 19:15
请教下，代码里用来统计词语出现频率，生成词条，生成云图都是用到了什么函数或者库？
能否告诉我下用到的 ...

你可以下载源码看头部代码就知道了