爬取b站视频标题并做成词云

叙白

需要安装的第三方库有requests，lxml，wordcloud，jieba
代码如下

1. # -*- coding: utf-8 -*-
   
2. # author:xubai
   
3. 
   
4. import requests
   
5. from lxml import etree
   
6. import wordcloud
   
7. import jieba
   
8. import urllib.parse
   
9. 
   
10. 
    
11. savestr = ""#存储需要分析的字符串
    
12. enter =''#存储输入内容，用于生成url和图片名称
    
13. 
    
14. def get_url():
    
15.     global enter
    
16.     enter = input("输入想要搜索的内容： ")
    
17.     enter_str = urllib.parse.quote(enter)
    
18. 
    
19.     base_url = "https://search.bilibili.com/all?keyword=%s&from_source=nav_suggest_new&page" % enter_str
    
20.     try:
    
21.         pages = request_html(base_url).xpath('//li[@class="page-item last"]/button/text()')
    
22.         pages = pages[0].strip()
    
23. 
    
24.         page = int(input("当前结果共%s页,请输入需要解析的页数：" % pages))
    
25.     except:
    
26.         print("未查找到该内容，或者由于查询次数过多被反爬，请稍后再次查询...........")
    
27. 
    
28.     for i in range(1,page + 1):
    
29.         url = base_url + "=" + str(i)
    
30.         parse_html(url)
    
31.         print('第',i,'页已解析。。')
    
32. 
    
33. def request_html(url):
    
34. 
    
35.         headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.113 Safari/537.36"}
    
36. 
    
37.         response = requests.get(url,headers=headers)
    
38.         text = response.text
    
39. 
    
40.         html = etree.HTML(text)
    
41.         return html
    
42. 
    
43. def parse_html(url):
    
44.     global savestr
    
45. 
    
46.     title = request_html(url).xpath('//li[@class="video-item matrix"]/a/@title')
    
47.     a = " ".join(title)
    
48.     savestr += a
    
49. 
    
50. 
    
51. def make_wc():
    
52. 
    
53.     print("="*30)
    
54.     print("开始解析数据")
    
55.     textlist = jieba.lcut(savestr)
    
56.     textstr = " ".join(textlist)
    
57. 
    
58.     """正在生成词云图片"""
    
59.     w = wordcloud.WordCloud(width=1000,
    
60.                             height=700,
    
61.                             background_color="white",
    
62.                             font_path=r"D:\Python_program\wordcloud\font\msyh.ttc",
    
63.                             scale=15)
    
64. 
    
65.     w.generate(textstr)
    
66. 
    
67.     w.to_file("%s.png" % enter)
    
68.     print("词云："+ "%s.png" % enter + "已生成！")
    
69.     input()
    
70. 
    
71. def main():
    
72.     get_url()
    
73.     make_wc()
    
74. 
    
75. 
    
76. if __name__ == '__main__':
    
77.     main()
    

复制代码

zedi

为什么报错了，第三方库也安装了啊

叙白

zedi 发表于 2020-4-19 15:16
为什么报错了，第三方库也安装了啊

报的什么错？

马博哥惹尼

没有错，效果很好。感谢。