豆瓣Top250数据可视化

atrago

操作环境：Jupyter Notebook
目的：

1、获取豆瓣网站Top250电影排名数据。
2、根据所得数据获得电影排名分布情况和电影年代分布情况。

实现过程：

1、豆瓣高分电影Top250数据获取并分析评分分布情况和年代分布情况
2、利用bs4、request模块爬取豆瓣电影排行榜数据，对获取的数据利用Numpy模块，Pandas模块，进行数据清洗，Matplotlib模块进行可视化
3、成功得到电影评分分布情况和电影年代分布情况可视化图表


困难及解决方案：
1、获取数据后对数据格式排列没有清洗的概念，不知道如何两个表格数据进行合并；查询利用Numpy模块中的merge函数。
2、可视化标签设置错误；查阅matplotlib.pyplot相关阅读指导进行改正。


改进计划：

1、代码标签有部分乱码现象，需要改正
2、将函数封装成模块

Code：

1. import requests
   
2. import bs4
   
3. import re
   
4. import numpy as ny
   
5. import pandas as pd
   
6. import matplotlib.pyplot as plt
   
7. import matplotlib as mpl
   
8. import os
   
9. from pandas.core.frame import DataFrame
   
10. %matplotlib inline
    
11. #设置图形内嵌
    
12. import matplotlib.style as stl
    
13. stl.use('ggplot') #自带样式美化
    
14. 
    
15. mpl.rcParams['font.sans-serif']=['SimHei']  # #指定默认字体 SimHei为黑体
    
16. 
    
17. def opens(host):#获取地址
    
18.    
    
19.     headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36 Edg/97.0.1072.76'}
    
20.     res = requests.get(host,headers = headers)
    
21.    
    
22.     return res
    
23. 
    
24. def find_depth(res):#获取总共多少页
    
25.     soup = bs4.BeautifulSoup(res.text,'html.parser')
    
26.     depth = soup.find('span',class_='next').previous_sibling.previous_sibling.text
    
27.     return int(depth)
    
28. 
    
29. def find_movie(res):#获取表格信息
    
30.     soup = bs4.BeautifulSoup(res.text,'html.parser')
    
31.     title = [] # 电影名
    
32.     takes = soup.find_all('div',class_='hd')
    
33.     for i in takes:
    
34.         title.append(i.a.span.text)
    
35.         
    
36.     ranks = [] #评分
    
37.     takes = soup.find_all('span',class_='rating_num')
    
38.     for i in takes:
    
39.         ranks.append('%s'%i.text)
    
40.       
    
41.     tags = [] #标签
    
42.     tags_d = []
    
43.     takes = soup.find_all('div',class_='bd')
    
44.     for i in takes:
    
45.         try:
    
46.             tags.append(i.p.text.split('\n')[1].strip() +
    
47.                      i.p.text.split('\n')[2].strip())
    
48.             #处理数据，获取年份
    
49.             tags_str = ''.join(tags)
    
50.             tags_str_d = tags_str.split('...')[1]
    
51.             tags_d.append(tags_str_d[:4])
    
52.         except:
    
53.             continue
    
54.    
    
55.     result = []
    
56.     lenght = len(title)
    
57.     for i in range(lenght):
    
58.         result.append([title[i],ranks[i],tags_d[i]])#生成二维数据，电影名，评分，年份
    
59. 
    
60.     return result
    
61.    
    
62.     def fun4(df):
    
63.         
    
64.         pass
    
65.    
    
66. def main():
    
67.     host = "https://movie.douban.com/top250"
    
68.     res = opens(host)
    
69.     depth = find_depth(res)
    
70.    
    
71.     result = []
    
72.     for i in range(depth):
    
73.         url = host + '/?start=' + str(25*i)
    
74.         res = opens(url)
    
75.         result.extend(find_movie(res))     
    
76. #########################
    
77.     with open("onex.txt", "w", encoding="utf-8") as f:
    
78.     for each in result:
    
79.         f.write(each)
    
80. #######################      
    
81.     result = []
    
82.     fk = pd.read_table('onex.txt',header=None)#读取txt
    
83.     for i in range(250):
    
84.         result.append(str(fk.iloc[i,0]))
    
85.     a = result.copy()
    
86.     b = result.copy()
    
87.     c = result.copy()
    
88.     result_name = []
    
89.     result_rank = []
    
90.     result_year = []
    
91.     for i in range(250):#存进列表
    
92.         result_name.append(a[i].split(' ')[0])
    
93.         result_rank.append(float(b[i].split('评分：')[1][:3]))
    
94.         if ((c[i].split('/')[-3]).removesuffix('\xa0')[-4:]).isdigit() == True :#将无效值变为None
    
95.             result_year.append(int((c[i].split('/')[-3]).removesuffix('\xa0')[-4:]))
    
96.         else:
    
97.             result_year.append(None)
    
98.             
    
99. #     pot = []
    
100. #     for i in range(250):
     
101. #         pot.append([result_name[i],result_rank[i],result_year[i]])
     
102. 
     
103.     dic = {'name':result_name,'rank':result_rank,'year':result_year}#生成字典
     
104.     pot = DataFrame(dic)#获得二维表格数据
     
105.    
     
106.     pot_r = pot.groupby('rank').count()#按评分分组
     
107.     result_pot_r = pot_r.sort_values('rank',ascending=True)['name']
     
108.    
     
109.     fig= plt.figure(num = 1,figsize=(10,5))
     
110.     x = ny.linspace(8.3,9.7,15)
     
111.     plt.bar(range(len(result_pot_r)),result_pot_r,tick_label=x)#生成评分分布图表
     
112.     plt.title('电影评分分布情况')
     
113.     for i in range(len(result_pot_r)):
     
114.         plt.text(i-0.1,result_pot_r.iloc[i],result_pot_r.iloc[i],fontsize=12,verticalalignment='center')#标签
     
115.     plt.tight_layout()
     
116.    
     
117.     #按年份进行分组
     
118.     bins = ny.arange(1910,2020,10)
     
119.     labels = [str(bins[i]) + '-' + str(bins[i+1]) for i in range(0,len(bins)-1)]
     
120.     pot_y1 = pd.cut(pot['year'],bins=bins,labels=labels)#划分区间
     
121.     pot_y1_count = pd.value_counts(pot_y1)#统计数量   
     
122. 
     
123.     fig= plt.figure(num = 2,figsize=(8,3))
     
124.     plt.bar(labels,pot_y1_count)#生成年代分布图表
     
125.     plt.title('电影年代分布情况')
     
126.     for i in range(len(labels)):
     
127.         plt.text(i-0.1,pot_y1_count[i],pot_y1_count[i],fontsize=12,verticalalignment='center')#标签
     
128.     plt.tight_layout()
     
129. 
     
130. if __name__ == '__main__':
     
131.     main()

复制代码

附件如下：