[已解决]豆瓣爬虫疑问

fishhh03

1. import pandas as pd
   
2. import numpy as np
   
3. import matplotlib.pyplot as plt
   
4. 
   
5. plt.rcParams['font.family']='SimHei'  #显示汉字
   
6. plt.rcParams['font.sans-serif'] = ['SimHei']
   
7. 
   
8. df = pd.read_excel('ans/豆瓣电影Top250_已预处理.xlsx')  #打开预处理后的数据文件
   
9. ## 请在下面补充代码，实现：统计不同评分电影数量并输出、绘制柱形图
   
10. 
    
11. ## 补充代码结束
    
12. plt.show()
    
13. plt.savefig('step6/不同评分电影数量柱状图.png')

复制代码

本关任务：编写一个程序，统计不同评分对应电影数量并绘制柱形图。
求问怎么做呀呜呜

最佳答案

月排行榜 / 总排行榜

lxping

2022-12-20 16:08:54

1. import requests
   
2. import os
   
3. import shutil
   
4. 
   
5. url="https://movie.douban.com/top250?start="
   
6. headers = #设置你自己浏览器的headers
   
7. 
   
8. def getWeb(url,i):
   
9.     try:  
   
10.        ## 请在下面补充代码，完成网页爬取及保存为txt文件
    
11.        dburl = url + str(i*25)
    
12.        r = requests.get(dburl)
    
13.        print(r.text)
    
14.        filename = 'step1/webpages/' + str(i) + ".txt"
    
15.        with open(filename, "w", errors="ignore") as f:
    
16.            f.write(r.text)
    
17.     except:
    
18.         print('爬取失败！')
    
19. 
    
20. 
    
21. def main():
    
22.     for i in range(10):
    
23.         getWeb(url,i)   #调用爬取网页的函数
    
24.         
    
25. ## 以下为主程序
    
26. # 清理webpages文件夹中原有文件
    
27. fileset = os.listdir('step1/webpages')
    
28. for f in fileset:
    
29.     if 'web' in f:
    
30.         os.remove(os.path.join('step1/webpages',f))
    
31. 
    
32. # 调用主函数   
    
33. main()

复制代码

跳转到最佳答案楼层

lxping

1. import requests
   
2. import os
   
3. import shutil
   
4. 
   
5. url="https://movie.douban.com/top250?start="
   
6. headers = #设置你自己浏览器的headers
   
7. 
   
8. def getWeb(url,i):
   
9.     try:  
   
10.        ## 请在下面补充代码，完成网页爬取及保存为txt文件
    
11.        dburl = url + str(i*25)
    
12.        r = requests.get(dburl)
    
13.        print(r.text)
    
14.        filename = 'step1/webpages/' + str(i) + ".txt"
    
15.        with open(filename, "w", errors="ignore") as f:
    
16.            f.write(r.text)
    
17.     except:
    
18.         print('爬取失败！')
    
19. 
    
20. 
    
21. def main():
    
22.     for i in range(10):
    
23.         getWeb(url,i)   #调用爬取网页的函数
    
24.         
    
25. ## 以下为主程序
    
26. # 清理webpages文件夹中原有文件
    
27. fileset = os.listdir('step1/webpages')
    
28. for f in fileset:
    
29.     if 'web' in f:
    
30.         os.remove(os.path.join('step1/webpages',f))
    
31. 
    
32. # 调用主函数   
    
33. main()

复制代码

fishhh03

lxping 发表于 2022-12-20 16:08

谢谢 我已经做出来刚刚那个啦