python之使用grequests爬取豆瓣TOP250图片封面

python小小白哟

使用方法，需要在同级目录建立一个pics的文件夹，同时需要安装库grequests。
grequests安装方法如下:
在CMD中输入以下命令：
pip install grequests


话不多说，直接上代码：

1. import grequests
   
2. from pyquery import PyQuery
   
3. import pathlib
   
4. 
   
5. name = 1
   
6. headers = {
   
7.     "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36 Edg/121.0.0.0"
   
8. }
   
9. 
   
10. for i in range(0, 226, 25):
    
11.     urls = f"https://movie.douban.com/top250?start={i}&filter="
    
12.     # print(urls)
    
13.     response = grequests.get(urls,headers=headers),
    
14.     get_ = grequests.map(response)
    
15.     contentt = get_[0].text
    
16.     # print(contentt)
    
17.     pyq = PyQuery(contentt)
    
18.     cc = pyq.find("img").items()
    
19.     for j in cc:
    
20.         # print(j.attr("src"))
    
21.         src_urls = j.attr("src")
    
22.         # print(src_urls)
    
23.         res = grequests.get(src_urls),
    
24.         resss = grequests.map(res)
    
25.         cont = resss[0].content
    
26.         path = pathlib.Path(f"pics/{name}.jpg")
    
27.         path.write_bytes(cont)
    
28.         name = name + 1

复制代码