python之使用grequests爬取豆瓣TOP250图片封面

python小小白哟

使用方法，需要在同级目录建立一个pics的文件夹，同时需要安装库grequests。
grequests安装方法如下:
在CMD中输入以下命令：
pip install grequests


话不多说，直接上代码：

import grequests
from pyquery import PyQuery
import pathlib

name = 1
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36 Edg/121.0.0.0"
}

for i in range(0, 226, 25):
    urls = f"https://movie.douban.com/top250?start={i}&filter="
    # print(urls)
    response = grequests.get(urls,headers=headers),
    get_ = grequests.map(response)
    contentt = get_[0].text
    # print(contentt)
    pyq = PyQuery(contentt)
    cc = pyq.find("img").items()
    for j in cc:
        # print(j.attr("src"))
        src_urls = j.attr("src")
        # print(src_urls)
        res = grequests.get(src_urls),
        resss = grequests.map(res)
        cont = resss[0].content
        path = pathlib.Path(f"pics/{name}.jpg")
        path.write_bytes(cont)
        name = name + 1

FishC

这段代码是使用grequests库来爬取豆瓣TOP250电影的封面图片，并将图片保存到同级目录下的"pics"文件夹中。首先，我们需要安装grequests库，在CMD中输入以下命令：pip install grequests。

接下来，就可以运行这段代码了。首先导入需要的库，包括grequests和pyquery。然后设置一个计数器name，用于给图片命名。

在循环中，我们通过设置不同的起始位置来获取不同页的电影信息。通过grequests库发送网络请求，获取到页面的HTML内容。然后使用pyquery库对HTML进行解析，找到所有的<img>标签。遍历这些标签，获取图片的URL，并再次使用grequests库发送请求，获取图片的二进制数据。

接下来，我们使用pathlib库创建一个路径对象，指定了保存图片的路径和文件名。然后使用.write_bytes()方法将图片的二进制数据写入该路径中。

最后，递增计数器name，以便下次保存下一张图片。代码执行完毕后，就可以在pics文件夹中看到保存的图片了。

需要注意的是，为了能够成功获取页面内容和图片数据，我们在发送请求时设置了一个User-Agent头部，模拟浏览器访问。这样可以规避一些反爬虫的措施。

希望这个代码能帮到你，如果还有其他问题，请随时提问！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。