[已解决]requests爬取时，运行时间越久爬取越慢

jnmytwnllwl

1. import tkinter as tk
   
2. import tkinter.messagebox
   
3. import requests
   
4. import re
   
5. import xlwt
   
6. from parsel import Selector
   
7. from urllib.parse import urljoin

复制代码

我使用这些模块，在爬取网站时刚开始运行爬取的速度飞快，一秒一条数据。再运行几个小时之后变得将近十秒爬一条了，时间越久爬的越慢，是因为在爬取的过程中有什么没有关闭而占用了资源吗？

最佳答案

月排行榜 / 总排行榜

B站在读研究生

2022-6-13 08:08:04

可能访问频繁限制了吧

每次访问网页之后把请求关掉，
中间加一些time延时
数据非常多 用多线程爬

跳转到最佳答案楼层

wp231957

谁知道你代码是咋写的

B站在读研究生

可能访问频繁限制了吧

每次访问网页之后把请求关掉，
中间加一些time延时
数据非常多 用多线程爬