[已解决]requests爬取时，运行时间越久爬取越慢

jnmytwnllwl

import tkinter as tk
import tkinter.messagebox
import requests
import re
import xlwt
from parsel import Selector
from urllib.parse import urljoin

我使用这些模块，在爬取网站时刚开始运行爬取的速度飞快，一秒一条数据。再运行几个小时之后变得将近十秒爬一条了，时间越久爬的越慢，是因为在爬取的过程中有什么没有关闭而占用了资源吗？

最佳答案

月排行榜 / 总排行榜

B站在读研究生

2022-6-13 08:08:04

可能访问频繁限制了吧

每次访问网页之后把请求关掉，
中间加一些time延时
数据非常多 用多线程爬

跳转到最佳答案楼层

wp231957

谁知道你代码是咋写的

B站在读研究生

可能访问频繁限制了吧

每次访问网页之后把请求关掉，
中间加一些time延时
数据非常多 用多线程爬