jnmytwnllwl 发表于 2022-6-13 04:36:59

requests爬取时，运行时间越久爬取越慢

import tkinter as tk
import tkinter.messagebox
import requests
import re
import xlwt
from parsel import Selector
from urllib.parse import urljoin
我使用这些模块，在爬取网站时刚开始运行爬取的速度飞快，一秒一条数据。再运行几个小时之后变得将近十秒爬一条了，时间越久爬的越慢，是因为在爬取的过程中有什么没有关闭而占用了资源吗？

wp231957 发表于 2022-6-13 07:41:28

谁知道你代码是咋写的

B站在读研究生 发表于 2022-6-13 08:08:04

可能访问频繁限制了吧

每次访问网页之后把请求关掉，
中间加一些time延时
数据非常多 用多线程爬
页: [1]
查看完整版本: requests爬取时，运行时间越久爬取越慢