requests参数

青出于蓝 · 发表于 2022-1-26 13:01:58

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由青出于蓝于 2022-1-26 13:01 编辑

使用requests.get爬取网页内容时，发现网页刚开始会出现 “正在加载” 图标，等待1s左右才会展现出我要抓取的内容。所以无法爬到我想要的内容

requests有没有类似等待一段时间然后再进行爬取网页内容的参数？

感谢！

大马强 · 发表于 2022-1-26 15:56:39

用 time.sleep()试试

青出于蓝 · 发表于 2022-1-26 16:06:33

大马强发表于 2022-1-26 15:56
用 time.sleep()试试

time.slepp不行，这个函数是执行两条语句语句时的空格

大马强 · 发表于 2022-1-26 18:27:01

能发网站以及需求给我试试吗？

青出于蓝 · 发表于 2022-1-26 18:33:42

大马强发表于 2022-1-26 18:27
能发网站以及需求给我试试吗？

大马强 · 发表于 2022-1-26 18:57:48

老师？还是学生？

青出于蓝 · 发表于 2022-1-26 19:17:34

大马强发表于 2022-1-26 18:57
老师？还是学生？

学生党

Twilight6 · 发表于 2022-2-6 10:53:06

加载的一般都是 js ，直接用 selenium 模块，读取完整网站后爬取你想要的内容即可

账号		自动登录	找回密码
密码			立即注册