[已解决]爬虫过程中的问题

lyx1314 · 发表于 2022-1-12 22:34:50

您需要登录才可以下载或查看，没有账号？立即注册

x

大佬们，爬图片的时候，怎么把网页翻页调出来，而不是通过下滑翻页的？

不然只能爬一页的图呀~_~

最佳答案

大马强

2022-1-17 23:40:36

百度图片爬取
刚刚肝的，可以的话给个好评

大马强 · 发表于 2022-1-12 23:47:13

每一页的url应该是不一样的，像爬取下一页就再次发起请求就好，要不然就去抓包
可以的话把网站发发，我帮你看看

lyx1314 · 发表于 2022-1-17 21:04:54

大马强发表于 2022-1-12 23:47
每一页的url应该是不一样的，像爬取下一页就再次发起请求就好，要不然就去抓包
可以的话把网站发发，我帮 ...

https://image.baidu.com/search/i ... DYsNSw4LDcsOQ%3D%3D

你看一下这个网页，我的意思是进去以后想得到更多的图片只能是不断地下滑，没有第几页第几页给我选，这样爬出来的就只有第一页的那些。。。

大马强 · 发表于 2022-1-17 23:40:36

百度图片爬取
刚刚肝的，可以的话给个好评

lyx1314 · 发表于 2022-1-18 19:55:55

大马强发表于 2022-1-17 23:40
百度图片爬取
刚刚肝的，可以的话给个好评

谢谢大佬，等会儿我看看怎么搞。

账号		自动登录	找回密码
密码			立即注册