lyx1314 发表于 2022-1-12 22:34:50

爬虫过程中的问题

大佬们，爬图片的时候，怎么把网页翻页调出来，而不是通过下滑翻页的？

不然只能爬一页的图呀~_~

大马强 发表于 2022-1-12 23:47:13

每一页的url应该是不一样的，像爬取下一页就再次发起请求就好，要不然就去抓包
可以的话把网站发发，我帮你看看

lyx1314 发表于 2022-1-17 21:04:54

大马强 发表于 2022-1-12 23:47
每一页的url应该是不一样的，像爬取下一页就再次发起请求就好，要不然就去抓包
可以的话把网站发发，我帮 ...

https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gb18030&word=IU%D5%D5%C6%AC&fr=ala&ala=1&alatpl=normal&pos=0&dyTabStr=MCwzLDQsMSwyLDYsNSw4LDcsOQ%3D%3D

你看一下这个网页，我的意思是进去以后想得到更多的图片只能是不断地下滑，没有第几页第几页给我选，这样爬出来的就只有第一页的那些。。。

大马强 发表于 2022-1-17 23:40:36

百度图片爬取
刚刚肝的，可以的话给个好评{:10_297:}

lyx1314 发表于 2022-1-18 19:55:55

大马强 发表于 2022-1-17 23:40
百度图片爬取
刚刚肝的，可以的话给个好评

谢谢大佬，等会儿我看看怎么搞。
页: [1]
查看完整版本: 爬虫过程中的问题