君子好逑 发表于 2021-1-22 13:10:17

爬虫

有没有大佬有能爬百度图片的爬虫。我在B站上找到的视频上的程序都用不了,求大佬发程序

心驰神往 发表于 2021-1-22 13:23:14

{:10_256:}

51Arduino32 发表于 2021-1-22 13:49:44

URL交出来{:10_256:}

君子好逑 发表于 2021-1-22 13:57:52

51Arduino32 发表于 2021-1-22 13:49
URL交出来

https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gb18030&word=%B6%FE%B4%CE%D4%AA%B1%DA%D6%BD&fr=ala&ala=1&alatpl=adress&pos=0&hs=2&xthttps=000000

君子好逑 发表于 2021-1-22 13:58:26

51Arduino32 发表于 2021-1-22 13:49
URL交出来

就是百度搜索‘二次元图片’这几个字出来的{:10_256:}

Daniel_Zhang 发表于 2021-1-22 15:17:23

本帖最后由 Daniel_Zhang 于 2021-1-22 15:20 编辑

君子好逑 发表于 2021-1-22 13:58
就是百度搜索‘二次元图片’这几个字出来的

还是手把手教你吧,自己动手学习{:10_264:}

chrome在搜索出来的图片页面点击检查{:10_297:}



如上图,点击 Network,点击 XHR,刷新页面,就会发现几个 acjson?tn=resultjson_com 的文件



在搜索结果那个页面往下滑,就会更多的 acjson?tn=resultjson_com 的文件

点击其中一个,右侧有网址,Request URL,打开{:10_325:}

哇,里面好多 .jpg 格式的文件!!!{:10_254:}

可是,为什么就这几个.jpg 文件呢

返回刚才的页面,一次对比每一个 acjson?tn=resultjson_com 开头的文件的 Request URL,神似有没有{:10_330:}





唯一不同的是这个部分



30, 60, 90, 120...

等等,这不会就是传说中的等差数列吧?(红色圈圈后面的字符去掉,也可以导向到网页的,删掉后面的东西就可以了,应该是的){:10_328:}

盲猜是加载第几张到第几张图片用的

那么{:10_248:}

for loop 一下,每次 open 一下 URL,那岂不是{:10_242:}

所以,授人以鱼不如授人以渔{:10_288:}

51Arduino32 发表于 2021-1-22 15:44:48

Daniel_Zhang 发表于 2021-1-22 15:17
还是手把手教你吧,自己动手学习

chrome在搜索出来的图片页面点击检查


精彩{:10_256:}

君子好逑 发表于 2021-1-22 15:52:54

Daniel_Zhang 发表于 2021-1-22 15:17
还是手把手教你吧,自己动手学习

chrome在搜索出来的图片页面点击检查


i了i了{:10_254:}

Daniel_Zhang 发表于 2021-1-22 15:54:11

君子好逑 发表于 2021-1-22 15:52
i了i了

这...最佳好像,嗯,给错楼层了,就...

没事,学会了就行{:10_248:}

君子好逑 发表于 2021-1-22 17:10:51

Daniel_Zhang 发表于 2021-1-22 15:54
这...最佳好像,嗯,给错楼层了,就...

没事,学会了就行

已经取到地址了

君子好逑 发表于 2021-1-22 17:15:02

Daniel_Zhang 发表于 2021-1-22 15:17
还是手把手教你吧,自己动手学习

chrome在搜索出来的图片页面点击检查


大佬,我最佳答案好像设错了 ,这玩意能修改吗{:10_266:}

君子好逑 发表于 2021-1-22 17:16:00

Daniel_Zhang 发表于 2021-1-22 15:54
这...最佳好像,嗯,给错楼层了,就...

没事,学会了就行

好像给错楼了,能改吗{:10_266:}

君子好逑 发表于 2021-1-22 17:20:05

Daniel_Zhang 发表于 2021-1-22 15:17
还是手把手教你吧,自己动手学习

chrome在搜索出来的图片页面点击检查


大佬,我又把这个帖子新发了一遍,你快把你的答案粘一遍,我得给你个最佳。这么好的解答不能被埋没{:10_297:}

hornwong 发表于 2021-1-23 10:51:32

{:5_95:}

Yoromi 发表于 2021-2-3 08:50:32

{:10_257:}弱弱的问一下怎么给最佳啊,以后发帖学一下

会跳的帅比 发表于 2021-2-4 10:53:34

回复

我是小白啊 发表于 2021-2-4 10:58:21

{:10_256:}
页: [1]
查看完整版本: 爬虫