某图片站图片下载源码，你懂得

zengyushan · 发表于 2016-12-10 19:27:38

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 zengyushan 于 2016-12-11 09:13 编辑

IDE:pycharm
第三方库：bs4
下载是一张接一张，没有时间间隔，悠着点，图我就不上了
运行程序后在控制台输入要下载的路径

jin6220 · 发表于 2016-12-11 08:55:29

哥敢不敢做一个请不要害羞组的爬。。

zengyushan · 发表于 2016-12-11 09:11:05

jin6220 发表于 2016-12-11 08:55
哥敢不敢做一个请不要害羞组的爬。。

具体要爬什么，还有地址

jin6220 · 发表于 2016-12-11 09:38:53

本帖最后由 jin6220 于 2016-12-11 09:43 编辑

第一个地址是：https://www.douban.com/group/haixiuzu/
豆瓣的反扒比较厉害
不知道怎么挂代理爬
小心封ip
你试试。
第二个也是图片站是这个地址：http://zhaofuli.xyz/index.html 这个网知道你是爬虫的话给你发假图片，已经header了。
另外页码切换有部分内容我不知道怎么解决。

zengyushan · 发表于 2016-12-11 16:56:18

本帖最后由 zengyushan 于 2016-12-11 17:32 编辑

第一个搞定了

zengyushan · 发表于 2016-12-11 17:33:22

jin6220 发表于 2016-12-11 09:38
第一个地址是：https://www.douban.com/group/haixiuzu/
豆瓣的反扒比较厉害
不知道怎么挂代理爬

第一个搞定了，挂了代理，同时在几个循环处sleep两秒

jin6220 · 发表于 2016-12-11 19:26:10

zengyushan 发表于 2016-12-11 17:33
第一个搞定了，挂了代理，同时在几个循环处sleep两秒

你用的哪家的代理啊？代码发来看看！

jin6220 · 发表于 2016-12-11 19:27:12

zengyushan 发表于 2016-12-11 17:33
第一个搞定了，挂了代理，同时在几个循环处sleep两秒

第二个识别你用了代理是不是发假图片啊？

zengyushan · 发表于 2016-12-11 19:53:11

jin6220 发表于 2016-12-11 19:27
第二个识别你用了代理是不是发假图片啊？

第二个没做
我没有买代理，是写了个爬虫爬取的http://www.xicidaili.com/的免费代理，然后存进数据库，再写另一个爬虫，从数据库取出判断是否是有效代理并爬取图片，数据库是MongoDB

jin6220 · 发表于 2016-12-11 20:07:41

zengyushan 发表于 2016-12-11 19:53
第二个没做
我没有买代理，是写了个爬虫爬取的http://www.xicidaili.com/的免费代理，然后存进数据库， ...

学习了
在原来有个网站看介绍
有了数据库可以下载图片不重。付

账号		自动登录	找回密码
密码			立即注册

[作品展示] 某图片站图片下载源码，你懂得

马上注册，结交更多好友，享用更多功能^_^

本帖被以下淘专辑推荐:

浏览过的版块