鱼C论坛

 找回密码
 立即注册
楼主: Stubborn

[作品展示] 我胡汉三又回来了,这次给鱼油带来多线程爬虫案例,以及踩过的深坑

  [复制链接]
发表于 2019-3-10 22:21:49 | 显示全部楼层
666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-3-11 10:01:20 | 显示全部楼层

是的呀..妹子图那个网址..
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-3-11 13:19:01 | 显示全部楼层
靳泽宇 发表于 2019-3-11 10:01
是的呀..妹子图那个网址..

跑了 还有扒图片啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

发表于 2019-3-11 14:07:24 | 显示全部楼层
Stubborn 发表于 2019-3-11 13:19
跑了 还有扒图片啊

这怎么进网站呢..
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-3-11 15:13:24 | 显示全部楼层
靳泽宇 发表于 2019-3-11 14:07
这怎么进网站呢..

怎么进网站什么意思?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-3-11 16:07:09 | 显示全部楼层
Stubborn 发表于 2019-3-11 15:13
怎么进网站什么意思?

爬虫爬的网站 https://www.mzitu.com/index/   我想进去查看网站源代码。可以报403错误。。  翻.墙也看不了。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-3-11 16:10:46 | 显示全部楼层
靳泽宇 发表于 2019-3-11 16:07
爬虫爬的网站 https://www.mzitu.com/index/   我想进去查看网站源代码。可以报403错误。。  翻.墙也看不 ...

进这个分析什么?网站https://www.mzitu.com  这个是目标站
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-3-11 16:39:09 | 显示全部楼层
Stubborn 发表于 2019-3-11 16:10
进这个分析什么?网站https://www.mzitu.com  这个是目标站

目标站进不去...不进去不知道xpath..也不知道源代码。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-3-11 21:24:02 | 显示全部楼层
靳泽宇 发表于 2019-3-11 16:39
目标站进不去...不进去不知道xpath..也不知道源代码。。

目标站可以直接进,没有问题的  1,进目标站,抓取每个图集的(通过翻页抓取后面数据),2,进入图集后获取到每个图片的url下载地址
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-3-12 08:27:27 | 显示全部楼层
Stubborn 发表于 2019-3-11 21:24
目标站可以直接进,没有问题的  1,进目标站,抓取每个图集的(通过翻页抓取后面数据),2,进入图集后获 ...

我的目标站报403..
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-3-12 08:44:11 | 显示全部楼层
本帖最后由 靳泽宇 于 2019-3-12 08:45 编辑
Stubborn 发表于 2019-3-11 21:24
目标站可以直接进,没有问题的  1,进目标站,抓取每个图集的(通过翻页抓取后面数据),2,进入图集后获 ...


我的报错.. capture_20190312083744190.bmp
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-3-12 13:55:19 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-3-12 13:59:36 | 显示全部楼层
Stubborn 发表于 2019-3-12 13:55
https://www.mzitu.com   这个 老铁

没错呀..可是他自动重定向进去/index..
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-3-12 14:52:14 | 显示全部楼层
靳泽宇 发表于 2019-3-12 13:59
没错呀..可是他自动重定向进去/index..

那就不知道了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-3-12 21:02:50 | 显示全部楼层
围观大佬
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-3-16 16:54:52 | 显示全部楼层
美女昆明
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-3-19 18:39:17 | 显示全部楼层
1
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-3-19 21:13:05 | 显示全部楼层
666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-3-19 21:15:52 | 显示全部楼层
[*]第48行输出错误:不是print("采集图集URL错误"),你写成了print("采集图集RUL错误")
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-4-5 12:21:09 | 显示全部楼层
感谢
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-12-28 20:53

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表