我胡汉三又回来了，这次给鱼油带来多线程爬虫案例，以及踩过的深坑

maxiao

666

靳泽宇

Stubborn 发表于 2019-3-10 22:07
我这个吗？

是的呀..妹子图那个网址..

Stubborn

靳泽宇 发表于 2019-3-11 10:01
是的呀..妹子图那个网址..

跑了 还有扒图片啊

靳泽宇

Stubborn 发表于 2019-3-11 13:19
跑了 还有扒图片啊

这怎么进网站呢..

Stubborn

靳泽宇 发表于 2019-3-11 14:07
这怎么进网站呢..

怎么进网站什么意思？

靳泽宇

Stubborn 发表于 2019-3-11 15:13
怎么进网站什么意思？

爬虫爬的网站 https://www.mzitu.com/index/   我想进去查看网站源代码。可以报403错误。。  翻.墙也看不了。。

Stubborn

靳泽宇 发表于 2019-3-11 16:07
爬虫爬的网站 https://www.mzitu.com/index/   我想进去查看网站源代码。可以报403错误。。  翻.墙也看不 ...

进这个分析什么？网站https://www.mzitu.com  这个是目标站

靳泽宇

Stubborn 发表于 2019-3-11 16:10
进这个分析什么？网站https://www.mzitu.com  这个是目标站

目标站进不去...不进去不知道xpath..也不知道源代码。。

Stubborn

靳泽宇 发表于 2019-3-11 16:39
目标站进不去...不进去不知道xpath..也不知道源代码。。

目标站可以直接进，没有问题的  1，进目标站，抓取每个图集的（通过翻页抓取后面数据），2，进入图集后获取到每个图片的url下载地址

靳泽宇

Stubborn 发表于 2019-3-11 21:24
目标站可以直接进，没有问题的  1，进目标站，抓取每个图集的（通过翻页抓取后面数据），2，进入图集后获 ...

我的目标站报403..

靳泽宇

Stubborn 发表于 2019-3-11 21:24
目标站可以直接进，没有问题的  1，进目标站，抓取每个图集的（通过翻页抓取后面数据），2，进入图集后获 ...

我的报错..

Stubborn

靳泽宇 发表于 2019-3-12 08:44
我的报错..

https://www.mzitu.com   这个 老铁

靳泽宇

Stubborn 发表于 2019-3-12 13:55
https://www.mzitu.com   这个 老铁

没错呀..可是他自动重定向进去/index..

Stubborn

靳泽宇 发表于 2019-3-12 13:59
没错呀..可是他自动重定向进去/index..

那就不知道了

咕咕鸡鸽鸽

围观大佬

ouzhaoyuan

美女昆明

不小心入了坑

1

My_A

666

My_A

[*]第48行输出错误：不是print("采集图集URL错误")，你写成了print("采集图集RUL错误")

平常心DT

感谢