论坛 › Python交流 › 我胡汉三又回来了，这次给鱼油带来多线程爬虫案例，以及踩过的深坑

maxiao 发表于 2019-3-10 22:21:49

666

靳泽宇 发表于 2019-3-11 10:01:20

Stubborn 发表于 2019-3-10 22:07
我这个吗？

是的呀..妹子图那个网址..

Stubborn 发表于 2019-3-11 13:19:01

靳泽宇 发表于 2019-3-11 10:01
是的呀..妹子图那个网址..

跑了 还有扒图片啊{:5_97:}

靳泽宇 发表于 2019-3-11 14:07:24

Stubborn 发表于 2019-3-11 13:19
跑了 还有扒图片啊

这怎么进网站呢..

Stubborn 发表于 2019-3-11 15:13:24

靳泽宇 发表于 2019-3-11 14:07
这怎么进网站呢..

{:10_285:}怎么进网站什么意思？{:10_257:}

靳泽宇 发表于 2019-3-11 16:07:09

Stubborn 发表于 2019-3-11 15:13
怎么进网站什么意思？

爬虫爬的网站 https://www.mzitu.com/index/   我想进去查看网站源代码。可以报403错误。。翻.墙也看不了。。

Stubborn 发表于 2019-3-11 16:10:46

靳泽宇 发表于 2019-3-11 16:07
爬虫爬的网站 https://www.mzitu.com/index/   我想进去查看网站源代码。可以报403错误。。翻.墙也看不 ...

进这个分析什么？网站https://www.mzitu.com这个是目标站

靳泽宇 发表于 2019-3-11 16:39:09

Stubborn 发表于 2019-3-11 16:10
进这个分析什么？网站https://www.mzitu.com这个是目标站

目标站进不去...不进去不知道xpath..也不知道源代码。。{:10_297:}

Stubborn 发表于 2019-3-11 21:24:02

靳泽宇 发表于 2019-3-11 16:39
目标站进不去...不进去不知道xpath..也不知道源代码。。

目标站可以直接进，没有问题的1，进目标站，抓取每个图集的（通过翻页抓取后面数据），2，进入图集后获取到每个图片的url下载地址

靳泽宇 发表于 2019-3-12 08:27:27

Stubborn 发表于 2019-3-11 21:24
目标站可以直接进，没有问题的1，进目标站，抓取每个图集的（通过翻页抓取后面数据），2，进入图集后获 ...

我的目标站报403..

靳泽宇 发表于 2019-3-12 08:44:11

本帖最后由 靳泽宇 于 2019-3-12 08:45 编辑

Stubborn 发表于 2019-3-11 21:24
目标站可以直接进，没有问题的1，进目标站，抓取每个图集的（通过翻页抓取后面数据），2，进入图集后获 ...

我的报错..

Stubborn 发表于 2019-3-12 13:55:19

靳泽宇 发表于 2019-3-12 08:44
我的报错..

https://www.mzitu.com   这个 老铁

靳泽宇 发表于 2019-3-12 13:59:36

Stubborn 发表于 2019-3-12 13:55
https://www.mzitu.com   这个 老铁

没错呀..可是他自动重定向进去/index..

Stubborn 发表于 2019-3-12 14:52:14

靳泽宇 发表于 2019-3-12 13:59
没错呀..可是他自动重定向进去/index..

{:10_285:}那就不知道了

咕咕鸡鸽鸽 发表于 2019-3-12 21:02:50

围观大佬

ouzhaoyuan 发表于 2019-3-16 16:54:52

美女昆明

不小心入了坑 发表于 2019-3-19 18:39:17

1

My_A 发表于 2019-3-19 21:13:05

666

My_A 发表于 2019-3-19 21:15:52

[*]第48行输出错误：不是print("采集图集URL错误")，你写成了print("采集图集RUL错误")

平常心DT 发表于 2019-4-5 12:21:09

感谢

查看完整版本: 我胡汉三又回来了，这次给鱼油带来多线程爬虫案例，以及踩过的深坑