我胡汉三又回来了，这次给鱼油带来多线程爬虫案例，以及踩过的深坑

湖心残雪 · 发表于 2019-6-3 23:01:14

瞧瞧

湖心残雪 · 发表于 2019-6-3 23:03:32

你也不怕被封IP？？？python多线程有时候比单线程还慢

Stubborn · 发表于 2019-6-3 23:32:26

湖心残雪发表于 2019-6-3 23:03
你也不怕被封IP？？？python多线程有时候比单线程还慢

看具体的嘛，网站带IP检测，就用代理，或者sleep咯，是不是

tang888 · 发表于 2019-6-13 01:57:13

cai0913 · 发表于 2019-6-13 02:11:07

厉害啊，楼主

粟米格斗家 · 发表于 2019-6-13 11:23:07

又弄了什么东西

DjVu.refrain · 发表于 2019-6-13 14:22:11

毛绒绒 · 发表于 2019-6-13 14:27:30

ming231x · 发表于 2019-6-14 22:38:51

上一版的爬不了了看看这个

Seawolf · 发表于 2019-6-15 02:10:45

谢谢分享啊

abababab · 发表于 2019-6-18 17:07:54

来学习看看一下了。

dingking · 发表于 2019-6-27 02:38:03

楼主赔我时间，我信了你的邪，我本来打算12点看完睡得，结果一直运行不起来，我还真以为是你说的原因，开始一直往你那个方向想。
真正原因在于79行。啥也不说，我贴张图大家就明白了。但是很难发现这个，其实是79行403了，然后80行[-2]的列表索引越界，之后作为异常，在run（）里面直接给pass掉了。
其实这个错误的避免是在是太简单，把73,74行改成这个就能发现问题。

            except Exception as reason:
                print ('出错啦：' + str (reason))

也不想说啥，其实只是想告诉大家，代码一些简单的规范真的很重要。比如说我，我也不知道为啥要花两个小时在这个弱智问题上。

dingking · 发表于 2019-6-27 02:40:15

图忘了传，补上

Stubborn · 发表于 2019-6-28 16:20:52

dingking 发表于 2019-6-27 02:40
图忘了传，补上

数据采集帖子很有时效性的~只能参考下学习思路。

不能怪我呀~

polarisandy · 发表于 2019-6-29 22:54:32

看看

18820206886 · 发表于 2019-7-3 18:05:47

很好

shokunin · 发表于 2019-7-8 16:49:34

看看

我打人很温柔的 · 发表于 2019-7-26 22:43:06

xuexi

kelby · 发表于 2019-7-26 23:58:10

看看

augustss · 发表于 2019-7-27 15:01:06

来看看

账号		自动登录	找回密码
密码			立即注册

[作品展示] 我胡汉三又回来了，这次给鱼油带来多线程爬虫案例，以及踩过的深坑