论坛 › Python交流 › 我胡汉三又回来了，这次给鱼油带来多线程爬虫案例，以及踩过的深坑

湖心残雪 发表于 2019-6-3 23:01:14

瞧瞧

湖心残雪 发表于 2019-6-3 23:03:32

你也不怕被封IP？？？python多线程有时候比单线程还慢

Stubborn 发表于 2019-6-3 23:32:26

湖心残雪 发表于 2019-6-3 23:03
你也不怕被封IP？？？python多线程有时候比单线程还慢

看具体的嘛，网站带IP检测，就用代理，或者sleep咯，是不是{:10_278:}

tang888 发表于 2019-6-13 01:57:13

赞

cai0913 发表于 2019-6-13 02:11:07

厉害啊，楼主

粟米格斗家 发表于 2019-6-13 11:23:07

又弄了什么东西

DjVu.refrain 发表于 2019-6-13 14:22:11

{:10_256:}

毛绒绒 发表于 2019-6-13 14:27:30

{:10_277:}

ming231x 发表于 2019-6-14 22:38:51

上一版的爬不了了 看看这个

Seawolf 发表于 2019-6-15 02:10:45

谢谢分享啊

abababab 发表于 2019-6-18 17:07:54

来学习看看一下了。

dingking 发表于 2019-6-27 02:38:03

楼主赔我时间，我信了你的邪，我本来打算12点看完睡得，结果一直运行不起来，我还真以为是你说的原因，开始一直往你那个方向想。
真正原因在于79行。啥也不说，我贴张图大家就明白了。但是很难发现这个，其实是79行403了，然后80行[-2]的列表索引越界，之后作为异常，在run（）里面直接给pass掉了。
其实这个错误的避免是在是太简单，把73,74行改成这个就能发现问题。
            except Exception as reason:
                print ('出错啦：' + str (reason))
也不想说啥，其实只是想告诉大家，代码一些简单的规范真的很重要。比如说我，我也不知道为啥要花两个小时在这个弱智问题上。

dingking 发表于 2019-6-27 02:40:15

图忘了传，补上

Stubborn 发表于 2019-6-28 16:20:52

dingking 发表于 2019-6-27 02:40
图忘了传，补上

数据采集帖子很有时效性的~只能参考下学习思路。{:10_323:}不能怪我呀~

polarisandy 发表于 2019-6-29 22:54:32

看看

18820206886 发表于 2019-7-3 18:05:47

很好

shokunin 发表于 2019-7-8 16:49:34

看看

我打人很温柔的 发表于 2019-7-26 22:43:06

xuexi

kelby 发表于 2019-7-26 23:58:10

看看

augustss 发表于 2019-7-27 15:01:06

来看看

查看完整版本: 我胡汉三又回来了，这次给鱼油带来多线程爬虫案例，以及踩过的深坑