我胡汉三又回来了，这次给鱼油带来多线程爬虫案例，以及踩过的深坑

Will_M · 发表于 2019-5-30 14:55:10

看看

Will_M · 发表于 2019-5-30 15:03:50

能不能说一下你那个坑是个什么坑呢？

花开半夏さぎ · 发表于 2019-5-30 15:10:56

lbwnb · 发表于 2019-5-30 15:35:54

占个位置回来再看

汕头未来天才、 · 发表于 2019-5-30 15:38:21

厉害

susheshui · 发表于 2019-5-30 17:37:30

你牛B

Zrt · 发表于 2019-6-3 15:31:16

湖心残雪 · 发表于 2019-6-3 23:01:14

瞧瞧

湖心残雪 · 发表于 2019-6-3 23:03:32

你也不怕被封IP？？？python多线程有时候比单线程还慢

Stubborn · 发表于 2019-6-3 23:32:26

湖心残雪发表于 2019-6-3 23:03
你也不怕被封IP？？？python多线程有时候比单线程还慢

看具体的嘛，网站带IP检测，就用代理，或者sleep咯，是不是

tang888 · 发表于 2019-6-13 01:57:13

cai0913 · 发表于 2019-6-13 02:11:07

厉害啊，楼主

粟米格斗家 · 发表于 2019-6-13 11:23:07

又弄了什么东西

DjVu.refrain · 发表于 2019-6-13 14:22:11

毛绒绒 · 发表于 2019-6-13 14:27:30

ming231x · 发表于 2019-6-14 22:38:51

上一版的爬不了了看看这个

Seawolf · 发表于 2019-6-15 02:10:45

谢谢分享啊

abababab · 发表于 2019-6-18 17:07:54

来学习看看一下了。

dingking · 发表于 2019-6-27 02:38:03

楼主赔我时间，我信了你的邪，我本来打算12点看完睡得，结果一直运行不起来，我还真以为是你说的原因，开始一直往你那个方向想。
真正原因在于79行。啥也不说，我贴张图大家就明白了。但是很难发现这个，其实是79行403了，然后80行[-2]的列表索引越界，之后作为异常，在run（）里面直接给pass掉了。
其实这个错误的避免是在是太简单，把73,74行改成这个就能发现问题。

except Exception as reason:
print ('出错啦：' + str (reason))

复制代码

也不想说啥，其实只是想告诉大家，代码一些简单的规范真的很重要。比如说我，我也不知道为啥要花两个小时在这个弱智问题上。

dingking · 发表于 2019-6-27 02:40:15

图忘了传，补上

账号		自动登录	找回密码
密码			立即注册

[作品展示] 我胡汉三又回来了，这次给鱼油带来多线程爬虫案例，以及踩过的深坑