鱼C论坛

 找回密码
 立即注册

扫一扫,访问微社区

楼主: Stubborn

[作品展示] 我胡汉三又回来了,这次给鱼油带来多线程爬虫案例,以及踩过的深坑

  [复制链接]
最佳答案
5 
发表于 2019-5-30 14:55:10 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
5 
发表于 2019-5-30 15:03:50 | 显示全部楼层
能不能说一下你那个坑是个什么坑呢?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-5-30 15:10:56 | 显示全部楼层
666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-5-30 15:35:54 | 显示全部楼层
占个位置回来再看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-5-30 15:38:21 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-5-30 17:37:30 | 显示全部楼层
你牛B
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-6-3 15:31:16 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-6-3 23:01:14 | 显示全部楼层
瞧瞧
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-6-3 23:03:32 | 显示全部楼层
你也不怕被封IP???python多线程有时候比单线程还慢
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
50 
 楼主| 发表于 2019-6-3 23:32:26 | 显示全部楼层
湖心残雪 发表于 2019-6-3 23:03
你也不怕被封IP???python多线程有时候比单线程还慢

看具体的嘛,网站带IP检测,就用代理,或者sleep咯,是不是
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-6-13 01:57:13 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-6-13 02:11:07 | 显示全部楼层
厉害啊,楼主
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-6-13 11:23:07 | 显示全部楼层
又弄了什么东西
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-6-13 14:22:11 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
1 
发表于 2019-6-13 14:27:30 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-6-14 22:38:51 | 显示全部楼层
上一版的爬不了了 看看这个
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
36 
发表于 2019-6-15 02:10:45 | 显示全部楼层
谢谢分享啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-6-18 17:07:54 | 显示全部楼层
来学习看看一下了。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-6-27 02:38:03 | 显示全部楼层
楼主赔我时间,我信了你的邪,我本来打算12点看完睡得,结果一直运行不起来,我还真以为是你说的原因,开始一直往你那个方向想。
真正原因在于79行。啥也不说,我贴张图大家就明白了。但是很难发现这个,其实是79行403了,然后80行[-2]的列表索引越界,之后作为异常,在run()里面直接给pass掉了。
其实这个错误的避免是在是太简单,把73,74行改成这个就能发现问题。
  1.             except Exception as reason:
  2.                 print ('出错啦:' + str (reason))
复制代码

也不想说啥,其实只是想告诉大家,代码一些简单的规范真的很重要。比如说我,我也不知道为啥要花两个小时在这个弱智问题上。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-6-27 02:40:15 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

小甲鱼强烈推荐上一条 /1 下一条

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号

GMT+8, 2019-10-23 07:29

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表