小人 发表于 2015-4-30 10:37:54

Python爬虫 双线程下载

本帖最后由 小人 于 2015-4-30 13:27 编辑




我知道没有图片是没人看的



下面说正事


看到 这帖子的启发写的{:9_240:} 属于心血高潮吧http://bbs.fishc.com/forum.php?mod=viewthread&tid=58406&typeid=394


修改了正则(原帖的正则错误率好高   不知道是不是我电脑的问题 ~~~竟然没一个匹配正确)匹配正确率提高了
增加了双线程(比单线程)
代码 很粗糙   
不看广告看疗效:




图片代码 : 写的不是很好很粗糙有待提高:期待各位大神鞭挞!!!!{:9_217:}





代码直接发文件算了免得 版面太长 ; 废话有点多给位看官 见谅 ;
不服你们可以打我{:9_221:}我辣么萌
最后说下我用的是Python3.4 的版本

无所谓无的 发表于 2015-4-30 12:28:13

好··支持下·！！！

小人 发表于 2015-4-30 12:44:29

本帖最后由 小人 于 2015-4-30 13:24 编辑

代码重新修改上传了 , 基本不会出现错误了 ,目前是双线程 ,(智商有限只能这么安排线程多了不知道怎么样安排){:9_240:}

wei_Y 发表于 2015-4-30 16:06:56

萌萌哒的输入法。

小人 发表于 2015-4-30 16:26:02

wei_Y 发表于 2015-4-30 16:06
萌萌哒的输入法。

{:9_240:}我辣么萌{:9_221:}

～风介～ 发表于 2015-4-30 23:16:42

木有下载图片成功哦！{:7_139:}望改正。。。

小人 发表于 2015-5-1 08:34:00

～风介～ 发表于 2015-4-30 23:16
木有下载图片成功哦！望改正。。。

可以哦 ,你解压试试{:9_241:}

～风介～ 发表于 2015-5-1 10:02:46

已收下一大堆福利图！{:9_217:}

小人 发表于 2015-5-1 10:07:47

～风介～ 发表于 2015-5-1 10:02
已收下一大堆福利图！

地址匹配没问题但时不时会错误不知道什么原因 ,还有就是线程有时候会直接挂了不跑了{:9_241:}
不知道什么原因,
我修改了下思路10线程并发 一会儿几千张图片 {:9_217:}

smallwan 发表于 2015-5-14 13:45:45

强烈支持楼主ing……

落叶的舞会 发表于 2015-12-27 11:01:32

厉害！我想改改拿来下载某网站空气污染数据，好吧，我要学的还多

pyther 发表于 2015-12-28 01:25:36

:smile非常不错，学python就要这个。

superFeng777 发表于 2016-9-7 17:50:13

{:10_254:}{:5_101:}太毕了！楼主辣么萌！

superFeng777 发表于 2016-9-13 11:18:47

楼主的技术----辣眼睛！{:10_254:}

superFeng777 发表于 2016-9-14 12:46:14

{:10_245:}就佩服楼主这样的大神

呆鸭 发表于 2016-9-14 15:05:56

这是一定要支持的，谢谢楼主分享！

乡下码农 发表于 2016-12-9 18:15:35

{:5_91:}

gopythoner 发表于 2017-3-8 17:05:49

wei_Y 发表于 2015-4-30 16:06
萌萌哒的输入法。

输入法是洛天依{:9_237:}

gopythoner 发表于 2017-3-28 18:01:29

小人 发表于 2015-4-30 16:26
我辣么萌

毕竟我家天依{:9_235:}

小人 发表于 2017-3-29 12:38:43

gopythoner 发表于 2017-3-28 18:01
毕竟我家天依

这输入法皮肤用了好多年了，现在还在用 {:9_235:}
页: [1] 2
查看完整版本: Python爬虫 双线程下载