[已解决]爬虫速度变慢怎么解决

wu8113 · 发表于 2016-12-25 19:35:44

您需要登录才可以下载或查看，没有账号？立即注册

x

爬虫爬了200多个网页就变慢了,为什么会这样?

最佳答案

jerryxjr1220

2016-12-25 20:09:06

你是不是把爬下的网页全部存在内存里？
如果是爬大量网页的话，一般一边爬一般写进数据库或者文件里。
内存占用过多，肯定速度就慢了，要么就是缓存里的内容没有被释放。

jerryxjr1220 · 发表于 2016-12-25 20:09:06

你是不是把爬下的网页全部存在内存里？
如果是爬大量网页的话，一般一边爬一般写进数据库或者文件里。
内存占用过多，肯定速度就慢了，要么就是缓存里的内容没有被释放。

wu8113 · 发表于 2016-12-25 20:26:39

jerryxjr1220 发表于 2016-12-25 20:09
你是不是把爬下的网页全部存在内存里？
如果是爬大量网页的话，一般一边爬一般写进数据库或者文件里。
内 ...

urllib.request.urlopen()这种方式的要关闭么?
其jpg和mp3的打开方式都是用with open的方式,按理说这种方式是自动关闭的啊.
其他的我想不到了

jerryxjr1220 · 发表于 2016-12-25 20:56:16

wu8113 发表于 2016-12-25 20:26
urllib.request.urlopen()这种方式的要关闭么?
其jpg和mp3的打开方式都是用with open的方式,按理说这种 ...

urlopen不用关闭的。
还有就是你把sleep的时间间隔调大一点，同时打开太多线程，也有可能阻塞的。
不过照理说，你是单线程下载应该还好。

jerryxjr1220 · 发表于 2016-12-25 20:57:36

jerryxjr1220 发表于 2016-12-25 20:09
你是不是把爬下的网页全部存在内存里？
如果是爬大量网页的话，一般一边爬一般写进数据库或者文件里。
内 ...

还要看一下对方服务器有没有反爬机制，限制你同时下载的数量。

调皮的小屌 · 发表于 2016-12-26 14:58:09

最好是你爬行的内容都放进数据库不要总是放在内存里面

账号		自动登录	找回密码
密码			立即注册