爬虫多线程怎么用

麻麦皮 · 发表于 2020-5-8 00:44:41

您需要登录才可以下载或查看，没有账号？立即注册

x

用了多线程比不用还慢了

颜栩栩 · 发表于 2020-5-8 08:50:03

我也不懂线程的问题，但是我好奇..你既然只爬取一个网页，为什么要使用多线程呀

Pythonnewers · 发表于 2020-5-8 09:28:44

这边建议先使用time查看到底差了多少秒

麻麦皮 · 发表于 2020-5-8 16:30:29

颜栩栩发表于 2020-5-8 08:50
我也不懂线程的问题，但是我好奇..你既然只爬取一个网页，为什么要使用多线程呀

写论文凑字数用，做得太少难过

赚小钱 · 发表于 2020-5-8 20:22:44

1. 合理设置线程池的大小
2. 确认在你使用的计算机上的瓶颈时 cpu 还是 io

Stubborn · 发表于 2020-5-8 22:23:31

为何不用Scrapy呢

账号		自动登录	找回密码
密码			立即注册