论坛 › Python交流 › 爬虫多线程怎么用

麻麦皮 发表于 2020-5-8 00:44:41

爬虫多线程怎么用

用了多线程比不用还慢了{:10_243:}

颜栩栩 发表于 2020-5-8 08:50:03

我也不懂线程的问题，但是我好奇..你既然只爬取一个网页，为什么要使用多线程呀

Pythonnewers 发表于 2020-5-8 09:28:44

这边建议先使用time查看到底差了多少秒

麻麦皮 发表于 2020-5-8 16:30:29

颜栩栩 发表于 2020-5-8 08:50
我也不懂线程的问题，但是我好奇..你既然只爬取一个网页，为什么要使用多线程呀

写论文凑字数用，做得太少难过{:10_256:}

赚小钱 发表于 2020-5-8 20:22:44

1. 合理设置线程池的大小
2. 确认在你使用的计算机上的瓶颈时 cpu 还是 io

Stubborn 发表于 2020-5-8 22:23:31

为何不用Scrapy呢{:10_247:}

查看完整版本: 爬虫多线程怎么用