请问各位大神怎样解决python多进程爬取网页时重复爬取的问题

liuzhidai307 · 发表于 2017-6-20 18:23:33

您需要登录才可以下载或查看，没有账号？立即注册

x

最近尝试用requests和multiprocessing库pool方法爬取网站数据，但发现各进程会重复爬取其它进程爬取过的数据，请问这个怎么解决呀！
万分感谢！

yongxi · 发表于 2017-6-20 20:43:54

自行百度线程同步与异步

SixPy · 发表于 2017-6-21 09:38:02

把爬过的url存到一个set里，新url检查一下在不在set里

小逸 · 发表于 2017-6-21 09:47:30

可以试试 Scrapy+Bloom Filter+redis

账号		自动登录	找回密码
密码			立即注册