多线程爬虫问题

kelby · 发表于 2019-7-20 13:18:48

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 kelby 于 2020-11-8 10:47 编辑

……

kelby · 发表于 2019-7-20 16:00:25

MadJoker · 发表于 2019-7-28 03:00:03

kelby 发表于 2019-7-20 16:00

和楼主同样的问题，想问下楼主解决了没有

kio · 发表于 2019-7-29 10:57:58

学习学习

kio · 发表于 2019-7-29 11:58:54

join就进入阻塞了啊.然后你开一个线程,阻塞一个.....这操作和单线程有什么区别.单线程还省了开线程的开销

害怕型全嘲豪 · 发表于 2019-7-29 17:09:08

join()是等待线程结束再执行后续代码 .
主程序结束 , 后台继续执行爬虫是因为你没有设置守护线程 , 导致线程变成了孤儿线程 .
t.setDaemon(True)
https://blog.csdn.net/hellokandy/article/details/94598486

6671654 · 发表于 2019-7-29 17:43:31

多线程貌似是这样的，可以创建类，把终止进程给写进去。

6671654 · 发表于 2019-7-29 17:44:56

看了一下你的。。你这个多线程，和单线程一样。。
join()表示进程结束再开始下一步。
你直接全部start()

Stubborn · 发表于 2019-7-29 22:28:19

https://fishc.com.cn/thread-130187-1-1.html 可以参考我这边帖子，基于生产消费者模型的线程爬虫

b0410470963 · 发表于 2019-7-29 22:53:47

11111111

qtldbk · 发表于 2019-8-4 08:06:06

看看

极行空间 · 发表于 2020-7-9 20:27:38

账号		自动登录	找回密码
密码			立即注册