多进程爬取金庸小说全集

海风zZ · 发表于 2018-12-18 14:40:17

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由海风zZ 于 2018-12-24 12:14 编辑

多进程爬取金庸小说全集！！！！

游客，如果您要查看本帖隐藏内容请回复

Y0uWill_1Will · 发表于 2018-12-21 16:15:34

多线程学得不是很好为什么我创建了10个线程每次都只有4个线程在跑有点懵

wongyusing · 发表于 2018-12-21 23:11:13

你的代码没有隐藏到。

这个网站我之前爬过。
其实你在29到40行哪里不需要进行判断的。
直接抓版本和书名进行字符拼接成路径就好了。
这样写有点怪怪的。

海风zZ · 发表于 2018-12-22 11:01:12

wongyusing 发表于 2018-12-21 23:11
你的代码没有隐藏到。

这个网站我之前爬过。

谢谢大佬指点，昨天发了一个关于selenium的求助帖，发了三次都没被审核，我也是醉了，发了好多次帖子了都不通过，哎

wongyusing · 发表于 2018-12-22 11:22:11

海风zZ 发表于 2018-12-22 11:01
谢谢大佬指点，昨天发了一个关于selenium的求助帖，发了三次都没被审核，我也是醉了，发了好多次帖子了 ...

那你把代码隐藏一下吧。
很多人直接可以看到。
就没人回复你了，帖子就沉了

海风zZ · 发表于 2018-12-22 11:47:24

wongyusing 发表于 2018-12-22 11:22
那你把代码隐藏一下吧。
很多人直接可以看到。
就没人回复你了，帖子就沉了

我记得我设置了隐藏的，第一次弄可能没弄过好

wongyusing · 发表于 2018-12-22 12:24:57

海风zZ 发表于 2018-12-22 11:47
我记得我设置了隐藏的，第一次弄可能没弄过好

你点一下编辑的哪里可以修改的

海风zZ · 发表于 2018-12-22 12:53:13

wongyusing 发表于 2018-12-22 12:24
你点一下编辑的哪里可以修改的

好像可以了谢谢

海风zZ · 发表于 2018-12-22 13:06:55

Y0uWill_1Will 发表于 2018-12-21 16:15
多线程学得不是很好为什么我创建了10个线程每次都只有4个线程在跑有点懵

应该是你电脑只有4个cpu所以每个时刻都是4个线程在运行，其他的在等待就绪状态。

softfelix · 发表于 2018-12-23 22:32:22

上来学习学习

Y0uWill_1Will · 发表于 2018-12-24 09:54:41

很好用直接用了

康小泡 · 发表于 2018-12-24 10:07:31

海风zZ 发表于 2018-12-22 11:01
谢谢大佬指点，昨天发了一个关于selenium的求助帖，发了三次都没被审核，我也是醉了，发了好多次帖子了 ...

应该是触发了关键字。你发布后会有人审核的，只是需要一点时间

海风zZ · 发表于 2018-12-24 10:47:50

康小泡发表于 2018-12-24 10:07
应该是触发了关键字。你发布后会有人审核的，只是需要一点时间

好的谢谢了

TCY · 发表于 2018-12-24 11:58:21

多线程？？？

海风zZ · 发表于 2018-12-24 12:16:37

TCY 发表于 2018-12-24 11:58
多线程？？？

这个是多进程的，本来发了三个，一个多线程、一个多进程、一个scrapy三个都是爬取金庸小说全集的，不知道怎么就这一个审核通过了，其它两个都没通过审核，名字已改谢谢提醒。

ydf0522 · 发表于 2018-12-24 15:55:52

yinyinwudia · 发表于 2018-12-24 20:46:19

这个要看看哦，挺有趣

庚午 · 发表于 2018-12-24 21:16:44

学习一下

wty7892011 · 发表于 2018-12-24 21:46:01

白蓝 · 发表于 2018-12-25 00:16:56

账号		自动登录	找回密码
密码			立即注册

[作品展示] 多进程爬取金庸小说全集