论坛 › Python交流 › Python爬取斗破苍穹漫画

人造人 发表于 2018-10-7 02:01:21

Python爬取斗破苍穹漫画

本帖最后由 人造人 于 2019-8-3 21:03 编辑

2019年8月3日20:59:32修改
因为漫画台网站更新，这个代码已经不能用了


朋友要我下载这个漫画，从那时开始写这个代码，到现在才完成，什么时候开始的我好像已经忘记了^_^
贴出来分享一下，希望能得到好的建议和意见

爬取705话，花了两个多小时
代码可能还可以改进一下，提高速度，不过我没有思路了
代码几乎没有注释，这个代码是通过动态调试出来的，感觉就算是写了注释也没有意义^_^
如果哪里看不懂就问我





源码隐藏一下吧^_^
**** Hidden Message *****

bobo在我脚下 发表于 2018-10-7 08:05:17

谢谢大大的分享

无敌太刀 发表于 2018-10-7 08:08:56

666

fans119 发表于 2018-10-7 09:36:48

观摩一下{:5_109:}

MTLEC 发表于 2018-10-7 10:25:32

感兴趣

luohanguo 发表于 2018-10-8 15:19:09

观摩一下

小山90 发表于 2018-10-8 15:47:44

感谢楼主分享

Huhc 发表于 2018-10-8 16:03:14

大佬

1737275741 发表于 2018-10-9 08:32:34

jiaypu

oneplusone 发表于 2018-10-9 08:35:02

学习

龙VV 发表于 2018-10-9 09:26:03

顶

fypshencheng 发表于 2018-10-9 09:28:08

试一下

zzq1987 发表于 2018-10-9 11:34:41

大神我想学习下，谢谢

晓飞898 发表于 2018-10-9 12:26:07

谢谢大大的分享

tremble 发表于 2018-10-9 13:00:12

漫画可以共享一下么

人造人 发表于 2018-10-9 13:19:39

tremble 发表于 2018-10-9 13:00
漫画可以共享一下么

自己把这个代码运行两个小时就有了
^_^

钱闻韬 发表于 2018-10-9 13:19:44

6666

tremble 发表于 2018-10-9 13:22:55

人造人 发表于 2018-10-9 13:19
自己把这个代码运行两个小时就有了
^_^

简单看了一下代码，有点不规范，但是还是可以拿来直接跑的，用了很多东西，但是结构有点混乱。
爬虫太慢了，可以加上线程池啥的，把下载的部分全都都丢到线程池里能加快很多。
还发现了，只要传入的url是这个网站的任意一部漫画的链接，只要不是VIP试读限制的，都可以跑。
整理一下还是很不错的。
可以亵玩焉

人造人 发表于 2018-10-9 13:25:45

tremble 发表于 2018-10-9 13:22
简单看了一下代码，有点不规范，但是还是可以拿来直接跑的，用了很多东西，但是结构有点混乱。
爬虫太慢 ...

线程池
感谢提出的建议，我有时间了研究研究
^_^

果壳呀 发表于 2018-10-9 13:57:02

谢谢分享

查看完整版本: Python爬取斗破苍穹漫画