Python爬取斗破苍穹漫画，方法与原作者不同。

考拉熊

今天早上看见帖子https://fishc.com.cn/thread-123457-1-1.html，用Python爬取斗破苍穹漫画。刚好我自己也练练手，
1 观看代码得知漫画网站，
2 分析网页发现，图片的URL很有规则
3 https://mhpic.jumanhua.com/comic/D%2F%E6%96%97%E7%A0%B4%E8%8B%8D%E7%A9%B9%E6%8B%86%E5%88%86%E7%89%88%2F689%E8%AF%9DV%2F1.jpg-mht.middle
【上面链接后面的2F689代表698话】【上面链接后面的2F1代表每一话的第几章图片】
4 接下来就简单了，用for循环可以获取到图片并保存，



但是有个问题，我们不知道每一话的标题
比如  第689话 战幻身（中）

好在所有的章节信息都在http://www.manhuatai.com/doupocangqiong/这个链接里面，用正则把他们都提取出来。

先看下图片






源代码在下面


我已经全部下载保存百度云盘了，需要的下载：
https://pan.baidu.com/s/1hTMQHSqYObcn5HgvtNYVnA

提取码回复

游客，如果您要查看本帖隐藏内容请回复

游客，如果您要查看本帖隐藏内容请回复

考拉熊

没人看吗

暗夜之隐

考拉熊 发表于 2018-10-26 16:24
没人看吗

我也是这样想的 但是遇到问题。链接的规则并不是这样

考拉熊

暗夜之隐 发表于 2018-10-26 16:27
我也是这样想的 但是遇到问题。链接的规则并不是这样

什么规则？，，不知道你遇到的什么问题，可以贴图上来，

考拉熊

暗夜之隐 发表于 2018-10-26 16:27
我也是这样想的 但是遇到问题。链接的规则并不是这样

我现在估计有10分钟就爬完了

暗夜之隐

考拉熊 发表于 2018-10-26 16:24
没人看吗

我遇到的第一个不能访问链接是这个 https://mhpic.jumanhua.com/comic ... jpg-mht.middle.webp

注意V%2F1.jpg   这个字母V 是没有的提取不到 这个是696话 你也可以看一下

暗夜之隐

考拉熊 发表于 2018-10-26 16:30
我现在估计有10分钟就爬完了

你是从第一章开始的。 我是从最新的访问的 难道696章节是特别情况

考拉熊

暗夜之隐 发表于 2018-10-26 16:32
你是从第一章开始的。 我是从最新的访问的 难道696章节是特别情况

我是从最后一张开始的，，，696确实出现问题了，

暗夜之隐

考拉熊 发表于 2018-10-26 16:37
我是从最后一张开始的，，，696确实出现问题了，

我也觉得很奇怪，不过原作者是从JS找到的URL加密方法

考拉熊

暗夜之隐 发表于 2018-10-26 16:40
我也觉得很奇怪，不过原作者是从JS找到的URL加密方法

那个我有js的加密算法等一些，我看了一下，有点不太懂

考拉熊

顶一下

暗夜之隐

考拉熊 发表于 2018-10-26 18:25
顶一下

我下载完啦。用了最笨的方法。 对其它链接没有通用性 也就是只能下载这本漫画 如果要下载其它的需要改

1. import urllib.request
   
2. from bs4 import BeautifulSoup as bs
   
3. import re
   
4. import os
   
5. from urllib import parse
   
6. 
   
7. from urllib.request import quote
   
8. 
   
9. import io
   
10. 
    
11. from PIL import Image
    
12. 
    
13. 
    
14. def urlopen(url):
    
15. 
    
16.    
    
17.     req = urllib.request.Request(url)
    
18. 
    
19.     req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")
    
20. 
    
21.     html = urllib.request.urlopen(req)
    
22. 
    
23.     html = html.read()
    
24. 
    
25.     return html
    
26. 
    
27.     #urlopen 打开链接 并加了heaaders
    
28. 
    
29. 
    
30. def url_list(url):
    
31. 
    
32.     html = urlopen(url)
    
33. 
    
34.     htm = html.decode('utf-8')
    
35. 
    
36.     htm = bs(htm,'lxml')
    
37. 
    
38.     cont = htm.div(class_="mhlistbody")
    
39. 
    
40.     cont = cont[0]
    
41. 
    
42.     cont = cont.find_all('a')
    
43. 
    
44.     urllist = []
    
45. 
    
46.     for i in cont:
    
47.         
    
48.         i = i.attrs
    
49.         i = i['href']
    
50.         i = 'http://www.manhuatai.com'+i
    
51.         
    
52.         urllist.append(i)
    
53. 
    
54. 
    
55. 
    
56.     return urllist
    
57. 
    
58. 
    
59. def content(url):
    
60.    
    
61.     os.mkdir('苍穹')
    
62.     os.chdir('苍穹')
    
63. 
    
64.     urllist = url_list(url)
    
65. 
    
66.    
    
67.     print('一共有：'+str(len(urllist))+'个链接')
    
68. 
    
69.     for i in urllist:
    
70. 
    
71.         
    
72.         html = urlopen(i)
    
73.         html = html.decode('utf-8')
    
74. 
    
75.         #这里是找到章节数
    
76.         nmu = re.findall(r'(pagename:"第)(\d*)(话)',html)
    
77. 
    
78.         if len(nmu) == 0:
    
79.             
    
80.             continue
    
81. 
    
82.         #这个是章节名字
    
83.         htm = bs(html,'lxml')
    
84.         h1 = htm.h1.string
    
85.         os.mkdir(h1)
    
86.         os.chdir(h1)
    
87.         
    
88.         #这个是获取图片链接的大写字母它是小说名字第一个字的拼音字母的大家
    
89.         capital = re.search(r'mhid:".',html)
    
90.         capital = capital.group()
    
91.         capital = capital[-1]
    
92.         capital = capital.capitalize()
    
93.      
    
94.         #这里是链接中间的文字
    
95.         name = re.search(r'(mhname:")(.*?)(")',html)
    
96.         name = name.group(2)
    
97.         name = name+'拆分版'
    
98.       
    
99.         nmu = nmu[0]
    
100.         nmu = nmu[1]
     
101.         nmu = nmu+'话'
     
102.         
     
103.         #这里是找到这个章节一共有几张图片
     
104.         page = re.search(r'(totalimg:)(\d*)(,)',html)
     
105.         page = int(page.group(2))
     
106.         cont_list = []
     
107. 
     
108.         list3 = [583]
     
109. 
     
110.         list2 = [625,676, 677, 678, 679, 680, 681, 682, 683, 684, 685, 686, 687, 688, 689, 690, 691, 692, 693, 694, 695, 696]
     
111.         ce = nmu[:-1]
     
112.         ce = int(ce)
     
113. 
     
114.         jie = ce in list2
     
115. 
     
116.         jie1 = ce in list3
     
117. 
     
118.         if jie == True:
     
119.                
     
120.             nmu = str(ce)+'话v'
     
121. 
     
122.         if jie1 == True:
     
123.             
     
124.             nmu = str(ce)+'话v1'
     
125. 
     
126. 
     
127. 
     
128.         for i in range(1,page+1):
     
129. 
     
130. 
     
131.             url = capital+'/'+name+'/'+nmu+'/'+str(i)+'.jpg-mht.middle.webp'
     
132. 
     
133.             url = 'https://mhpic.jumanhua.com/comic/'+parse.quote(url)
     
134. 
     
135. 
     
136.             
     
137.             cont_list.append(url)
     
138. 
     
139.         for i in cont_list:
     
140. 
     
141.             fi_name = h1+str(cont_list.index(i)+1)+'.jpg'
     
142.             print(fi_name)
     
143.             cont = urlopen(i)
     
144.             img = Image.open(io.BytesIO(cont))
     
145.             img.save(fi_name,'JPEG')
     
146. 
     
147.         os.chdir(os.pardir)
     
148.                
     
149. 
     
150. 
     
151. 
     
152. url = "http://www.manhuatai.com/doupocangqiong/"
     
153. 
     
154. list1 = content(url)
     

复制代码

考拉熊

暗夜之隐 发表于 2018-10-26 20:35
我下载完啦。用了最笨的方法。 对其它链接没有通用性 也就是只能下载这本漫画 如果要下载其它的需要改

...

厉害，佩服，，说实在的，，我单个文件代码还没有写超过一百行呢，，惭愧
我有时间补一下这个代码，，网站在url中随机加了参数，就是不想让我们容易爬取吧

暗夜之隐

考拉熊 发表于 2018-10-28 22:14
厉害，佩服，，说实在的，，我单个文件代码还没有写超过一百行呢，，惭愧
我有时间补 ...

嗯 反爬虫  我这个方法太笨了   还是原创那位 直接从js里面找到破解方法。

小鱼儿yxl

回复

YUANxin

吱吱

考拉熊

过来顶一下

考拉熊

过来顶一下

考拉熊

过来顶一下

考拉熊

过来顶一下