爬取煎蛋网图片

神不过

学习了小乌龟爬煎蛋网的教程，网站现在的网页名编排方式改了，不能直接用小乌龟的程序，作了点修改。新手代码打得不是很简洁明了，放上来交流学习吧。

1. import urllib.request
   
2. import os
   
3. import random
   
4. 
   
5. 
   
6. def url_open(url):
   
7.     req=urllib.request.Request(url)
   
8.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3722.400 QQBrowser/10.5.3751.400')
   
9.     response = urllib.request.urlopen(url)
   
10.     html = response.read()
    
11.     return html
    
12. 
    
13.    
    
14. def get_page(url):
    
15.     url_temp=url+'MjAyMDAzMDMt'+add_name[0]+'#comments'
    
16.     print(url_temp)
    
17.     html=url_open(url_temp).decode('utf-8')
    
18.    
    
19.     a=html.find('jandan.net/ooxx/MjAyMDAzMDMt') + 28
    
20.     b=html.find('#',a)
    
21. 
    
22.     a=html.find('jandan.net/ooxx/MjAyMDAzMDMt',b) + 28
    
23.     b=html.find('#',a)
    
24.    
    
25.     a=html.find('jandan.net/ooxx/MjAyMDAzMDMt',b) + 28
    
26.     b=html.find('#',a)
    
27. 
    
28.     a=html.find('jandan.net/ooxx/MjAyMDAzMDMt',b) + 28
    
29.     b=html.find('#',a)
    
30.    
    
31.     add_name.append(html[a:b])
    
32.                     
    
33.     for i in range(pages-2):
    
34.         url_temp=url+'MjAyMDAzMDMt'+add_name[i+1]+'#comments'
    
35.         print(url_temp)
    
36.         html=url_open(url_temp).decode('utf-8')
    
37. 
    
38.         a=html.find('jandan.net/ooxx/MjAyMDAzMDMt') + 28
    
39.         b=html.find('#',a)
    
40.         
    
41.         a=html.find('jandan.net/ooxx/MjAyMDAzMDMt',b) + 28
    
42.         b=html.find('#',a)
    
43. 
    
44.         a=html.find('jandan.net/ooxx/MjAyMDAzMDMt',b) + 28
    
45.         b=html.find('#',a)
    
46. 
    
47.         a=html.find('jandan.net/ooxx/MjAyMDAzMDMt',b) + 28
    
48.         b=html.find('#',a)
    
49. 
    
50.         a=html.find('jandan.net/ooxx/MjAyMDAzMDMt',b) + 28
    
51.         b=html.find('#',a)
    
52.         add_name.append(html[a:b])
    
53.    
    
54.     return url_temp
    
55. 
    
56. def imgs_find(url):
    
57.     for each in iter(add_name):
    
58.         page_url=url+'MjAyMDAzMDMt'+each+'#comment'
    
59.         html2=url_open(page_url).decode('utf-8')
    
60.         a = html2.find('img src=')
    
61.         while a != -1:
    
62.             b = html2.find('.jpg',a,a+255)
    
63.             if b != -1:
    
64.                 img_addrs.append(html2[a+9:b+4])
    
65.             else:
    
66.                 b = a+9
    
67.             a = html2.find('img src=',b)
    
68. 
    
69. def save_imgs(folder,img_addrs):
    
70.     for each in img_addrs:
    
71.         filename = each.split('/')[-1]
    
72.         with open(filename,'wb') as f:
    
73.             address = 'http:'+each
    
74.             img = url_open(address)
    
75.             f.write(img)
    
76.    
    
77. 
    
78. 
    
79. folder=input('请输入保存文件名：')
    
80. pages=int(input('请输入下载页数（大于等于3页）：'))
    
81. 
    
82. try:
    
83.     os.mkdir(folder)
    
84. except OSError as reason:
    
85.         print(OSError)
    
86. finally:
    
87.     os.chdir(folder)
    
88. 
    
89. add_name = []
    
90. img_addrs = []
    
91. 
    
92. url = 'http://jandan.net/ooxx/'
    
93. html=url_open(url).decode('utf-8')
    
94. a=html.find('jandan.net/ooxx/MjAyMDAzMDMt') + 28
    
95. b=html.find('#',a)
    
96. add_name.append(html[a:b])
    
97. get_page(url)
    
98. print(add_name)
    
99. 
    
100. imgs_find(url)
     
101. save_imgs('ooxx',img_addrs)

复制代码

xiao456

你这个28怎么的出来的