爬取电脑美女壁纸图片

文静

1. import urllib.request
   
2. import os
   
3. import re
   
4. 
   
5. 
   
6. def url_open(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:88.0) Gecko/20100101 Firefox/88.0')
   
9.    
   
10.     # proxies = [103.138.164.106:80]
    
11.    
    
12.    
    
13.     response = urllib.request.urlopen(url)
    
14.     html = response.read()
    
15. 
    
16.     print('url',url)
    
17.     return html
    
18. 
    
19. def get_page(url):
    
20.     html = url_open(url).decode('GBK')
    
21.     p = r'<a href="/bz/nxxz/shxz/(\d+)\.html" target="_blank">'
    
22.     # 待会用正则
    
23.     a = re.findall(p,html)
    
24.     # b = a.find('shxz/')
    
25.     # c = a.find('.html')
    
26. 
    
27.    
    
28.     # a = html.find('<li><a href=')
    
29.     # b = html.find('target="_blank">',a)
    
30.     print('正则提取的尾号',a)
    
31.     # return html[a:b]
    
32.     return a
    
33. 
    
34. def find_imgs(url):
    
35.     html = url_open(url).decode('GBK')
    
36.     img_addrs = []
    
37.     p = r'img id="bigImg" src="(.+\.jpg)"'
    
38.     a = re.findall(p,html)
    
39.     for i in a:
    
40.         img_addrs.append(i)
    
41.     # a = html.find('"bigImg" src')
    
42.     # while a != -1:
    
43.     #     b = html.find('jpg',a,100)
    
44.     #     if b !=-1:
    
45.     #         img_addrs.append(html[a+14:b+3])
    
46.     #     else :
    
47.     #         b = a + 14
    
48.     #     a = html.find('"bigImg" src',b)
    
49. 
    
50.     for each in img_addrs:
    
51.         print('具体网址',each)
    
52.     return img_addrs
    
53. 
    
54. 
    
55. def save_imgs(folder,img_addrs):
    
56.     for each in img_addrs:
    
57.         filename = each.split('/')[-1]
    
58.         with open(filename,'wb') as f:
    
59.             img = url_open(each)
    
60.             f.write(img)
    
61. 
    
62. 
    
63. def My_ll(url,i):
    
64.     html = url_open(url).decode('GBK')
    
65.     q = r'<a href="/bz/nxxz/shxz/%d.html">[\u4e00-\u9fa5]+</a>\((\d+)[\u4e00-\u9fa5]\)'%(int(i))
    
66.     fie = re.findall(q,html)
    
67.     for ss in fie:
    
68.         fie = int(ss)
    
69.     print('这组有几张',fie)
    
70. 
    
71.     return fie
    
72. 
    
73. 
    
74. 
    
75. def download_mm(folder='XXOO',pages=10):
    
76.     os.mkdir(folder)
    
77.     os.chdir(folder)
    
78. 
    
79.     url = 'http://www.jj20.com/bz/nxxz/shxz/'
    
80.     x = get_page(url)
    
81. 
    
82.     for i in x:
    
83.         print('插入URL的尾号',i)
    
84.         page_num = i    # 大尾号
    
85.         dudu = My_ll(url,i)
    
86. 
    
87.         if dudu != []:
    
88.             
    
89.             for ll in range(1,dudu+1):
    
90.                 if ll == 1:
    
91.                     page_url = url + page_num + '.html'
    
92.                     print('page_url0',page_url)
    
93.                 else :
    
94.                     page_url = url + page_num + '_' + str(ll) + '.html'
    
95.                     print('page_url1-',page_url)
    
96.                 img_addrs = find_imgs(page_url)
    
97.                 save_imgs(folder,img_addrs)
    
98.         else:
    
99.             print('所有下载已完成！')            
    
100. 
     
101.         
     
102. 
     
103. if __name__ == '__main__' :
     
104.     download_mm()
     

复制代码

18408238295

学习