小甲鱼方法爬取妹子图网页妹子

YoloM

1. import urllib.request
   
2. import os
   
3. import time
   
4. import random
   
5. 
   
6. def url_open(url):  #打开一个网页
   
7.             req = urllib.request.Request(url)
   
8.             req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36')
   
9.            # req.add_header('Referer', url)#设置请求头，如果爬下来的都是防盗图请参考网站最新请求头更改
   
10. 
    
11.             '''iplist =['23.244.28.27:3128', '65.49.222.187:8080', '167.99.236.14:80']
    
12.             proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})
    
13.             opener = urllib.request.build_opener(proxy_support)
    
14.             urllib.request.install_opener(opener)'''#代理
    
15.             
    
16.             response = urllib.request.urlopen(req)
    
17.             html = response.read()
    
18. 
    
19.             return html
    
20. 
    
21. def get_page(url):  #得到图片页数
    
22.         html = url_open(url).decode('utf-8')
    
23. 
    
24.         a = html.find('page-numbers current') + 22
    
25.         b = html.find('<', a)
    
26.         print('已获取到当前所在页面!')
    
27.         return html[a:b]
    
28. 
    
29. #捕捉图片地址
    
30. def find_imgs(url):
    
31.     html = url_open(url).decode('utf-8')
    
32.     img_addrs = []
    
33. 
    
34.     a = html.find("data-original=")
    
35. 
    
36.     while a != -1:
    
37.         b = html.find('.jpg', a, a+255)
    
38.         if b != -1:
    
39.             img_addrs.append(html[a+15: b+4])#.jpg是四个字符
    
40.         else:
    
41.             b = a + 15 #b找不到,b的地址改变
    
42. 
    
43.         a = html.find("data-original=", b) #下一次的起始位置是上一次的结束位置
    
44.     print('成功获取%d张图片地址！' % len(img_addrs))
    
45.     return img_addrs  
    
46. 
    
47. def save_imgs(folder,img_addrs):    #保存图片
    
48.         for each in img_addrs:
    
49.                 filename = each.split('/')[-1]
    
50.                 with open(filename,'wb') as f:
    
51.                         img = url_open(each)
    
52.                         f.write(img)
    
53.                    #     time.sleep(5)
    
54.                         
    
55. def download_mm(folder='OOXX',pages=2):     #主函数，生成文件夹，将图片保存在文件夹里
    
56.         os.mkdir(folder)
    
57.         os.chdir(folder)
    
58. 
    
59.         url = "https://www.mzitu.com/"
    
60.         page_num = int(get_page(url))
    
61. 
    
62.         for i in range(pages):
    
63.                 page_num +=i
    
64.                 page_url = url + 'page/' + str(page_num)+'/'
    
65.                 img_addrs = find_imgs(page_url)
    
66.                 save_imgs(folder,img_addrs)
    
67.                
    
68. if __name__ =='__main__':
    
69.          
    
70.           download_mm()
    
71.         
    
72. 
    

复制代码

麒麟永生

啊这也太棒了

YoloM

6666666

wapding

666666666

leizhenzi23

从哪儿去找图片存放的地址啊

小伤口

这个nice

红键

我就是好奇然后....在办公室打开了

njsljx77

leizhenzi23 发表于 2020-12-14 15:47
从哪儿去找图片存放的地址啊

ooss