[作品展示]第一次写的壁纸爬虫——（来自一个python小白，有一就有二233）

luoxian

    跟着小甲鱼老师学了这段时间的基础，昨天尝试做了一个壁纸的爬虫.
来自小白的第一次,代码放下，请大佬们批评指正，给出优化意见就更好了！！！

1. import requests
   
2. import re
   
3. import os
   
4. 
   
5. def get_html(url):
   
6.     r = requests.get(url)
   
7.     #返回壁纸首页信息,用来提取壁纸列表
   
8.     return r.text                                                                                      
   
9. 
   
10. def get_img_urls(img_num):
    
11.     img_url = f'http://www.win4000.com/wallpaper_detail_{img_num}_1.html'
    
12.     r = requests.get(img_url)
    
13.     #提取系列壁纸的总页数
    
14.     em = int(re.findall(r'<em>(.*?)</em>', r.text)[0]) + 1
    
15.     img_urls = [f'http://www.win4000.com/wallpaper_detail_{img_num}_{i}.html' for i in range(1,em)]
    
16.     #返回系列壁纸的网页列表【】
    
17.     return img_urls                                                                                    
    
18. 
    
19. def get_src(img_url):
    
20.     r = requests.get(img_url)
    
21.     src = re.findall('<img class="pic-large" src="(.*?)" alt=".*?" title=".*?"/>',r.text)[0]
    
22.     down_dir = re.findall('<img class="pic-large" src=".*?" alt="(.*?)" title=".*?"/>',r.text)[0]
    
23.     #返回壁纸下载源src,和系列名
    
24.     return src,down_dir                                                                 
    
25. 
    
26. def save_img(url,down_dir):
    
27.     #创建保存路径
    
28.     if not os.path.exists(down_dir):
    
29.         os.mkdir(down_dir)
    
30.     r = requests.get(url)
    
31.     path = down_dir + '/' + url.split('/')[-1]
    
32.     try:
    
33.         with open(path,'wb') as f:
    
34.             f.write(r.content)
    
35.             print(path,'\t\t壁纸保存成功√')
    
36.     except Exception as e:
    
37.         print(e)
    
38. 
    
39. def main():
    
40.     input('---按任意键开始爬取壁纸---(默认为当前路径)\n')
    
41.     #美女壁纸的5页urls                                                                                                      
    
42.     urls = [f'http://www.win4000.com/wallpaper_2285_0_0_{i}.html' for i in range(1,6)]        
    
43.     for url in urls:                           
    
44.         src_list = []                    
    
45.         html = get_html(url)
    
46.         #获取当前页面的所有链接数字（之后做系列url拼接）
    
47.         lst = re.findall('<a href=".*?(\d*?).html" alt=".*?" title=".*?" target="_blank">',html)            
    
48.         print('正在加载资源...')
    
49.         for img_num in lst:
    
50.             img_urls = get_img_urls(img_num)                                                               
    
51.             if img_urls:
    
52.                 for img_url in img_urls:                                                                  
    
53.                     (src,down_dir) = get_src(img_url)
    
54.                     save_img(src,down_dir)                                                                 
    
55. 
    
56. if __name__ == '__main__':
    
57.     main()
    
58.     print('程序执行完成！')
    

复制代码

minipiao

isbella