动态加载--懒加载----站长素材

Stubborn

举个栗子把，京东，当你打开界面往下滑动的时候，一些内容或者图片才会加载出来，借此提升“渲染速度”，增强用户体验。并不是你请求一瞬间一股脑字全部甩给你的。
这里以站长素材为例。

1. # -*- coding:utf-8 -*-
   
2. # @Time    : 2019-04-07 16:44
   
3. # @Author  : Ein
   
4. # @File    : 懒加载-站长素材.py
   
5. # @Software: PyCharm
   
6. from urllib import request
   
7. from lxml import etree
   
8. import os,time
   
9. import urllib
   
10. 
    
11. 
    
12. def handle_reuqest(url,page):
    
13. 
    
14.     if page == 1:
    
15.         url = url.format('')
    
16.     else:
    
17.         url = url.format('_'+str(page))
    
18. 
    
19.     headers = {
    
20.         'User - Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
    
21.     }
    
22.     response = request.Request(url=url,headers=headers)
    
23.     return response
    
24. 
    
25. 
    
26. def download_img(imgsrc):
    
27.     dirpath = "性感"
    
28.     #创建文件名字
    
29.     if not os.path.exists(dirpath):
    
30.         os.mkdir(dirpath)
    
31.     #文件名
    
32.     filename = os.path.basename(imgsrc)
    
33.     #图片路径
    
34.     filepath = os.path.join(dirpath,filename)
    
35.     #发送请求保存图片
    
36.     reque = request.Request(url=imgsrc)
    
37.     response = request.urlopen(reque)
    
38.     with open(filepath,'wb') as fp:
    
39.         fp.write(response.read())
    
40. 
    
41. 
    
42. def parse_connt(connt):
    
43.     tree = etree.HTML(connt)
    
44.     img_list = tree.xpath("//div[@id='container']/div/div/a/img/@src2")
    
45.     '''懒加载技术：用到的再加载
    
46.             实现方式：
    
47.                 <img src2 = '图片路径'>  通过js动态的添加
    
48.                 <img src = '图片路径' src2=''>
    
49.     如上的img_list是图片链接，下载保存即可
    
50.     '''
    
51.     for img_src in img_list:
    
52.         download_img(img_src)
    
53. 
    
54. 
    
55. 
    
56. 
    
57. def main():
    
58.     url = 'http://sc.chinaz.com/tupian/xingganmeinvtupian{}.html'
    
59. 
    
60.     for page in range(1,2):
    
61.         response = handle_reuqest(url,page)
    
62.         connt = request.urlopen(response).read().decode()
    
63.         parse_connt(connt)
    
64.         time.sleep(2)
    
65. 
    
66. 
    
67. 
    
68. if __name__ == '__main__':
    
69.     main()
    

复制代码