用css选择器进行爬虫实践

车小炮

1. 
   
2. # @Time    : 2020/5/20 22:16
   
3. # @Author  : 车小炮
   
4. 
   
5. #导入库
   
6. import requests
   
7. import parsel
   
8. 
   
9. #伪装浏览器
   
10. headers = {
    
11.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36",
    
12. 
    
13. }
    
14. 
    
15. #这个网址里面有7张图片，把7张都下载下来
    
16. for page in range(1,8):
    
17.     url = 'http://www.win4000.com/wallpaper_detail_168691_{}.html'.format(page)
    
18. 
    
19.     response = requests.get(url, headers=headers)
    
20. 
    
21.     html = response.text
    
22.     selector = parsel.Selector(html)
    
23. 
    
24.     img_url = selector.css('.pic-large::attr(src)').getall()
    
25.     for i in img_url:
    
26.         print(i)
    
27. 
    
28.     name = i.split('/')[-1]
    
29.     # print(name)
    
30. 
    
31.     img = requests.get(i, headers=headers)
    
32. 
    
33.     #保存文件
    
34.     with open('cheche\\' + name, mode='wb') as f:
    
35.         print('正在下载图片：', name)
    
36.         f.write(img.content)
    

复制代码

自学爬虫两三个月左右了，从开始的print('hello world')，到自己会模糊地敲一些代码，感觉很开心

新手操作，刚学了css选择器，实践一下，欢迎大家讨论，一起学习

有大神觉得有哪里可以改进一下的也可以留言告诉我哈

再过段时间慢慢摸索可以下载一页或者几页