表情包一弹

风尘岁月

1. import requests
   
2. import parsel
   
3. import time
   
4. 
   
5. a = 999999999
   
6. b = a +1
   
7. for page in range(1,b):
   
8. 
   
9.     try:
   
10.         print("===================/正在爬取第{}页/===================".format(page))
    
11.         base_url = 'https://www.doutula.com/photo/list/?page={}'.format(page)
    
12.         headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}
    
13. 
    
14.         response = requests.get(url = base_url, headers = headers)
    
15. 
    
16.         html_data = response.text
    
17. 
    
18. 
    
19.         selector = parsel.Selector(html_data)
    
20. 
    
21. 
    
22.         result_list = selector.xpath('//a[@class="col-xs-6 col-sm-3"]')
    
23. 
    
24.         if page>2:
    
25.             time.sleep(3)
    
26.             print('休眠中')
    
27. 
    
28.     except:
    
29.         pass
    
30. 
    
31.     for result in result_list:
    
32.         img_url = result.xpath('./img/@data-original').extract_first()
    
33.         img_title = result.xpath('./img/@alt').extract_first()
    
34. 
    
35.         all_title = img_title  + '.' + img_url.split('.')[-1]
    
36. 
    
37.         img_data = requests.get(url = img_url,headers = headers).content
    
38. 
    
39.         
    
40.         #保存文件
    
41.         try:
    
42.             with open('image\\' + all_title, mode = 'wb') as f:
    
43.                 print('保存完成:', all_title)
    
44.                 f.write(img_data)
    
45. 
    
46.         except:
    
47.             pass

复制代码

风尘岁月

里面有个缩进问题 请各位鱼油注意