正则爬取糗事百科所有图片数据.当前共13页

johnnyb

1. import requests
   
2. import re
   
3. import os
   
4. 
   
5. if not os.path.exists('./糗事百科pic'):  # 判断文件夹是否存在. 不存在就创建
   
6.     os.mkdir('./糗事百科pic')
   
7. headers = {
   
8.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
   
9. }
   
10. 
    
11. url = 'https://www.qiushibaike.com/imgrank/page/%d/'
    
12. for page in range(1, 14):
    
13.     page_url = format(url % page)  # page变量和url的组合
    
14.     html_text = requests.get(page_url, headers=headers, timeout=30)
    
15.     '''
    
16.     要提取的关键部分,对照正则表达式. 方便理解
    
17.     <div class="thumb">
    
18.     <a href="/article/123349419" target="_blank">
    
19.     <img src="//pic.qiushibaike.com/system/pictures/12334/123349419/medium/BOL40YKC24QRKRBI.jpg" alt="糗事#123349419" class="illustration" width="100%" height="auto">
    
20.     </a>
    
21.     </div>
    
22.     '''
    
23.     ex = '<div class="thumb">.*?<img src="(.*?)" alt='
    
24.     img_url = re.findall(ex, html_text.text, re.S)  # 正则.re.S允许多行
    
25.     for src_url in img_url:  # 遍历url列表
    
26.         src_url = 'https:'+src_url  # 拼接url 补全http:
    
27.         img_data = requests.get(src_url, headers=headers).content  # 获取图片二进制数据
    
28.         file_name = src_url.split('/')[-1]  # 分割出文件名.
    
29.         with open('./糗事百科pic/'+file_name, 'wb') as f:
    
30.             f.write(img_data)
    
31.             print(file_name, '下载完成!')
    
32.     print('第%d页完成.' % page)
    
33. print('All Over!!')

复制代码