爬取糗事百科的爬虫

yjptx121

1. import re
   
2. import requests
   
3. import time
   
4. 
   
5. number = 1
   
6. HEADERS = {
   
7.     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
   
8. }
   
9. BASE_URL = 'https://www.qiushibaike.com'
   
10. full_url = []
    
11. 
    
12. 
    
13. def get_url(url='https://www.qiushibaike.com/hot/page/{}/'):         # 获取主页面
    
14.     urls = []
    
15.     print('获取主页面.....')
    
16.     for index in range(1, 9):                                        # 爬取1-9页的段子
    
17.         urls.append(url.format(index))
    
18.     print('主页面获取完成.....')
    
19.     return urls
    
20. 
    
21. 
    
22. def get_full_text(url):                                              # 传入主页面，然后获取主页面的子页面集合
    
23.     print("获取详细url.....")
    
24.     text = requests.get(url, headers=HEADERS).content.decode('utf-8')
    
25.     urls = re.findall(r'<div class= "content">. * ? <a href="(.*?)" .*?>', text, re.DOTALL)     # 获取所有符合条件的url
    
26.     for index in range(len(urls)):
    
27.         full_url.append(BASE_URL + urls[index])                                             # 组合后添加至列表中
    
28.     print('详细页面获取完成.....')
    
29.     return full_url
    
30. 
    
31. 
    
32. def parse_url(url):
    
33.     global number
    
34.     print('正在解析第{}个网页...'.format(number))
    
35.     response = requests.get(url, headers=HEADERS)
    
36.     text = response.text
    
37.     infos = re.findall(r'<div class="content">(.*?)</div>', text, re.DOTALL)        # 获取段子内容
    
38.     contents = []
    
39.     for info in infos:                                              # 遍历
    
40.         if 350 > len(info) > 50:                                    # 如果长度小于50或大于350，则判定为是图片或小说，忽略，反之则写入
    
41.             contents.append(re.sub('<. * ?>' , '', info).strip())      # 去掉空格并替换掉所有的标签
    
42.         else:
    
43.             print('此页面不符合要求！')
    
44.     print('准备写入.....')
    
45.     with open('糗事百科内容爬取.txt', 'a', encoding='utf-8') as fp:    # 写入创建好的文件
    
46.         for content in contents:
    
47.             fp.write('{}我是华丽的分割线，这是第{}条{}\n'.format("-"*50, number, "-"*50))
    
48.             fp.write('{}\n\n'.format(content))
    
49.             number += 1
    
50.     print('写入完成......')
    
51.     time.sleep(2)
    
52. 
    
53. 
    
54. if __name__ == '__main__':
    
55.     url_index = get_url()                            # 获取需要爬取的主页面列表集合
    
56.     for each_url in url_index:                       # 遍历，获取每一个主页面
    
57.         detail_urls = get_full_text(each_url)        # 获取每一个主页面下的详情页面集合
    
58.         for detail_url in detail_urls:               # 遍历，获取每一个段子对应的详情页面
    
59.             parse_url(detail_url)                    # 解析页面
    
60.     print('所有数据收集完毕！')
    

复制代码

有做修改，勿怪！