爬取招聘网站

wcq15759797758

无聊爬一爬

1. import requests  # 网络请求模块
   
2. import time      # 时间模块
   
3. import random    # 随机模块
   
4. import re,json
   
5. json_url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,{page}.html'
   
6. class Crawl():
   
7.     def __init__(self):
   
8.         # 创建头部信息
   
9.         self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0'}
   
10.     def get_json(self,json_url):
    
11.         response = requests.get(json_url, headers=self.headers)
    
12.         # 判断请求是否成功
    
13.         if response.status_code == 200:
    
14.             html_data = re.findall('window\.__SEARCH_RESULT__ =(.*?)</script>', response.text)[0]
    
15.             json_data = json.loads(html_data)
    
16.             search_result = json_data['engine_search_result']
    
17.             for index in search_result:
    
18.                 item = {}
    
19.                 item['title'] = index['job_name']
    
20.                 item['xin_xi'] = index['attribute_text']
    
21.                 item['gong_si'] = index['company_name']
    
22.                 print(item)
    
23.         else:
    
24.             print('获取信息的请求没有成功！')
    
25. 
    
26. if __name__ == '__main__':
    
27.     c = Crawl()                # 创建爬虫类对象
    
28.     for page in range(1,6):   #页码
    
29.         text = c.get_json(json_url.format(page=page))
    
30.         time.sleep(random.randint(2,4))  # 随机产生获取json请求的间隔时间'''

复制代码

fish_nian

不错

永恒的蓝色梦想

鱼币

hornwong

感谢分享！

jynjbn

666

超级玛尼哄

学习了

星期天去散步

好强，俺要加油

18929659582