51job简历python爬虫

孤独的嫖客

之前求职的时候,作为练习项目,爬了一下51job的招聘信息,为避免遗忘,现在记录一下.
爬取目标:
https://search.51job.com/list/000000,000000,0000,00,9,99,python爬虫,2,1.html
爬取字段:

                               
登录/注册后可看大图

先上最终爬取结果图示:

                               
登录/注册后可看大图

所用到的包:

1. from lxml import etree
   
2. import requests
   
3. import time
   
4. import pymysql

复制代码

相关元素的xpath定位:

1. node_list = html.xpath("//div[@class='dw_table']")
   
2.         for node in node_list:
   
3.             '''
   
4.             Position 职位名称
   
5.             Company  公司名称
   
6.             Place    工作地区
   
7.             Wages    薪   资
   
8.             Time     发布时间
   
9.             Link     详情链接
   
10.             '''
    
11.             Position = node.xpath("./div/p/span/a/@title")
    
12.             Company = node.xpath("./div/span[@class='t2']/a/text()")
    
13.             Place = node.xpath("./div[@class='el']/span[2]/text()")
    
14.             Wages = node.xpath("./div[@class='el']/span[3]/text()")
    
15.             Time = node.xpath("./div[@class='el']/span[4]/text()")
    
16.             Link = node.xpath("./div/p/span/a/@href")

复制代码

文章中使用了Mysql数据库,如果想尝试运行代码,请先创建匹配的数据表:

1. CREATE TABLE `51job` (
   
2.   `id` int(11) NOT NULL AUTO_INCREMENT,
   
3.   `职位名称` text,
   
4.   `公司名称` text,
   
5.   `工作地区` text,
   
6.   `薪资` text,
   
7.   `发布时间` text,
   
8.   `详情页` text,
   
9.   PRIMARY KEY (`id`)
   
10. ) ENGINE=InnoDB AUTO_INCREMENT=0 DEFAULT CHARSET=utf8;

复制代码

代码全文:

游客，如果您要查看本帖隐藏内容请回复

COMPLEXWEY

感谢分享

zjrbendan

想看看代码

jorge11

学习一下

linuxpy

感谢分享，学习一下

fuzx

的

taohuazhu

有没有搜索求职信息的

fish_nian

看看，学习一下

quechua128

学习

eh_eh

雨云天

学习中

xtxstar

简历python爬虫

levizhou

学习学习

易木2020

学习

许小嵩

66

画纸仁

大佬666

HELGALEE

🐎住！

tttt7867998

感谢分享

魔法甜

膜拜下

pjlwww

感谢分享

petter8050

学习楼主的无私分享，学习一下