[已解决]紧急！！抓取一个网页的数据并且写入到Excel里 需要用到什么库和函数知识

inver11

RT  我需要抓紧一个网页的一部分数据，并把这部分数据写入到Excel里，想请教一下大家，需要用到什么库和函数知识。
需要抓取的网页为前程无忧    抓取的数据为公司名  
网址如下：https://search.51job.com/list/030700,000000,0000,00,9,06%252C07%252C08%252C09%252C10,%2B,2,1.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare=

如图：


我要把这些公司名字都写入到Excel里   
请问需要怎么做呢   谢谢

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-7-6 21:08:10

3个库：requests，lxml，openpyxl

1. 
   
2. import requests
   
3. from lxml import etree
   
4. from openpyxl import Workbook
   
5. 
   
6. 
   
7. def main():
   
8.     url = 'https://search.51job.com/list/030700,000000,0000,00,9,06%252C07%252C08%252C09%252C10,%2B,2,1.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='
   
9.     headers = {'user-agent': 'firefox'}
   
10.     r = requests.get(url, headers=headers)
    
11.     r.encoding = 'gbk'
    
12.     # with open('r.txt', 'w') as f:
    
13.     #     f.write(r.text)
    
14.     html = etree.HTML(r.text)
    
15.     result = html.xpath('//span[@class="t2"]/a[@target="_blank"]/@title')
    
16.     wb = Workbook()
    
17.     ws = wb.active
    
18.     for n, v in enumerate(result):
    
19.         ws.cell(row=n+1, column=1, value=v)
    
20.     wb.save('job51.xlsx')
    
21. 
    
22. 
    
23. if __name__ == '__main__':
    
24.     main()

复制代码

跳转到最佳答案楼层

comeheres

这种简单的数据，直接利用Chrome浏览器插件Instant Data Scraper，不要一分钟就能抓上千条



最新的0.2.3版本（Chrome浏览器打开chrome://extensions/，右上角打开开发者模式，将crx文件拖入浏览器窗口即可安装；新版Edge浏览器也可安装）：
解压后得到crx文件再使用.rar (612.78 KB, 下载次数: 9)

2020-7-6 17:04 上传

点击文件名下载附件

某某怪蜀黍

comeheres 发表于 2020-7-6 17:08
这种简单的数据，直接利用Chrome浏览器插件Instant Data Scraper，不要一分钟就能抓上千条

感谢，我一直在用Web Scraper爬数据，用起来还可以，也可以进行跳页面爬，这个好像没有Web Scraper功能多，不过真的快多了，我再研究研究

suchocolate

3个库：requests，lxml，openpyxl

1. 
   
2. import requests
   
3. from lxml import etree
   
4. from openpyxl import Workbook
   
5. 
   
6. 
   
7. def main():
   
8.     url = 'https://search.51job.com/list/030700,000000,0000,00,9,06%252C07%252C08%252C09%252C10,%2B,2,1.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='
   
9.     headers = {'user-agent': 'firefox'}
   
10.     r = requests.get(url, headers=headers)
    
11.     r.encoding = 'gbk'
    
12.     # with open('r.txt', 'w') as f:
    
13.     #     f.write(r.text)
    
14.     html = etree.HTML(r.text)
    
15.     result = html.xpath('//span[@class="t2"]/a[@target="_blank"]/@title')
    
16.     wb = Workbook()
    
17.     ws = wb.active
    
18.     for n, v in enumerate(result):
    
19.         ws.cell(row=n+1, column=1, value=v)
    
20.     wb.save('job51.xlsx')
    
21. 
    
22. 
    
23. if __name__ == '__main__':
    
24.     main()

复制代码

inver11

comeheres 发表于 2020-7-6 17:08
这种简单的数据，直接利用Chrome浏览器插件Instant Data Scraper，不要一分钟就能抓上千条

谢谢  插件很好用 非常感谢
但是好像只能抓取单页，不能自动抓取之后的页面吗？

inver11

suchocolate 发表于 2020-7-6 21:08
3个库：requests，lxml，openpyxl

谢谢  我稍微修改了一点  现在可以录入200页的资料了

1. import requests
   
2. from lxml import etree
   
3. from openpyxl import Workbook
   
4. 
   
5. 
   
6. def main():
   
7.     row_1 = 0
   
8.     wb = Workbook()
   
9.     ws = wb.active
   
10.     for num in range(1,201):
    
11.         url = 'https://search.51job.com/list/030700,000000,0000,00,9,05%252C06%252C07%252C08%252C09,%2B,2,'+str(num)+'.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='
    
12. 
    
13.         #IP代理伪装
    
14.         proxies = {"url":'http://115.221.242.206:9999'}
    
15. 
    
16.         #浏览器伪装
    
17.         headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
    
18.         r = requests.get(url, headers=headers, proxies = proxies)
    
19.         r.encoding = 'gbk'
    
20.         html = etree.HTML(r.text)
    
21.         result = html.xpath('//span[@class="t2"]/a[@target="_blank"]/@title')
    
22.         for n, v in enumerate(result):
    
23.             ws.cell(row=row_1+1, column=1, value=v)
    
24.             row_1 += 1
    
25.         wb.save('job51.xlsx')
    
26. 
    
27. 
    
28. if __name__ == '__main__':
    
29.     main()
    

复制代码

Tip0

inver11 发表于 2020-7-7 17:44
谢谢  我稍微修改了一点  现在可以录入200页的资料了

大佬，你的个性签名是怎么弄上颜色的

inver11

1. [b][color=Red]人生苦短，我用Python[/color][/b]

复制代码

inver11

suchocolate 发表于 2020-7-6 21:08
3个库：requests，lxml，openpyxl

大佬 可以加个VX或者企鹅吗   
想再请教一下问题   
1.因为目前抓到的客户名字有可能是简称，我还需要再进入下一级链接，去识别客户的真正名称。但是我对HTML的字段识别不是很懂
2.职位的名字和薪酬可以写到同一个单元格里吗     跟客户名保存在同一个文件里吗      表格文件有两列  第一列是客户名  第二例是职位名字和薪酬

想请大佬指导一下思路   

后续可能还想增加一些功能，比如保存下来的文件，根据客户名称自动上网搜索客户的联系方式并保存。

comeheres

inver11 发表于 2020-7-7 16:04
谢谢  插件很好用 非常感谢
但是好像只能抓取单页，不能自动抓取之后的页面吗？

开启之前，要先定位下一页的按钮位置
插件打开后，有个Locate"Next"button按钮，点一下后，再去网页上的下一页按钮再点一下即可

inver11

comeheres 发表于 2020-7-7 18:54
开启之前，要先定位下一页的按钮位置
插件打开后，有个Locate"Next"button按钮，点一下后，再去网页上的 ...

试过了这个，但是只能抓取到第二页的数据就停止了  我截个图给你看看

suchocolate

inver11 发表于 2020-7-7 18:42
大佬 可以加个VX或者企鹅吗   
想再请教一下问题   
1.因为目前抓到的客户名字有可能是简称，我还需 ...

1. 
   
2. import requests
   
3. from lxml import etree
   
4. from openpyxl import Workbook
   
5. 
   
6. 
   
7. def main():
   
8.     row = 1
   
9.     wb = Workbook()
   
10.     ws = wb.active
    
11.     for num in range(1, 5):
    
12.         url = 'https://search.51job.com/list/030700,000000,0000,00,9,05%252C06%252C07%252C08%252C09,%2B,2,' + str(
    
13.             num) + '.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='
    
14.         # IP代理伪装
    
15.         proxies = {"url": 'http://115.221.242.206:9999'}
    
16.         # 浏览器伪装
    
17.         headers = {
    
18.             "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
    
19.         r = requests.get(url, headers=headers, proxies=proxies)
    
20.         r.encoding = 'gbk'
    
21.         html = etree.HTML(r.text)
    
22.         result = html.xpath('//div[(@class="el") and not(@id)]')
    
23.         for item in result:
    
24.             # 公司
    
25.             cpy = item.xpath('./span[@class="t2"]/a/@title')[0]
    
26.             ws.cell(row=row, column=1, value=cpy)
    
27.             # 月薪
    
28.             sly = item.xpath('./span[@class="t4"]/text()')
    
29.             if sly:
    
30.                 ws.cell(row=row, column=2, value=sly[0])
    
31.             # 职位
    
32.             pos = item.xpath('./p/span/a/@title')[0]
    
33.             ws.cell(row=row, column=3, value=pos)
    
34.             row = row + 1
    
35.     wb.save('job51.xlsx')
    
36. 
    
37. 
    
38. if __name__ == '__main__':
    
39.     main()
    

复制代码

inver11

suchocolate 发表于 2020-7-7 20:11

请问大佬这一句中的 and not(@id)  是啥意思   我百度了好久也没看懂呢

1. result = html.xpath('//div[(@class="el") and not(@id)]')

复制代码

suchocolate

inver11 发表于 2020-7-8 09:21
请问大佬这一句中的 and not(@id)  是啥意思   我百度了好久也没看懂呢

选择class为el，但不能有id属性的div节点。

inver11

suchocolate 发表于 2020-7-8 09:59
选择class为el，但不能有id属性的div节点。

明白了 谢谢大佬

inver11

suchocolate 发表于 2020-7-7 20:11

我修改了一下   增加了进入具体公司信息页面获取客户营业执照名字  因为第一次进入的页面获取的公司名字有可能是品牌名

1. 
   
2. import requests
   
3. from lxml import etree
   
4. from openpyxl import Workbook
   
5. 
   
6. def test(url_test):
   
7.     #获取营业执照名字
   
8.     proxies = {"url": 'http://115.221.242.206:9999'}
   
9.     headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
   
10.     r_test = requests.get(url_test, headers=headers, proxies=proxies)
    
11.     r_test.encoding = 'gbk'
    
12.     html = etree.HTML(r_test.text)
    
13.     try:
    
14.         result_test = html.xpath('//span[@class="icon_det"]/@title')
    
15.         if result_test:
    
16.             result_test = result_test[0][5:]
    
17.         else:
    
18.             result_test = html.xpath('//h1/@title')
    
19.             result_test = result_test[0]
    
20.     except IndexError:
    
21.         result_test = html.xpath('//head/title/text()')
    
22.         len_1=len(str(result_test[0]))-3
    
23.         result_test = result_test[0][:len_1]
    
24.     return result_test
    
25. 
    
26. def main():
    
27.     row = 1
    
28.     wb = Workbook()
    
29.     ws = wb.active
    
30.     for num in range(1, 3):
    
31.         url = 'https://search.51job.com/list/030700,000000,0000,00,9,05%252C06%252C07%252C08%252C09,%2B,2,' + str(
    
32.             num) + '.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='
    
33.         # IP代理伪装
    
34.         proxies = {"url": 'http://115.221.242.206:9999'}
    
35.         # 浏览器伪装
    
36.         headers = {
    
37.             "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
    
38.         r = requests.get(url, headers=headers, proxies=proxies)
    
39.         r.encoding = 'gbk'
    
40.         html = etree.HTML(r.text)
    
41.         result = html.xpath('//div[(@class="el") and not(@id)]')
    
42.         for item in result:
    
43.             # 公司
    
44.             cpy_url = item.xpath('./span[@class="t2"]/a/@href')[0]
    
45.             print(cpy_url)
    
46.             cpy = test(cpy_url)
    
47.             ws.cell(row=row, column=1, value=cpy)
    
48.             # 月薪
    
49.             sly = item.xpath('./span[@class="t4"]/text()')
    
50.             if sly:
    
51.                 ws.cell(row=row, column=2, value=sly[0])
    
52.             # 职位
    
53.             pos = item.xpath('./p/span/a/@title')[0]
    
54.             ws.cell(row=row, column=3, value=pos)
    
55.             row = row + 1
    
56.     wb.save('job_51_2.xlsx')
    
57. 
    
58. 
    
59. if __name__ == '__main__':
    
60.     main()
    

复制代码

inver11

suchocolate 发表于 2020-7-7 20:11

增加了两个函数
查询客户营业执照名字
获取总页码
成功爬取了数据，但是有个问题，就是速度太慢了

1. import requests
   
2. from lxml import etree
   
3. from openpyxl import Workbook
   
4. 
   
5. #####################获取当前最新总页码######################
   
6. def num_1():
   
7.     url = 'https://search.51job.com/list/030700,000000,0000,00,9,06%252C07%252C08%252C09%252C10,%2B,2,1.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='
   
8.     headers = {'user-agent': 'firefox'}
   
9.     r = requests.get(url, headers=headers)
   
10.     r.encoding = 'gbk'
    
11.     html = etree.HTML(r.text)
    
12.     result = html.xpath('//div[@class="p_in"]/input[@type="hidden"]/@value')
    
13.     return result[0]
    
14. 
    
15. 
    
16. 
    
17. #######################获取营业执照名字####################
    
18. def test(url_test):
    
19.     proxies = {"url": 'http://115.221.242.206:9999'}
    
20.     headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
    
21.     r_test = requests.get(url_test, headers=headers, proxies=proxies)
    
22.     r_test.encoding = 'gbk'
    
23.     html = etree.HTML(r_test.text)
    
24.     try:
    
25.         result_test = html.xpath('//span[@class="icon_det"]/@title')
    
26.         if result_test:
    
27.             result_test = result_test[0][5:]
    
28.         else:
    
29.             result_test = html.xpath('//h1/@title')
    
30.             result_test = result_test[0]
    
31.     except IndexError:
    
32.         result_test = html.xpath('//head/title/text()')
    
33.         len_1=len(str(result_test[0]))-3
    
34.         result_test = result_test[0][:len_1]
    
35.     return result_test
    
36. 
    
37. def main():
    
38.     row = 1
    
39.     wb = Workbook()
    
40.     ws = wb.active
    
41.     num_2 = int(num_1())+1
    
42.     for num in range(1,num_2):
    
43.         url = 'https://search.51job.com/list/030700,000000,0000,00,9,05%252C06%252C07%252C08%252C09,%2B,2,' + str(
    
44.             num) + '.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='
    
45.         # IP代理伪装
    
46.         proxies = {"url": 'http://115.221.242.206:9999'}
    
47.         # 浏览器伪装
    
48.         headers = {
    
49.             "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
    
50.         r = requests.get(url, headers=headers, proxies=proxies)
    
51.         r.encoding = 'gbk'
    
52.         html = etree.HTML(r.text)
    
53.         result = html.xpath('//div[(@class="el") and not(@id)]')
    
54.         for item in result:
    
55.             # 公司
    
56.             cpy_url = item.xpath('./span[@class="t2"]/a/@href')[0]
    
57.             cpy = test(cpy_url)
    
58.             ws.cell(row=row, column=1, value=cpy)
    
59.             # 月薪
    
60.             sly = item.xpath('./span[@class="t4"]/text()')
    
61.             if sly:
    
62.                 ws.cell(row=row, column=2, value=sly[0])
    
63.             # 职位
    
64.             pos = item.xpath('./p/span/a/@title')[0]
    
65.             ws.cell(row=row, column=3, value=pos)
    
66.             row = row + 1
    
67.     wb.save('job_51_2.xlsx')
    
68. 
    
69. 
    
70. if __name__ == '__main__':
    
71.     main()
    

复制代码