[已解决]爬虫求助

君苏依寂

我想要爬取程序员客栈的技能要求那一栏的数据，但是现在不知道该怎么往下写了，求帮忙，

1. #需要调用的库
   
2. import urllib.request as u_request
   
3. import os,re,base64
   
4. import time
   
5. import requests
   
6. import bs4   
   
7. 
   
8. #打开网址
   
9. def url_open(url):
   
10.     header = {}
    
11.     header['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
    
12. 
    
13.     html = requests.get(url,headers = header).text
    
14.     return html
    
15.     #print(html)  
    
16. 
    
17. def find_data(url):
    
18.     html = url_open(url)
    
19. 
    
20.    
    
21. 
    
22. 
    
23. 
    
24. if __name__ == '__main__':
    
25.     url = 'https://job.proginn.com/?from=top_nav'
    
26.    
    
27.     find_data(url)
    

复制代码

最佳答案

月排行榜 / 总排行榜

美徒思福

2021-5-17 21:54:53

1.url_open构造访问网页的函数，必要时加上header，以及proxy做代理；
2.find_data 打开的网页之后，通过访问网页的源码(Chrome浏览器，右键检查源码)，扎到"技能要求"后面的关键字，通过正则完成，r"技能要求"(.*)。。。需要自己来组合找到最高匹配；
3.save_data，将找到的数据保存下来，最简单的方式就是with open(x,ab) as f的方式；
4.主函数引用上述三个函数，串联起来就可以了

跳转到最佳答案楼层

美徒思福

1.url_open构造访问网页的函数，必要时加上header，以及proxy做代理；
2.find_data 打开的网页之后，通过访问网页的源码(Chrome浏览器，右键检查源码)，扎到"技能要求"后面的关键字，通过正则完成，r"技能要求"(.*)。。。需要自己来组合找到最高匹配；
3.save_data，将找到的数据保存下来，最简单的方式就是with open(x,ab) as f的方式；
4.主函数引用上述三个函数，串联起来就可以了

wp231957

1. import requests,re
   
2. from lxml import etree
   
3. url="https://job.proginn.com/d/5af3107a563d"
   
4. headers={'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'}
   
5. res=requests.get(url,headers=headers)
   
6. tree = etree.HTML(res.text)
   
7. data = tree.xpath("//div[@id='markIsAppWebview']/div[2]/div[2]/div[2]/span/text()")
   
8. print(data)

复制代码

君苏依寂

wp231957 发表于 2021-5-18 09:29

感谢您的帮助

君苏依寂

美徒思福 发表于 2021-5-17 21:54
1.url_open构造访问网页的函数，必要时加上header，以及proxy做代理；
2.find_data 打开的网页之后，通过 ...

感谢您的帮助