[已解决]爬取51job招聘网站内容与网页浏览内容不一致

937135952

1. import requests
   
2. import bs4
   
3. import re
   
4. 
   
5. def open_url(url):
   
6.     headers = {
   
7.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
   
8.     'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
   
9.     'Accept-Language':'en-US,en;q=0.5',
   
10.     'Accept-Encoding':'gzip',
    
11.     'DNT':'1',
    
12.     'Connection':'close'
    
13.     }
    
14.    
    
15.     res =requests.get(url,headers=headers)
    
16.     print(res.text)
    
17.     with open("save.txt","w",encoding="utf-8") as f:
    
18.         f.write(res.text)
    
19.     return res  
    
20. 
    
21. def main():
    
22.     #url = "https://search.51job.com/list/000000,000000,0000,00,9,99,+,2,1.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare="
    
23.     url = "https://search.51job.com/list/000000,000000,0000,00,9,99,%25E5%2590%258E%25E7%25AB%25AF%25E5%25BC%2580%25E5%258F%2591,2,1.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare="
    
24.    
    
25.     open_url(url)
    
26.    
    
27. 
    
28. if __name__ =='__main__':
    
29.     main()            
    

复制代码

爬取下来保存的txt文件里的window.__SEARCH_RESULT__ ={}里的内容在网页端找不到，网页端的东西在txt文件里也找不到，请问各位大佬是什么原因呢

最佳答案

月排行榜 / 总排行榜

wp231957

2021-9-6 16:41:39

937135952 发表于 2021-9-6 16:31
我发现原来是网页版我登陆了账号，把账号注销了就一致了，但是我还是想问一下为什么登入账号后内容会不一致 ...

这要看你想提取啥数据了
很多网站  有些数据不登录 无法提取

跳转到最佳答案楼层

937135952

我发现原来是网页版我登陆了账号，把账号注销了就一致了，但是我还是想问一下为什么登入账号后内容会不一致呢？应该采用登录账号后爬取好还是不登陆爬取好？

wp231957

937135952 发表于 2021-9-6 16:31
我发现原来是网页版我登陆了账号，把账号注销了就一致了，但是我还是想问一下为什么登入账号后内容会不一致 ...

这要看你想提取啥数据了
很多网站  有些数据不登录 无法提取