[已解决]爬虫问题

admintest166

我点开你给的URL  数据是通过JSON传到前端的  直接抓包拿到JSON地址 就行了 根本不需要lxml

admintest166

而且这个网站有请求头反爬 爬的时候记得加  

admintest166

1. import requests
   
2. 
   
3. url='https://kcls.bibliocommons.com/events/events/search?'
   
4. headers={
   
5.    
   
6.     'Accept':'application/json, text/javascript, */*; q=0.01'
   
7. }
   
8. data={
   
9.     'client_scope': 'events',
   
10.     'query': 'q=online&start=20',
    
11.     'facet_fields': 'branch_location_id,types,program,audiences,languages,is_virtual',
    
12.     'local_start': '2020-06-17 TO',
    
13.     'include_near_location': 'false'
    
14. }
    
15. request=requests.get(url,headers=headers,params=data).text
    
16. print(request)

复制代码

你试下这个代码 是不是你想要的的数据 因为我英语不太好 也不知道你具体需要哪个数据