[已解决]爬虫问题

jump_p

想要爬这个网站的二级页面，出不来东西

https://kcls.bibliocommons.com/e ... art=2020-06-17%20TO

1. import requests
   
2. from lxml import etree
   
3. from fake_useragent import UserAgent
   
4. 
   
5. url = "https://kcls.bibliocommons.com/events/event_series?client_scope=events&ids=5eab1dbe9f683f2f002ef1b8%2C5ec71a24d75f424500deeb8f%2C5ebb06c0318ab13a002084eb%2C5ebf2c39171b7a2400152407%2C5ebb07163a6fc12f007e1df8"
   
6. headers = {"User-Agent": UserAgent().random}
   
7. 
   
8. res = requests.get(url, headers=headers)
   
9. html = res.content.decode("utf-8")
   
10. parse_html = etree.HTML(html)
    
11. parse_html
    
12. events_list = parse_html.xpath('//div/h2/a/@href')
    
13. for event in events_list:
    
14.     print(event)

复制代码

最佳答案

月排行榜 / 总排行榜

admintest166

2020-6-18 16:44:48

1. import requests
   
2. 
   
3. url='https://kcls.bibliocommons.com/events/events/search?'
   
4. headers={
   
5.    
   
6.     'Accept':'application/json, text/javascript, */*; q=0.01'
   
7. }
   
8. data={
   
9.     'client_scope': 'events',
   
10.     'query': 'q=online&start=20',
    
11.     'facet_fields': 'branch_location_id,types,program,audiences,languages,is_virtual',
    
12.     'local_start': '2020-06-17 TO',
    
13.     'include_near_location': 'false'
    
14. }
    
15. request=requests.get(url,headers=headers,params=data).text
    
16. print(request)

复制代码

你试下这个代码 是不是你想要的的数据 因为我英语不太好 也不知道你具体需要哪个数据  

跳转到最佳答案楼层

admintest166

我点开你给的URL  数据是通过JSON传到前端的  直接抓包拿到JSON地址 就行了 根本不需要lxml

admintest166

而且这个网站有请求头反爬 爬的时候记得加  

jump_p

admintest166 发表于 2020-6-18 16:27
我点开你给的URL  数据是通过JSON传到前端的  直接抓包拿到JSON地址 就行了 根本不需要lxml

不是很懂诶，能加个QQ指导一下吗，感谢。

admintest166

1. import requests
   
2. 
   
3. url='https://kcls.bibliocommons.com/events/events/search?'
   
4. headers={
   
5.    
   
6.     'Accept':'application/json, text/javascript, */*; q=0.01'
   
7. }
   
8. data={
   
9.     'client_scope': 'events',
   
10.     'query': 'q=online&start=20',
    
11.     'facet_fields': 'branch_location_id,types,program,audiences,languages,is_virtual',
    
12.     'local_start': '2020-06-17 TO',
    
13.     'include_near_location': 'false'
    
14. }
    
15. request=requests.get(url,headers=headers,params=data).text
    
16. print(request)

复制代码

你试下这个代码 是不是你想要的的数据 因为我英语不太好 也不知道你具体需要哪个数据