[已解决]python爬虫，翻页问题

53清

1. import requests
   
2. import parsel
   
3. import re
   
4. import csv
   
5. f = open('zgdx','a',encoding='utf-8',newline='')
   
6. csv_writer = csv.DictWriter(f,fieldnames=['排名', '名称', '英文名', '标签', '省份', '类型', '总分', '学校水平', '网址说明'])
   
7. csv_writer.writeheader()
   
8. 
   
9. # csv.DictWriter.writeheader()
   
10. url = 'https://www.shanghairanking.cn/rankings/bcur/202111'
    
11. headers = {
    
12.     "User-Agent": "Mozilla / 5.0(Windows NT 10.0; Win64; x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 80.0.3987.122  Safari / 537.40"
    
13. }  # UA伪装
    
14. response = requests.get(url=url, headers=headers)
    
15. response.encoding='‘utf-8’'
    
16. selecetor = parsel.Selector(response.text)
    
17. lis = list(selecetor.css('.rk-table tbody tr'))
    
18. for li in lis:
    
19.     Rank = li.css('td:nth-child(1) > div ::text').get().strip()
    
20.     Name = li.css('.name-cn::text').get()
    
21.     English_Name = li.css('.name-en::text').get()
    
22.     Tag = li.css('td.align-left > div > div.univname > p::text').get()
    
23.     Province = li.css('td:nth-child(3)::text').get().strip()
    
24.     Type = li.css('td:nth-child(3)::text').get().strip()
    
25.     total_score = li.css('td:nth-child(4)::text').get().strip()
    
26.     school_level = li.css('td:nth-child(5)::text').get().strip()
    
27.     href =r'https://www.shanghairanking.cn'+ li.css('.link-container a::attr(href)').get()
    
28.     dic = {'排名': Rank,'名称':Name,'英文名':English_Name,
    
29.     '标签':Tag,
    
30.     '省份':Province,
    
31.     '类型':Type,
    
32.     '总分':total_score,
    
33.     '学校水平':school_level,
    
34.     '网址说明':href
    
35.     }
    
36.     csv_writer.writerow(dic)#写入文件中
    
37.     print(dic)

复制代码

爬取中国大学排名相关信息，网站是https://www.shanghairanking.cn/rankings/bcur/202111
不知道如何实现翻页，网址不会随页数发生改变，然后点击翻页的按钮之后也没有捕获到AJAX，能想到的办法只有使用selenium模拟浏览器，不知道有没有其它方法

最佳答案

月排行榜 / 总排行榜

白two

2021-8-25 22:46:24

其他的还不确定，首先请求方法就错了，这应该是 post 请求


翻页可能和这个请求里面的参数有关，但是具体是哪个参数我暂时也没搞明白

跳转到最佳答案楼层

南归

https://www.shanghairanking.cn/_nuxt/static/1629372035/rankings/bcur/202111/payload.js
在这里面,从开发者工具里找这个文件,直接复制打开会乱码

53清

南归 发表于 2021-8-25 09:21
https://www.shanghairanking.cn/_nuxt/static/1629372035/rankings/bcur/202111/payload.js
在这里面,从 ...

这样啊，谢谢了

白two

其他的还不确定，首先请求方法就错了，这应该是 post 请求


翻页可能和这个请求里面的参数有关，但是具体是哪个参数我暂时也没搞明白