中国大学排名爬取（以2016为例）

yinda_peng

此案例来源于【中国大学MOOC】，或者见【哔哩哔哩网课】，bilibili在P29开始，我发现这个案例由于原url链接变化已导致失效，是以在原课程示例代码的基础上自行修改，以实现功能。

不废话，url:https://www.shanghairanking.cn/rankings/bcur/201611

代码：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import bs4
   
4. import pandas as pd
   
5. 
   
6. def getHTMLText(url):
   
7.     try:
   
8.         r = requests.get(url)
   
9.         r.raise_for_status()
   
10.         r.encoding = r.apparent_encoding
    
11.         return r.text
    
12.     except:
    
13.         return ""
    
14. 
    
15. def fillUnivList(ulist,html):
    
16.     soup = BeautifulSoup(html,"html.parser")
    
17.     for tr in soup.find('tbody').children:
    
18.         if isinstance(tr,bs4.element.Tag):
    
19.             tds = tr('div')
    
20.             td = tr('td')
    
21.             ulist.append([tds[0].string[29:-25],tds[-1].string[:-13],td[-2].string[25:-2]])
    
22. 
    
23. 
    
24. def main():
    
25.     uinfo = []
    
26.     url = "https://www.shanghairanking.cn/rankings/bcur/201611"
    
27.     html = getHTMLText(url)
    
28.     fillUnivList(uinfo,html)
    
29.     df = pd.DataFrame(uinfo, columns=["排名", "学校名称", "总分"])
    
30.     writer = pd.ExcelWriter('C:/Users/Lenovo/Desktop/university_ranking.xlsx', engine='xlsxwriter')
    
31.     df.to_excel(writer, index=False)
    
32.     writer.close()
    
33.     print('已将数据保存到指定路径的Excel文件中')
    
34. 
    
35. main()
    

复制代码

自己运行的时候记得修改路径，在main函数witer = pd.ExcelWriter("……")那一行，我运行得到的结果如下（貌似没法上传xlsx附件？）：

FishC

代码本身是正确的，只是填充数据的时候有一些小问题。根据你给出的代码，我稍微修改了一下可以得到正确的结果。

首先，修改 `fillUnivList` 函数，将取值的方式修改为 `.text` 而不是 `.string`。

1. def fillUnivList(ulist, html):
   
2.     soup = BeautifulSoup(html, "html.parser")
   
3.     for tr in soup.find('tbody').children:
   
4.         if isinstance(tr, bs4.element.Tag):
   
5.             tds = tr('div')
   
6.             td = tr('td')
   
7.             ulist.append([tds[0].text, tds[1].text, td[0].text])

复制代码

然后，修改 `pd.DataFrame` 生成 DataFrame 时的列名，目前写成了空的，修改为 `['排名', '学校名称', '总分']`。

1. df = pd.DataFrame(uinfo, columns=['排名', '学校名称', '总分'])

复制代码

最后，将 `.to_excel` 的路径改为自己本地合适的路径即可。代码运行后会在指定路径生成一个 `university_ranking.xlsx` 文件。

注：由于数据量较大，可能要等待一段时间才能成功保存。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

学习编程中的Ben

支持！

yinda_peng

学习编程中的Ben 发表于 2024-2-19 17:38
支持！

liuhongrun2022

支持

不二如是

有意思，如何爬取公网上最新的大学数据也是有趣的课题