[已解决]关于“爬取大学排名”的一些问题

wangyaoxin

在B站学习爬虫的时候，我按照视频里讲的那样输入进去代码 然而运行时却无结果 不知道哪里出了问题，望各位大神指点迷津。。。。
import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return""

def fillunivlist(ulist,html):
    soup=BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds=tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[3].string])

def fillunivlist(ulist,num):
    print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))
    for i in range(num):
        u=ulist[i]
        print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))
        
   
def main():
    uinfo=[]
    url='http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html'
    html=getHTMLText(url)
    fillunivlist(uinfo,html)
    printunivlist(unifo,20)

最佳答案

月排行榜 / 总排行榜

zlj19931010

2019-3-12 15:27:31

1、函数名称你写错了
2、变量名写错了
3、printunivlist这个函数里的u=ulist[i]我估计你也抄错了

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import bs4
   
4. 
   
5. def getHTMLText(url):
   
6.     try:
   
7.         r=requests.get(url,timeout=30)
   
8.         r.raise_for_status()
   
9.         r.encoding=r.apparent_encoding
   
10.         return r.text
    
11.     except:
    
12.         return ''
    
13. 
    
14. def fillunivlist(ulist,html):
    
15.     soup=BeautifulSoup(html,"html.parser")
    
16.     for tr in soup.find('tbody').children:
    
17.         if isinstance(tr,bs4.element.Tag):
    
18.             tds=tr('td')
    
19.             ulist.append([tds[0].string,tds[1].string,tds[3].string])
    
20. 
    
21. def printunivlist(ulist,num):
    
22.     print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))
    
23.     for i in range(num):
    
24.         u=ulist[i]
    
25.         print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))
    
26.         
    
27.    
    
28. def main():
    
29.     uinfo=[]
    
30.     url='http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html'
    
31.     html=getHTMLText(url)
    
32.     fillunivlist(uinfo,html)
    
33.     printunivlist(uinfo,20)
    
34. 
    
35. if __name__ == '__main__':
    
36.     main()
    

复制代码

跳转到最佳答案楼层

幻千城12

两个函数都是一样的名字，主函数也没执行
打印排名前20的学校：

1. import pandas as pd
   
2. data = pd.DataFrame(pd.read_html('http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html')[0])
   
3. data.set_index('排名', inplace=True)
   
4. print(data.iloc[:20, :3])
   

复制代码

wp231957

1. # coding: utf-8
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. import bs4
   
5. 
   
6. def getHTMLText(url):
   
7.     try:
   
8.         r=requests.get(url,timeout=30)
   
9.         r.raise_for_status()
   
10.         r.encoding=r.apparent_encoding
    
11.         return r.text
    
12.     except:
    
13.         return""
    
14. 
    
15. def fillunivlist1(ulist,html):
    
16.     soup=BeautifulSoup(html,"html.parser")
    
17.     for tr in soup.find('tbody').children:
    
18.         if isinstance(tr,bs4.element.Tag):
    
19.             tds=tr('td')
    
20.             ulist.append([tds[0].string,tds[1].string,tds[3].string])
    
21. 
    
22. def fillunivlist2(ulist,num):
    
23.     print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","     总分"))
    
24.     for i in range(num):
    
25.         u=ulist
    
26.         print("%8s\t%-18s %5s"%(u[i][0],u[i][1],u[i][2]))
    
27.         
    
28.    
    
29. 
    
30. uinfo=[]
    
31. url='http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html'
    
32. html=getHTMLText(url)
    
33. fillunivlist1(uinfo,html)
    
34. fillunivlist2(uinfo,20)

复制代码

能输出了 ，就是对齐有些问题，你自己再琢磨琢磨

zlj19931010

1、函数名称你写错了
2、变量名写错了
3、printunivlist这个函数里的u=ulist[i]我估计你也抄错了

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import bs4
   
4. 
   
5. def getHTMLText(url):
   
6.     try:
   
7.         r=requests.get(url,timeout=30)
   
8.         r.raise_for_status()
   
9.         r.encoding=r.apparent_encoding
   
10.         return r.text
    
11.     except:
    
12.         return ''
    
13. 
    
14. def fillunivlist(ulist,html):
    
15.     soup=BeautifulSoup(html,"html.parser")
    
16.     for tr in soup.find('tbody').children:
    
17.         if isinstance(tr,bs4.element.Tag):
    
18.             tds=tr('td')
    
19.             ulist.append([tds[0].string,tds[1].string,tds[3].string])
    
20. 
    
21. def printunivlist(ulist,num):
    
22.     print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))
    
23.     for i in range(num):
    
24.         u=ulist[i]
    
25.         print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))
    
26.         
    
27.    
    
28. def main():
    
29.     uinfo=[]
    
30.     url='http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html'
    
31.     html=getHTMLText(url)
    
32.     fillunivlist(uinfo,html)
    
33.     printunivlist(uinfo,20)
    
34. 
    
35. if __name__ == '__main__':
    
36.     main()
    

复制代码

wangyaoxin

zlj19931010 发表于 2019-3-12 15:27
1、函数名称你写错了
2、变量名写错了
3、printunivlist这个函数里的u=ulist我估计你也抄错了

老哥 你是神仙吧 终于运行出来了 ！！！感谢感谢！！！