[已解决]python爬取大学排名运行显示process finished with exit code 0,但是没有结果

冲动小郭

1. """世界大学排名"""
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. import bs4
   
5. 
   
6. def getHTMLText(url):
   
7.     try:
   
8.         r=requests.get(url,timeout=30)
   
9.         r.raise_for_status()
   
10.         r.encoding=r.apparent_encoding
    
11.         return r.text
    
12.     except:
    
13.         return ""
    
14. def fillMovieList(ulist,html):
    
15.     soup=BeautifulSoup(html,"html.parser")
    
16.     for div in soup.find('body').children:
    
17.         if isinstance(div,bs4.element.Tag):
    
18.             td=('p')
    
19.             ulist.append([td[0].string])
    
20.         else:
    
21.             return ""
    
22. 
    
23. def printMovieList(ulist,num):
    
24.     tplt="{:^10}\t"
    
25.     print(tplt.format("大学名称"))
    
26. 
    
27. def main():
    
28.     uinfo=[]
    
29.     url='http://www.unjs.com/z/1646082.html'
    
30.     html=getHTMLText(url)
    
31.     fillMovieList(uinfo,html)
    
32.     printMovieList(uinfo,10)
    
33. 
    
34. main()
    

复制代码

运行显示：   
大学名称          

Process finished with exit code 0

我想知道为什么没有爬取到我想要的大学排名信息呢？是我的解析标签的问题吗？求助大神！

最佳答案

月排行榜 / 总排行榜

zltzlt

2020-4-5 13:27:56

是这样吧？

1. """世界大学排名"""
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. import bs4
   
5. 
   
6. 
   
7. def getHTMLText(url):
   
8.     try:
   
9.         r = requests.get(url, timeout=30, headers={"User-Agent": "Mozilla/5.0"})
   
10.         r.raise_for_status()
    
11.         r.encoding = r.apparent_encoding
    
12.         return r.text
    
13.     except Exception:
    
14.         return ""
    
15. 
    
16. 
    
17. def fillMovieList(ulist, html):
    
18.     soup = BeautifulSoup(html, "html.parser")
    
19.     for div in soup.find('div', class_="content"):
    
20.         if isinstance(div, bs4.element.Tag):
    
21.             ulist.append(div.string)
    
22.         else:
    
23.             return ""
    
24. 
    
25. 
    
26. def printMovieList(ulist, num):
    
27.     tplt = "{:^10}\t"
    
28.     print(tplt.format("大学名称"))
    
29.     for i in range(num):
    
30.         u = ulist[i]
    
31.         print(tplt.format(u))
    
32. 
    
33. 
    
34. def main():
    
35.     uinfo = []
    
36.     url = 'http://www.unjs.com/z/1646082.html'
    
37.     html = getHTMLText(url)
    
38.     fillMovieList(uinfo, html)
    
39.     printMovieList(uinfo, 10)
    
40. 
    
41. 
    
42. main()

复制代码

跳转到最佳答案楼层

qiuyouzhi

不应该加上headers吗？
就像这样：

1. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'}
   
2. r=requests.get(url,headers=headers,timeout=30)

复制代码

还有，那个td = ('p')是什么鬼？不应该是td = div('p')吗？
而且，你在printMovieList里面也没有要打印对应的数据啊？

冲动小郭

qiuyouzhi 发表于 2020-4-4 20:23
不应该加上headers吗？
就像这样：

额，尴尬了，我忘记打印列表输出了。。。
我想请问一下，这个headers必须要写的吗？

冲动小郭

qiuyouzhi 发表于 2020-4-4 20:23
不应该加上headers吗？
就像这样：

1. """世界大学排名"""
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. import bs4
   
5. 
   
6. def getHTMLText(url):
   
7.     try:
   
8.         kv={'user-agent':'Mozilla/5.0'}
   
9.         r=requests.get(url,headers=kv,timeout=30)
   
10.         r.raise_for_status()
    
11.         r.encoding=r.apparent_encoding
    
12.         return r.text
    
13.     except:
    
14.         return ""
    
15. def fillMovieList(ulist,html):
    
16.     soup=BeautifulSoup(html,"html.parser")
    
17.     for div in soup.find('body').children:
    
18.         if isinstance(div,bs4.element.Tag):
    
19.             td=div('p')
    
20.             ulist.append([td[0].string])
    
21.         else:
    
22.             return ""
    
23. 
    
24. def printMovieList(ulist,num):
    
25.     tplt="{:^10}\t"
    
26.     print(tplt.format("大学名称"))
    
27.     for i in range(num):
    
28.         u=ulist[i]
    
29.         print(tplt.format(u[0]))
    
30. 
    
31. def main():
    
32.     uinfo=[]
    
33.     url='http://www.unjs.com/z/1646082.html'
    
34.     html=getHTMLText(url)
    
35.     fillMovieList(uinfo,html)
    
36.     printMovieList(uinfo,8)
    
37. 
    
38. main()
    

复制代码

我按照您说的修改了，还有问题。。我是刚接触这个爬虫，您多指教

十月故里

冲动小郭 发表于 2020-4-4 22:28
额，尴尬了，我忘记打印列表输出了。。。
我想请问一下，这个headers必须要写的吗？

不加headers的话，除非你用代理服务器，不然人家网址就知道你是一段代码，可能直接拒绝访问

qiuyouzhi

冲动小郭 发表于 2020-4-4 22:28
额，尴尬了，我忘记打印列表输出了。。。
我想请问一下，这个headers必须要写的吗？

通常是要加的，不然报418

会计的会怎么念

没有打印而已。
建议学会写注释。

一个账号

qiuyouzhi 发表于 2020-4-4 20:23
不应该加上headers吗？
就像这样：

你这什么态度啊

zltzlt

是这样吧？

1. """世界大学排名"""
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. import bs4
   
5. 
   
6. 
   
7. def getHTMLText(url):
   
8.     try:
   
9.         r = requests.get(url, timeout=30, headers={"User-Agent": "Mozilla/5.0"})
   
10.         r.raise_for_status()
    
11.         r.encoding = r.apparent_encoding
    
12.         return r.text
    
13.     except Exception:
    
14.         return ""
    
15. 
    
16. 
    
17. def fillMovieList(ulist, html):
    
18.     soup = BeautifulSoup(html, "html.parser")
    
19.     for div in soup.find('div', class_="content"):
    
20.         if isinstance(div, bs4.element.Tag):
    
21.             ulist.append(div.string)
    
22.         else:
    
23.             return ""
    
24. 
    
25. 
    
26. def printMovieList(ulist, num):
    
27.     tplt = "{:^10}\t"
    
28.     print(tplt.format("大学名称"))
    
29.     for i in range(num):
    
30.         u = ulist[i]
    
31.         print(tplt.format(u))
    
32. 
    
33. 
    
34. def main():
    
35.     uinfo = []
    
36.     url = 'http://www.unjs.com/z/1646082.html'
    
37.     html = getHTMLText(url)
    
38.     fillMovieList(uinfo, html)
    
39.     printMovieList(uinfo, 10)
    
40. 
    
41. 
    
42. main()

复制代码

冲动小郭

十月故里 发表于 2020-4-4 23:38
不加headers的话，除非你用代理服务器，不然人家网址就知道你是一段代码，可能直接拒绝访问

哦哦哦，这样啊，主要我原来爬取最好大学网的排名没有加headers就可以，我还以为保密性不高的这种网页都可以不加的。
嗯嗯，感谢您了！我明白了。

冲动小郭

qiuyouzhi 发表于 2020-4-5 08:33
通常是要加的，不然报418

嗯！好的！感谢回复！

冲动小郭

会计的会怎么念 发表于 2020-4-5 10:53
没有打印而已。
建议学会写注释。

嗯，今后会注意这些问题的！非常感谢您的指点！

冲动小郭

zltzlt 发表于 2020-4-5 13:27
是这样吧？

是的！！您的可以正确爬取！

1. 
   
2. for div in soup.find('div', class_="content"):
   
3.         if isinstance(div, bs4.element.Tag):
   
4.             ulist.append(div.string)
   

复制代码

我应该是这里的问题，我学习和查询了您的这一部分的代码，理解了以后我觉得对我以后写代码很有帮助，非常感谢您！！