使用requests库

卍龘卐

从豆瓣中选择一部自己喜欢的电影，爬取电影的100 条短评和评分，并将短评和评分保存为csv 格式
使用BeautifulSoup4 库分析HTML 数据
使用requests 库实现网络爬虫程序

编写一个程序
使用 requests库爬取 2021年全国大学排名，并按格式输出各大学数据，最后绘制 前 10名大学分数柱状图
排名 学校名称 省市 总分 标签（一流大学A类，985，211）

南归

50

suchocolate

先自己动手做，有代码问题再来问。

nahongyan1997

这活二百鱼币我给你干了，不贵吧。

skyrimz

隔这小猿搜题呢？

nahongyan1997

skyrimz 发表于 2021-6-27 09:54
隔这小猿搜题呢？

我怀疑你在打广告

kogawananari

skyrimz 发表于 2021-6-27 09:54
隔这小猿搜题呢？

搁这搁着呢

卍龘卐

1. import json
   
2. import requests
   
3. def getHTMLText(url):
   
4.     try:
   
5.         r = requests.get(url)
   
6.         r.raise_for_status()
   
7.         r.encoding = r.apparent_encoding
   
8.         return r.text
   
9.     except:
   
10.         return ""
    
11. def printUnivList(ulist, html, num):
    
12.     data = json.loads(html)
    
13.     content = data['data']['rankings']
    
14.     for i in range(num):
    
15.         global name
    
16.         global score
    
17.         index = content[i]['rankOverall']
    
18.         name = content[i]['univNameCn']
    
19.         score = content[i]['score']
    
20.         category = content[i]['univTags']
    
21.         ulist.append([index, name, score, str(category)])
    
22.     tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}\t{4:^10}"
    
23.     print(tplt.format("排名", "学校名称", "总分", chr(12288), "标签"))
    
24.     '''chr(12288）为中文空格编码'''
    
25.     for i in range(num):
    
26.         u = ulist[i]
    
27.         print(tplt.format(u[0], u[1], u[2], chr(12288), u[3]))
    
28. def main():
    
29.     uinfo = []
    
30.     url = 'https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021'
    
31.     html = getHTMLText(url)
    
32.     printUnivList(uinfo, html, 10)
    
33. main()

复制代码

少写了省份，
输出的标签['一流大学A类', '985', '211']怎么去掉[]和"
ulist.append([index, name, score, str(category)])为什么没有str()会报错TypeError

卍龘卐

1. import requests
   
2. import pandas
   
3. from bs4 import BeautifulSoup
   
4. r = requests.get('https://book.douban.com/subject/1084336/comments/').text
   
5. soup = BeautifulSoup(r, 'lxml')
   
6. pattern = soup.find_all('span', 'short')
   
7. for item in pattern:
   
8.     print(item.string)
   
9. comments = []
   
10. for item in pattern:
    
11.     comments.append(item.string)
    
12. f = pandas.DataFrame(comments)
    
13. f.to_csv('comments.csv', encoding='utf-8_sig')[color=DeepSkyBlue][/color]

复制代码

怎么用代理对付反爬虫呀

卍龘卐

1. import json
   
2. import requests
   
3. 
   
4. 
   
5. 
   
6. def getHTMLText(url):
   
7.     try:
   
8.         r = requests.get(url)
   
9.         r.raise_for_status()
   
10.         r.encoding = "utf-8"
    
11.         return r.text
    
12.     except:
    
13.         return ""
    
14. 
    
15. 
    
16. def printUnivList(ulist, html, num):
    
17.     data = json.loads(html)
    
18.     global content
    
19.     content = data['data']['rankings']
    
20.     for i in range(num):
    
21.         index = content[i]['rankOverall']
    
22.         name = content[i]['univNameCn']
    
23.         province = content[i]['province']
    
24.         score = content[i]['score']
    
25.         category0 = content[i]['univTags']
    
26.         category1 = str(category0)
    
27.         category = category1.replace('[', '').replace(']', '').replace("'", '')
    
28.         ulist.append([index, name, province, score, category])
    
29.     tplt = "{0:^10}\t{1:^10}\t{2:^10}\t{3:^10}\t{5:^10}"
    
30.     print(tplt.format("排名", "学校名称", "省市", "总分", chr(12288), "标签"))
    
31.     # chr(12288）为中文空格编码
    
32.     for i in range(num):
    
33.         u = ulist[i]
    
34.         print(tplt.format(u[0], u[1], u[2], u[3], chr(12288), u[4]))
    
35. 
    
36. 
    
37. def main():
    
38.     uinfo = []
    
39.     url = 'https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021'
    
40.     html = getHTMLText(url)
    
41.     printUnivList(uinfo, html, 10)
    
42. 
    
43. 
    
44. if __name__ == '__main__':
    
45.     main()

复制代码

剩画图了