使用爬虫，获得疫情数据（已修正）

Daniel_Zhang

终于修正好了，应该没有bug了吧。。。

1. import re, ssl
   
2. import requests
   
3. import pandas as pd
   
4. 
   
5. city_or_country = []        # 所有国家/地区的疫情信息
   
6. all_data = []        # 暂时没有使用，请等待更新
   
7. 
   
8. def open_url(url):
   
9. # encoding: utf-8
   
10. 
    
11.     headers = {
    
12.     'user-agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    
13.     'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    
14.     'cookie': "_ntes_nuid=48631ba26359e3892a6d0bf6cf52b544; _ntes_nnid=73e9c0b05b63f1d4ac3467f7d86e9b88,1610523997314; _antanalysis_s_id=1610524397238; _ntes_newsapp_install=false; hb_MA-975A-DBD9471124CE_source=www.google.com"
    
15.    
    
16.     }
    
17.     f = open('testing_new.txt','w')
    
18.     ssl._create_default_https_context = ssl._create_unverified_context
    
19.     html = requests.get(url,headers=headers).text # 获取url内容
    
20.     return html
    
21. 
    
22. def get_html(url):
    
23.     html = open_url(url)
    
24.     return html
    
25. 
    
26. '''
    
27. def get_country_or_city_code(url):
    
28.     html = get_html(url)
    
29.     m = r'"name".+?"id".+?,'
    
30.     result = re.findall(m, html)
    
31.     for each in range(len(result)):
    
32.         final = (result[each].split('"'))
    
33.         city_or_country.append([final[3],final[7]])
    
34.     return city_or_country
    
35. '''
    
36. 
    
37. def get_data_all(url):
    
38.     html = get_html(url)
    
39.     index1 = html.index('areaTree') # 获取所需数据部分的其实位置
    
40.     html = html[index1:] # 去除 api 开头的不需要使用到的数据
    
41.     m = r'{"today".+?"name".+?"id"'        # 正则表达式获取所有国家的数据
    
42.     result = re.findall(m, html)
    
43.    
    
44.     for each in range(len(result)):
    
45.         final = (result[each].split('"'))
    
46.         country_data_set = []
    
47.         for every in range(len(final)):
    
48.             while (':' or ',' or '}' or '{') in final[every]:        # 去除掉不必要的符号
    
49.                 if ':' in final[every]:
    
50.                     new_string = ''
    
51.                     new_string = final[every]
    
52.                     new_string = new_string.split(':')[-1]
    
53.                     final[every] = new_string
    
54.                 if ',' in final[every]:
    
55.                     new_string = ''
    
56.                     new_string = final[every]
    
57.                     new_string = new_string.split(',')[0]
    
58.                     final[every] = new_string  
    
59.                 if '}' in final[every]:
    
60.                     new_string = ''
    
61.                     new_string = final[every]
    
62.                     new_string = new_string.split('}')[0]
    
63.                     final[every] = new_string   
    
64.                 if '{' in final[every]:
    
65.                     new_string = ''
    
66.                     new_string = final[every]
    
67.                     new_string = new_string.split('{')[-1]
    
68.                     final[every] = new_string
    
69.             if final[every].isdigit() or final[every] == 'null':        # 获取治愈，死亡等数据，如果是数据或者是 null，则写入到 list 中，否则舍弃
    
70.                 country_data_set.append(final[every])           
    
71.         all_data.append(country_data_set)
    
72. 
    
73.     n = r'"name".+?"id".+?"children"'   # 写入国家/地区名称，编号，数据更新时间
    
74.     result_2 = re.findall(n, html)
    
75.     for each in range(len(result_2)):
    
76.         string1 = result_2[each]
    
77.         new_list = string1.split('"')
    
78.         all_data[each].insert(0,new_list[3])  
    
79.         all_data[each].insert(1,new_list[7])
    
80.         all_data[each].insert(2,new_list[11])
    
81.     return all_data
    
82. 
    
83. def save_as_txt(all_data, title):
    
84.     f = open('covid-19_data_set.txt','w')
    
85.     for each in title:
    
86.         each = str(each).center(25,' ')        # 对齐一下，增加美观
    
87.         f.write(each)
    
88.     f.write('\n')
    
89.     for each_one in all_data:
    
90.         for each in each_one:
    
91.             each = str(each).center(25,' ')        # 对齐一下，增加美观
    
92.             f.write(each)
    
93.         f.write('\n')
    
94.     f.close()
    
95. 
    
96. def save_as_csv(all_data, title):
    
97.     csv = pd.DataFrame(columns=title,data=all_data)
    
98.     csv.to_csv('csv.csv',index=False,encoding='utf_8_sig')
    
99. 
    
100. if __name__ == "__main__":
     
101.     url = 'https://c.m.163.com/ug/api/wuhan/app/data/list-total?t=322104795402'
     
102.     '''get_country_or_city_code(url)'''
     
103.     all_data = get_data_all(url)
     
104.   
     
105.     title = ['name','id','lastUpdateTime','today_confirm','today_suspect','today_heal','today_dead','today_severe','today_storeConfirm','total_confirm','total_suspect','total_heal','total_dead','total_severe','total_input','newConfirm','newDead','newHeal']        # 文件表头
     
106.     enter = input('please enter the number here: 1. save as txt file 2. save as csv file\n')
     
107.     if enter.isdigit():
     
108.         if int(enter) == 1:
     
109.             save_as_txt(all_data, title)
     
110.         elif int(enter) == 2:
     
111.             save_as_csv(all_data, title)

复制代码

谢谢各位的观看

稍后会补齐 get_country_or_city_code 函数部分的功能。截至目前，代码可以使用了，get_country_or_city_code 函数只是为了实现按照地区进行搜索所需要的结果，稍后会更新出来~

sinaop

。试试

心驰神往

顶

hornwong

感谢分享！

19924269098

谢谢！

昨非

昨非

Cool_Breeze

中奖了！

xxwoaini897

excel乱码了。

gghu

Daniel_Zhang

xxwoaini897 发表于 2021-1-14 13:54
excel乱码了。

啥乱码？######这种？如果是的话，那就把那一行拉开就能显示了。

如果不是，请仔细描述一下问题，谢谢！

我这里运行的结果是这样的：

Daniel_Zhang

xxwoaini897 发表于 2021-1-14 13:54
excel乱码了。

啊哈哈，不好意思哈，我刚查了一下百度，因为我是mac系统，所以在运行的时候不会出现这个问题，在 win 里面才会有这个问题

解决方式：
在输出成csv格式的时候，将原来的 csv.to_csv('csv.csv') 代码改成如下
csv.to_csv('csv.csv',index=False,encoding='utf_8_sig')

SomeThing9

大佬膜拜

SomeThing9

再来一次

Wei_Jian_Xian

我想要鱼币

Wei_Jian_Xian

再来一次

guhusf

zgwzgw

呆萌的月饼不呆

太赞啦

bhcqzf

感谢分享