爬“丁香网”最新的肺炎数据，并保存csv文件

luoyunjian

import requests
import re
import json
import pandas as pd
#import time
from datetime import datetime

#1、获取网页源码
def gethtml():
    #伪装（程序——》浏览器）头部信息
    headers ={'user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
    url = 'https://ncov.dxy.cn/ncovh5/view/pneumonia'
   
    page = requests.get(url,headers-headers).content.decode('utf-8')
   # print(page)

#2、解析全球数据   
    reg = '<script id="getListByCountryTypeService2">([^<]+)'
    data = re.findall(reg,page)[0][43:-11]#匹配切片取值 可使用split分割
    #print(data)
#3、数据分析处理  
    #字符转换
    data = json.loads(data)
    #print(type(data))
    #时间戳--正常格式
    for row in data:
        for key in row:
            if key in ['createTime','modifyTime']:
                row[key] = datetime.fromtimestamp(row[key]/1000).strftime("%Y-%m-%d %H:%M:%S")
            #print(row[key])
   
    df = pd.DataFrame(data)
    #print(df)      
    df.to_csv("最新的肺炎数据.csv",mode = "a",encoding = "UTF_8_SIG")
        
gethtml()
   
   

GKCurtain

可以的