[已解决]为什么我只爬到第一行表头，如何才能爬到所有国家的呢？

Y小y

1. #爬取世界各国疫情数据
   
2. import urllib.request as request
   
3. import io
   
4. 
   
5. def download(url:str):
   
6.     response = request.urlopen(url)
   
7.     textIOWrapper = io.TextIOWrapper(buffer=response,encoding="UTF-8")
   
8.     html=textIOWrapper.read()
   
9.     return html
   
10. url = "https://wp.m.163.com/163/page/news/virus_report/index.html?_nw_=1&_anw_=1"
    
11. html=download(url=url)
    
12. 
    
13. from bs4 import BeautifulSoup
    
14. FIELDS = ('name', 'today_confirm','confirm','dead','heal')# 定义要抓取的各列的标识
    
15. def bs_scraper(html):
    
16.     # parse the HTML
    
17.     soup = BeautifulSoup(html, features='html.parser')
    
18.     body = soup.find(name='body')
    
19.     results = {}
    
20.     div_1 = body.find_all(name='div', attrs={'class': 'overseas_list_nation'})
    
21.     print(div_1)
    
22.     for div in div_1:
    
23.         for field in FIELDS:
    
24.             div_2 = div.find(name='div', attrs={'class': 'overseas_list_%s' % field})
    
25.             results[field] = div_2.text
    
26.     print(results)
    
27.     return results
    
28. 
    
29. bs_scraper(html)

复制代码

最佳答案

月排行榜 / 总排行榜

Daniel_Zhang

2021-1-13 17:07:34

接着上面大佬给的 api，里面再每个国家/地区后头都会有一个 id 号

这里找到了另外一个 api，可以获取指定国家/地区每一天的数据（包含历史数据）

https://c.m.163.com/ug/api/wuhan ... ea-code?areaCode=10

只需要把areaCode=后面的数字改成对应国家/地区的id就可以了。例如：中国的id为 0 那么 对应的 url 为 https://c.m.163.com/ug/api/wuhan ... rea-code?areaCode=0

跳转到最佳答案楼层

YunGuo

网页源代码没有数据，都是js动态加载的，你这样怎么可能爬的到？
疫情数据去爬这个接口：https://c.m.163.com/ug/api/wuhan/app/data/list-total?t=322104795402

Daniel_Zhang

YunGuo 发表于 2021-1-13 15:59
网页源代码没有数据，都是js动态加载的，你这样怎么可能爬的到？
疫情数据去爬这个接口：https://c.m.163. ...

大佬，我想问一下，你是如何获得到这个api的呢？求教

Daniel_Zhang

接着上面大佬给的 api，里面再每个国家/地区后头都会有一个 id 号

这里找到了另外一个 api，可以获取指定国家/地区每一天的数据（包含历史数据）

https://c.m.163.com/ug/api/wuhan ... ea-code?areaCode=10

只需要把areaCode=后面的数字改成对应国家/地区的id就可以了。例如：中国的id为 0 那么 对应的 url 为 https://c.m.163.com/ug/api/wuhan ... rea-code?areaCode=0