关于爬虫爬取信息的问题

XiaoPaiShen

你用什么来提取，把你的代码贴一下，才好回答

XiaoPaiShen

foreverc8 发表于 2019-10-18 13:26
这个跟我之前的差不太多，除了我多了个html.parser，而且也没有运行出来啊

我们根本无法爬取该网站的内容，看看根节点的内容如下

1. import requests
   
2. import bs4
   
3. 
   
4. def get_url(url):
   
5.     headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'}
   
6.    
   
7.     res = requests.get(url,headers=headers)
   
8.     return res
   
9. 
   
10. def main():
    
11.     url = 'https://www.opendota.com/heroes/1'
    
12.     hero_list = []        
    
13.     html = get_url(url)
    
14.     html.encoding = 'utf-8'
    
15.    
    
16.     soup = bs4.BeautifulSoup(html.text,'html.parser')
    
17.     targets = soup.html.body.div
    
18.     print(targets.prettify())   
    
19.    
    
20.         
    
21. if __name__ == '__main__':
    
22.     main()
    

复制代码