[已解决]求解一个爬虫问题

伏惜寒

运行程序报错，说编码形式的问题，但是我已经用了utf-8的格式了，求解。（18行那里用了utf-8）

1. import requests
   
2. import re
   
3. 
   
4. 
   
5. class Guoke:
   
6. 
   
7.     def __init__(self):
   
8.         self.url_temp = "https://www.guokr.com/ask/highlight/?page={}"
   
9.         self.headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134"}
   
10. 
    
11.     # 解析网页数据
    
12.     def get_url_list(self):
    
13.         #获取url列表
    
14.         return [self.url_temp.format(i) for i in range(1,51)]
    
15. 
    
16.     def parse_url(self,url):
    
17.         ret = requests.get(url,headers = self.headers)
    
18.         html_str = ret.content.decode("utf-8")
    
19.         return html_str
    
20. 
    
21.     def get_content_list(self,html_str):
    
22.         content_list = re.findall(r'<h2><a target="_blank" href="(.*?)/">(.*?)</a></h2>',html_str,re.S)
    
23.         
    
24.         return content_list
    
25. 
    
26.     def save_content_list(self,content_list):
    
27.         for content in content_list:
    
28.             print(content)
    
29. 
    
30. 
    
31.     def run(self):
    
32.         #获取url列表
    
33.         url_list = self.get_url_list()
    
34. 
    
35.         for url in url_list:
    
36.             html_str = self.parse_url(url)
    
37.             #提取数据
    
38.             content_list = self.get_content_list(html_str)
    
39. 
    
40.             self.save_content_list(content_list)
    
41. 
    
42. if __name__ == '__main__':
    
43.     guoke = Guoke()
    
44.     guoke.run()
    
45. 
    

复制代码

最佳答案

月排行榜 / 总排行榜

_谪仙

2019-2-19 16:12:23

1. ret.encoding = ret.apparent_encoding # 解决编码格式

复制代码

跳转到最佳答案楼层

_谪仙

1. ret.encoding = ret.apparent_encoding # 解决编码格式

复制代码

伏惜寒

_谪仙 发表于 2019-2-19 16:12

这是什么原理？

_谪仙

requests自带的属性，从响应报头中获取编码，在设置网页内容的的编码

_谪仙

或者自己指定的编码：

1. requests.encoding = 'utf8'

复制代码

伏惜寒

_谪仙 发表于 2019-2-19 16:31
或者自己指定的编码：

谢谢