[已解决][爬虫求助]写爬虫时遇到的编码问题

liyaning13

本来想写一个工具来用，查询ip的，但是写到一般发现响应值是乱码，试了很多解码都不行，求助啊~~
搞不懂这个上传图片是咋回事，我就把乱码放这了：�  ��n�������IHo3Lb����v��ۦy�I���gs��h��Io
K��jo�y�M'�0=LB+�d����ΪM���zl���דIޠF)�>��"�����C���B��2�d�
代码如下

1. import requests
   
2. import re
   
3. 
   
4. def bl():
   
5.     ip = input('请输入需要查询的ip：')
   
6.     url = 'https://tool.lu/ip/ajax.html'
   
7.     hd = {
   
8.         'authority': 'tool.lu',
   
9.         'method': 'POST',
   
10.         'path': '/ip/ajax.html',
    
11.         'scheme': 'https',
    
12.         'accept': 'application/json, text/javascript, */*; q=0.01',
    
13.         'accept-encoding': 'gzip, deflate, br',
    
14.         'accept-language': 'zh-CN,zh;q=0.9',
    
15.         'content-length': '16',
    
16.         'content-type': 'application/x-www-form-urlencoded; charset=UTF-8',
    
17.         'cookie': 'slim_session=%7B%22slim.flash%22%3A%5B%5D%7D; Hm_lvt_0fba23df1ee7ec49af558fb29456f532=1594350650; Hm_lpvt_0fba23df1ee7ec49af558fb29456f532=1594350650; uuid=44249d0f-d602-4d7f-cd92-61b82a537d04; _access=a5c9592fef166770555234892c9df3f64086907a3d24b1c3ed53a267ad0dff9f',
    
18.         'origin': 'https://tool.lu',
    
19.         'referer': 'https://tool.lu/ip/',
    
20.         'sec-fetch-mode': 'cors',
    
21.         'sec-fetch-site': 'same-origin',
    
22.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36 SLBrowser/6.0.1.6181',
    
23.         'x-requested-with': 'XMLHttpRequest',
    
24.     }
    
25.    
    
26.     data = {
    
27.         'ip': ip,
    
28.     }
    
29.     response = requests.post(url,headers=hd,data=data)
    
30.    
    
31.     print(response.text)
    
32. 
    
33. bl()

复制代码

最佳答案

月排行榜 / 总排行榜

太阳总会升起

2020-7-10 23:11:37

是headers里面第六行

1. 'accept-encoding': 'gzip, deflate, br',

复制代码

这一句的问题
具体解释你可以看这个网页https://blog.csdn.net/mycar001/article/details/78391028
只要删除这一行就可以爬到网页源码了

跳转到最佳答案楼层

liyaning13

额......其实乱码不是这样的，是一堆黑色问好外加许多框框

太阳总会升起

是headers里面第六行

1. 'accept-encoding': 'gzip, deflate, br',

复制代码

这一句的问题
具体解释你可以看这个网页https://blog.csdn.net/mycar001/article/details/78391028
只要删除这一行就可以爬到网页源码了

Tip0

加上 reuqests.encoding = 'utf-8'试试看