[已解决]关于爬虫问题

490440758

1. import requests
   
2. 
   
3. #反爬 让服务器知道你是浏览器
   
4. header = {
   
5.         'Accept':'application/json, text/javascript, */*; q=0.01',
   
6.         'Accept-Encoding':'gzip, deflate, br',
   
7.         'Accept-Language':'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
   
8.         'Cache-Control':'no-cache',
   
9.         'Connection':'keep-alive',
   
10.         'Content-Length':'26',
    
11.         'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8',
    
12.         # 'Cookie':'JSESSIONID=ABAAABAAAGGABCB94CE…4f8c049724acf82ab15b71c77002d', #记住账号信息，不需要
    
13.         'Host':'www.lagou.com',
    
14.         'Pragma':'no-cache',
    
15.         'Referer':'https://www.lagou.com/jobs/lis…ds=&fromSearch=true&suginput=',
    
16.         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0',
    
17.         'X-Anit-Forge-Code':'0',
    
18.         'X-Anit-Forge-Token':'None',
    
19.         'X-Requested-With':'XMLHttpRequest'
    
20.         }
    
21. 
    
22. for n in range(1, 2):
    
23.     # 真实地址
    
24.     url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&isSchoolJob=0'
    
25. 
    
26.     # 提交数据
    
27.     dat = {'first':'false',
    
28.            'pn':'3',
    
29.            'kd':'python'}
    
30. 
    
31.     html = requests.post(url, data=dat, headers=header)
    
32. 
    
33. html.status_code
    
34. #html.text

复制代码

出现了UnicodeEncodeError: 'latin-1' codec can't encode character '\u2026' in position 30: ordinal not in range(256)

求问大腿们为什么出现这个问题以及怎么解决，万分感谢

最佳答案

月排行榜 / 总排行榜

wongyusing

2018-9-2 16:41:42

你的Referer键的参数出现了省略号…
导致python无法解读

跳转到最佳答案楼层

像番茄加两个蛋

这里都是来学习的，估计很少人懂

8306最硬

虽然不懂，但是我打开网址只有一条信息
{"success":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"121.32.32.112"}
确定这网址有效么 而且目测header设置错了

skb666

你爬的太快了。。。
字符编码还有问题。。

幽梦三影

把.text换成.content.decode()

skb666

。ilovefishc.com

wongyusing

你的Referer键的参数出现了省略号…
导致python无法解读

waitforlove

7楼正解

wongyusing

给个最佳吧，以后发现这类报错信息，留意一下报错信息被双引号包起来的内容，
例如，你这里的\是 u2026  
把它拿去谷歌一下，答案就出来了

whdd

whdd

whdd

钱闻韬

学习学习

wongyusing

我去，大胸弟。
你是有多久没上线了？？？
我都忘记有这个问题了。

小小小菜菜菜

很好

小小小菜菜菜

顶帖子得鱼币