55课爬虫：隐藏 代码运行结果显示UnicodeEncodeError

holistic杀手

代码如下

1. import urllib.request
   
2. import urllib.parse
   
3. import json
   
4. 
   
5. content = input("请输入需要翻译的内容：")
   
6. url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
   
7. 
   
8. head ={}
   
9. head['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/55.0 '
   
10. 
    
11. 
    
12. data ={}
    
13. data['i']= content
    
14. data['from']='AUTO'
    
15. data['to'] = 'AUTO'
    
16. data['doctype']='json'
    
17. data['version']='2.1'
    
18. data['keyfrom']='fanyi.web'
    
19. data['action']='FY_BY_CLICKBUTTION'
    
20. data['typoResult']='true'
    
21. data = urllib.parse.urlencode(data).encode('utf-8')
    
22. 
    
23. req = urllib.request.Request(url,data,head)
    
24. response = urllib.request.urlopen(req)
    
25. html = response.read().decode('utf-8')
    
26. 
    
27. 
    
28. target = json.loads(html)
    
29. print('翻译结果：%s'%(target['translateResult'][0][0]['tgt']))
    
30. 
    

复制代码

运行结果如下

什么原因啊，跟着小甲鱼老师敲的，为什么总报错呢？

ba21

1. import os,urllib.request
   
2. import urllib.parse
   
3. import json
   
4. a = 5
   
5. while a > 0:
   
6.         txt = input('输入要翻译的内容!')
   
7.         if txt == '0':
   
8.                 break
   
9.                
   
10.         else:
    
11.                 os.chdir('e:\\python')
    
12.                 url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&sessionFrom=https://www.baidu.com/link'
    
13. 
    
14.                 data = {
    
15.                 'from':'AUTO',
    
16.                 'to':'AUTO',
    
17.                 'smartresult':'dict',
    
18.                 'client':'fanyideskweb',
    
19.                 'salt':'1500092479607',
    
20.                 'sign':'c98235a85b213d482b8e65f6b1065e26',
    
21.                 'doctype':'json',
    
22.                 'version':'2.1',
    
23.                 'keyfrom':'fanyi.web',
    
24.                 'action':'FY_BY_CL1CKBUTTON',
    
25.                 'typoResult':'true'}
    
26. 
    
27.                 data['i'] = txt
    
28. 
    
29.                 data = urllib.parse.urlencode(data).encode('utf - 8')
    
30.                 wy = urllib.request.urlopen(url,data)
    
31.                 html = wy.read().decode('utf - 8')
    
32.                 print(html)
    
33. 
    
34.                 ta = json.loads(html)
    
35.                 print('翻译结果: %s '% (ta['translateResult'][0][0]['tgt']))
    
36.                 a = a - 1
    
37.                
    

复制代码

holistic杀手

ba21 发表于 2017-9-3 00:31

什么原因，可以详细讲一下吗

ba21

holistic杀手 发表于 2017-9-3 00:33
什么原因，可以详细讲一下吗

好比你要到鱼C发表贴子，首先要有帐号密码吧。
这里爬虫已经很明确了，你要爬人家网站的数据不是你想要爬就能爬，对于要求不严的好点，如果要求严的你总得提供合理的访问数据（好比帐号密码）

holistic杀手

ba21 发表于 2017-9-3 11:24
好比你要到鱼C发表贴子，首先要有帐号密码吧。
这里爬虫已经很明确了，你要爬人家网站的数据不是你想要 ...

可是还是我这个代码，在不加head之前是可以爬的呀。代码如下

1. import urllib.request
   
2. import urllib.parse
   
3. import json
   
4. 
   
5. content = input("请输入需要翻译的内容：")
   
6. 
   
7. url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
   
8. data ={}
   
9. data['i']= content
   
10. data['from']='AUTO'
    
11. data['to'] = 'AUTO'
    
12. data['doctype']='json'
    
13. data['version']='2.1'
    
14. data['keyfrom']='fanyi.web'
    
15. data['action']='FY_BY_CLICKBUTTION'
    
16. data['typoResult']='true'
    
17. data = urllib.parse.urlencode(data).encode('utf-8')
    
18. 
    
19. response = urllib.request.urlopen(url,data)
    
20. html=response.read().decode('utf-8')
    
21. 
    
22. 
    
23. target = json.loads(html)
    
24. print('翻译结果：%s'%(target['translateResult'][0][0]['tgt']))
    
25. 
    

复制代码

holistic杀手

最后问老师终于知道了我的问题其实是useragent的编码问题，改一下浏览器就好了！！