Python FAQ 031 有道翻译爬虫代码出错

zltzlt

Python FAQ 031 有道翻译爬虫代码出错

问题

为什么以下代码打印的是 {"errorCode":50} 而不是表示翻译结果的字典？哪里出了问题呢？

1. import urllib.request
   
2. import urllib.parse
   
3. 
   
4. url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"
   
5. 
   
6. data = {}
   
7. 
   
8. data['i'] = 'I love FishC.com!'
   
9. data['from'] = 'AUTO'
   
10. data['to'] = 'AUTO'
    
11. data['smartresult'] = 'dict'
    
12. data['client'] = 'fanyideskweb'
    
13. data['bv'] = '70244e0061db49a9ee62d341c5fed82a'
    
14. data['doctype'] = 'json'
    
15. data['version'] = '2.1'
    
16. data['keyfrom'] = 'fanyi.web'
    
17. data['action'] = 'FY_BY_CLICKBUTTION'
    
18. 
    
19. data = urllib.parse.urlencode(data).encode('utf-8')
    
20. response = urllib.request.urlopen(url, data)
    
21. 
    
22. html = response.read().decode('utf-8')
    
23. print(html)

复制代码

解答

需要将 URL 中的 _o 去掉，因为网站增加了反爬虫机制。改成这样就 OK 了：

1. import urllib.request
   
2. import urllib.parse
   
3. 
   
4. url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"    # 更改
   
5. 
   
6. data = {}
   
7. 
   
8. data['i'] = 'I love FishC.com!'
   
9. data['from'] = 'AUTO'
   
10. data['to'] = 'AUTO'
    
11. data['smartresult'] = 'dict'
    
12. data['client'] = 'fanyideskweb'
    
13. data['bv'] = '70244e0061db49a9ee62d341c5fed82a'
    
14. data['doctype'] = 'json'
    
15. data['version'] = '2.1'
    
16. data['keyfrom'] = 'fanyi.web'
    
17. data['action'] = 'FY_BY_CLICKBUTTION'
    
18. 
    
19. data = urllib.parse.urlencode(data).encode('utf-8')
    
20. response = urllib.request.urlopen(url, data)
    
21. 
    
22. html = response.read().decode('utf-8')
    
23. print(html)

复制代码

sam_wu

我都爬这个爬自闭了，整个人都不好了。 期间尝试了各种办法，改了各种参数，结论就是不去掉_o根本爬不出来

zltzlt

sam_wu 发表于 2020-4-19 21:19
我都爬这个爬自闭了，整个人都不好了。 期间尝试了各种办法，改了各种参数，结论就是不去掉_o根本爬不出来

https://www.jianshu.com/p/5001c75a23c4

笑傲江湖中

解决了我的燃煤之急，跪谢！

谁家大优莓

哇塞！！查了好多好复杂的办法，原来去掉一个_o就可以！！好简单，谢谢楼主！！！

Jinvador

为什么去掉了就能爬出来呀