[已解决]python爬虫代码问题

当回首遇上转身

操作系统：Windows 7      Python版本 3.5.2
求解两行选定代码应该怎么修改？

"""

1. import urllib.request
   
2. import urllib.parse
   
3. import json
   
4. 
   
5. content = input("请输入需要翻译的内容：")
   
6. 
   
7. url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule&sessionFrom=null'
   
8. data = {}
   
9. # data['i'] = 'I love FishC.com'
   
10. data['i'] = content
    
11. data['from'] = 'AUTO'
    
12. data['to'] = 'AUTO'
    
13. data['smartresult'] ='dict'
    
14. data['client'] = 'fanyideskweb'
    
15. data['salt'] = '1493538230701'
    
16. data['sign'] = '7b50be5ddda95bce3d4b7b9404647cec'
    
17. data['doctype'] = 'json'
    
18. data['version'] = '2.1'
    
19. data['keyfrom'] = 'fanyi.web'
    
20. data['action'] = 'FY_BY_CTRL_ENTER'
    
21. data['typoResult'] = 'true'
    
22. data = urllib.parse.urlencode(data).encode('utf-8')
    
23. 
    
24. response = urllib.request.urlopen(url,data)
    
25. html = response.read().decode('utf-8')
    
26. 
    
27. print(html)
    
28. 
    
29. """
    
30. target = json.loads(html)
    
31. print("翻译结果：%s"%(target['translateResult'][0][0]['tgt']))
    
32. """

复制代码

求解这两行代码如何修改？

1. data['salt'] = '1493538230701'
   
2. data['sign'] = '7b50be5ddda95bce3d4b7b9404647cec'

复制代码

最佳答案

月排行榜 / 总排行榜

jerryxjr1220

2017-4-30 16:26:57

data['salt'] = '1493538230701'  这个应该是个时间戳，
data['sign'] = '7b50be5ddda95bce3d4b7b9404647cec' 应该是根据时间戳+你要翻译的内容加密后生成的验证字段。
除非你知道网站的加密方法，不然基本上是破解不了的，所以你直接这样爬是爬不到的，只会返回给你一个错误代码。
解决办法有2个：
1. 同样是有道翻译，url和data用下面这个

1.     url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc'
   
2.     data = {
   
3.         "type" : "AUTO",
   
4.         "i" : sentence,
   
5.         "doctype" : "json",
   
6.         "xmlVersion" : "1.8",
   
7.         "keyfrom" : "fanyi.web",
   
8.         "ue" : "UTF-8",
   
9.         "action" : "FY_BY_CLICKBUTTON",
   
10.         "typoResult" : "true"
    
11.     }

复制代码

这个是不需要验证字段的，所以可以直接爬。

2.如果你一定要爬你这个页面的话，那就用selenium+phantomjs模拟浏览器，也是可以爬到的，但是速度会比较慢一些。

跳转到最佳答案楼层

当回首遇上转身

jerryxjr1220 发表于 2017-4-30 16:26
data['salt'] = '1493538230701'  这个应该是个时间戳，
data['sign'] = '7b50be5ddda95bce3d4b7b9404647c ...

谢谢大神解答