[已解决]python爬虫代码问题

当回首遇上转身

操作系统：Windows 7      Python版本 3.5.2
求解两行选定代码应该怎么修改？

"""

1. import urllib.request
   
2. import urllib.parse
   
3. import json
   
4. 
   
5. content = input("请输入需要翻译的内容：")
   
6. 
   
7. url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule&sessionFrom=null'
   
8. data = {}
   
9. # data['i'] = 'I love FishC.com'
   
10. data['i'] = content
    
11. data['from'] = 'AUTO'
    
12. data['to'] = 'AUTO'
    
13. data['smartresult'] ='dict'
    
14. data['client'] = 'fanyideskweb'
    
15. data['salt'] = '1493538230701'
    
16. data['sign'] = '7b50be5ddda95bce3d4b7b9404647cec'
    
17. data['doctype'] = 'json'
    
18. data['version'] = '2.1'
    
19. data['keyfrom'] = 'fanyi.web'
    
20. data['action'] = 'FY_BY_CTRL_ENTER'
    
21. data['typoResult'] = 'true'
    
22. data = urllib.parse.urlencode(data).encode('utf-8')
    
23. 
    
24. response = urllib.request.urlopen(url,data)
    
25. html = response.read().decode('utf-8')
    
26. 
    
27. print(html)
    
28. 
    
29. """
    
30. target = json.loads(html)
    
31. print("翻译结果：%s"%(target['translateResult'][0][0]['tgt']))
    
32. """

复制代码

求解这两行代码如何修改？

1. data['salt'] = '1493538230701'
   
2. data['sign'] = '7b50be5ddda95bce3d4b7b9404647cec'

复制代码

最佳答案

月排行榜 / 总排行榜

jerryxjr1220

2017-4-30 16:26:57

data['salt'] = '1493538230701'  这个应该是个时间戳，
data['sign'] = '7b50be5ddda95bce3d4b7b9404647cec' 应该是根据时间戳+你要翻译的内容加密后生成的验证字段。
除非你知道网站的加密方法，不然基本上是破解不了的，所以你直接这样爬是爬不到的，只会返回给你一个错误代码。
解决办法有2个：
1. 同样是有道翻译，url和data用下面这个

1.     url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc'
   
2.     data = {
   
3.         "type" : "AUTO",
   
4.         "i" : sentence,
   
5.         "doctype" : "json",
   
6.         "xmlVersion" : "1.8",
   
7.         "keyfrom" : "fanyi.web",
   
8.         "ue" : "UTF-8",
   
9.         "action" : "FY_BY_CLICKBUTTON",
   
10.         "typoResult" : "true"
    
11.     }

复制代码

这个是不需要验证字段的，所以可以直接爬。

2.如果你一定要爬你这个页面的话，那就用selenium+phantomjs模拟浏览器，也是可以爬到的，但是速度会比较慢一些。

跳转到最佳答案楼层

jerryxjr1220

data['salt'] = '1493538230701'  这个应该是个时间戳，
data['sign'] = '7b50be5ddda95bce3d4b7b9404647cec' 应该是根据时间戳+你要翻译的内容加密后生成的验证字段。
除非你知道网站的加密方法，不然基本上是破解不了的，所以你直接这样爬是爬不到的，只会返回给你一个错误代码。
解决办法有2个：
1. 同样是有道翻译，url和data用下面这个

1.     url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc'
   
2.     data = {
   
3.         "type" : "AUTO",
   
4.         "i" : sentence,
   
5.         "doctype" : "json",
   
6.         "xmlVersion" : "1.8",
   
7.         "keyfrom" : "fanyi.web",
   
8.         "ue" : "UTF-8",
   
9.         "action" : "FY_BY_CLICKBUTTON",
   
10.         "typoResult" : "true"
    
11.     }

复制代码

这个是不需要验证字段的，所以可以直接爬。

2.如果你一定要爬你这个页面的话，那就用selenium+phantomjs模拟浏览器，也是可以爬到的，但是速度会比较慢一些。

请叫我学术帝

我也碰到这个问题了前几天，应该是加密了。

当回首遇上转身

jerryxjr1220 发表于 2017-4-30 16:26
data['salt'] = '1493538230701'  这个应该是个时间戳，
data['sign'] = '7b50be5ddda95bce3d4b7b9404647c ...

谢谢大神解答

春风过江南

jerryxjr1220 发表于 2017-4-30 16:26
data['salt'] = '1493538230701'  这个应该是个时间戳，
data['sign'] = '7b50be5ddda95bce3d4b7b9404647c ...

请问大神：
        我写的代码可以英文翻译为中文，但中文翻译英文就变成乱码了，这是怎么回事？

jerryxjr1220

春风过江南 发表于 2017-5-3 16:50
请问大神：
        我写的代码可以英文翻译为中文，但中文翻译英文就变成乱码了，这是怎么回事？

把你的代码和错误信息贴上来，不然怎么分析？

春风过江南

春风过江南 发表于 2017-5-3 16:50
请问大神：
        我写的代码可以英文翻译为中文，但中文翻译英文就变成乱码了，这是怎么回事？

问题描述：
        我按照大神修改的data代码，重新运行了，英文可以翻译成中文，但中文翻译英文的时候报错了。
请大神帮帮我，谢谢！！！

春风过江南

jerryxjr1220 发表于 2017-5-3 17:48
把你的代码和错误信息贴上来，不然怎么分析？

不用麻烦大神了，我找到问题所在了。
我把{data['ue'] = 'UTF-8'}中的“UTF-8”横杠中间加空格了，导致中文文无法转换成英文。
谢谢大神关注！

AIR信

请问楼上大神，我的这个按照您说的改仍然报错和楼主一样，请问可以帮忙看一下吗？F:\daima.png

AIR信

就是这个代码，第一次发图片不太会，不好意思

AIR信

jerryxjr1220 发表于 2017-4-30 16:26
data['salt'] = '1493538230701'  这个应该是个时间戳，
data['sign'] = '7b50be5ddda95bce3d4b7b9404647c ...

您好，我照您的改完仍然和楼主一样报错，可以帮忙看一下吗？

AIR信

AIR信 发表于 2017-5-23 17:50
您好，我照您的改完仍然和楼主一样报错，可以帮忙看一下吗？

是因为有道的后台支持又有什么其他改变吗？

尊称邓天王

jerryxjr1220 发表于 2017-4-30 16:26
data['salt'] = '1493538230701'  这个应该是个时间戳，
data['sign'] = '7b50be5ddda95bce3d4b7b9404647c ...

你这个URL和data 是怎么来的 根据什么得到的

1304539791

只要把07.url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule&sessionFrom=null'中translate_o?后面的“_o”去掉就好了，其他比如时间戳什么的都不用改。其他的URL也是一样，去掉“_o”就好，无知小白纠结了一天摸索出的答案。
还有就是有人知道怎么获得最佳答案中提到的URL吗，我发现这个问题其实和data没有关系，都是URL的锅。

cjb2008508

1304539791 发表于 2017-7-15 19:26
只要把07.url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule&sessionFrom=nu ...

我也发现了。去掉_o 就可以了，小甲鱼老师视频讲解时候的URL有道是没有_o的，不知道是不是有道的一个模糊地址的方式，哪位大神可以解释一下吗？

1304539791

可是你知道怎么获得最佳答案中提到的URL吗？我下了几个版本的Google浏览器，也不能得到视频中的URL。

连清

多谢大神们解答

python170816

真不错，去了url的_o解决问题

holistic杀手

没错，是url的锅，那么问题来了，最佳答案根据时间戳来生成验证码加密是什么意思

骚强么么哒

1304539791 发表于 2017-7-15 19:26
只要把07.url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule&sessionFrom=nu ...

真的是这个问题。这么发现的？？？？？为什么和_o有关系？？？