[已解决]关于爬虫的小问题

Qking

先上代码，注释掉的部分是实在没办法，按小甲鱼老师的书上源代码打的试了一下,而且参数里面为什么没有'ue','type','xmlVersion'

1. 
   
2. import urllib.request as re
   
3. import urllib.parse as par
   
4. import json
   
5. 
   
6. content = input("请输入需要翻译的内容：")
   
7. url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
   
8. #url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=http://www.youdao.com/"
   
9. data = {}
   
10. head = {}
    
11. head['Referer'] = 'http://fanyi.youdao.com/'
    
12. head['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0'
    
13. data['from'] = 'AUTO'
    
14. data['doctype'] = 'json'
    
15. #data['type'] = 'AUTO'
    
16. #data['xmlVersion'] = '1.6'
    
17. #data['ue'] = 'UTF-8'
    
18. data['version'] = '2.1'
    
19. data['key.from'] = 'fanyi.web'
    
20. data['typoResult'] = 'false'
    
21. #data['typoResult'] = 'true'
    
22. data['to'] = 'AUTO'
    
23. data['i'] = content
    
24. data = par.urlencode(data).encode('utf - 8')
    
25. 
    
26. req = re.Request(url,data,head)
    
27. response = re.urlopen(req)
    
28. html = response.read().decode('utf - 8')
    
29. target = json.loads(html)
    
30. print("翻译的结果：%s"%(target['translateResult'][0][0]['tgt']))
    

复制代码

最佳答案

月排行榜 / 总排行榜

°蓝鲤歌蓝

2018-2-11 11:08:31

1. url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'

复制代码

把里面的 '_o' 去掉。

跳转到最佳答案楼层

新手·ing

1. def translator(txt):
   
2.     import json
   
3.     import urllib.request
   
4. 
   
5.     url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&sessionFrom=https://www.baidu.com/link'
   
6.     data = {'from': 'AUTO', 'to': 'AUTO', 'smartresult': 'dict', 'client': 'fanyideskweb', 'salt': '1500092479607',
   
7.             'sign': 'c98235a85b213d482b8e65f6b1065e26', 'doctype': 'json', 'version': '2.1', 'keyfrom': 'fanyi.web',
   
8.             'action': 'FY_BY_CL1CKBUTTON', 'typoResult': 'true', 'i': txt}
   
9. 
   
10.     data = urllib.parse.urlencode(data).encode('utf-8')
    
11.     wy = urllib.request.urlopen(url, data)
    
12.     html = wy.read().decode('utf-8')
    
13.     ta = json.loads(html)
    
14.     return ta['translateResult'][0][0]['tgt']

复制代码

有道也很难啊，小甲鱼老师带起了一波人爬它，所以他改了，这个应该能用。

°蓝鲤歌蓝

1. url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'

复制代码

把里面的 '_o' 去掉。

Qking

°蓝鲤歌蓝 发表于 2018-2-11 11:08
把里面的 '_o' 去掉。

。。。为什么  居然真的可以了。。。可是请求网址里面有'_o'啊...

°蓝鲤歌蓝

Qking 发表于 2018-2-11 11:24
。。。为什么  居然真的可以了。。。可是请求网址里面有'_o'啊...

不好意思，原因一直没找到，我觉得是有道的加密措施。
楼上大佬的代码也是网址里面没有 '_o' 才能爬取。

Qking

新手·ing 发表于 2018-2-11 11:07
有道也很难啊，小甲鱼老师带起了一波人爬它，所以他改了，这个应该能用。

大佬  你知道为什么去掉url里面的'_o'就可以了吗？

新手·ing

Qking 发表于 2018-2-11 11:30
大佬  你知道为什么去掉url里面的'_o'就可以了吗？

不给我最佳。

新手·ing

Qking 发表于 2018-2-11 11:30
大佬  你知道为什么去掉url里面的'_o'就可以了吗？

这个。。。
就是上面那个大佬的解释，有道的加密，后来被破解了，解法就是去掉_o。

新手·ing

Qking 发表于 2018-2-11 11:30
大佬  你知道为什么去掉url里面的'_o'就可以了吗？

这个。。
就是上面那个大佬的解释，加密了。