[已解决]有道翻译爬虫问题请教

Pyshell

在学习爬虫实战这一讲中，实现有道翻译

其中data里面多了几项每次翻译都是变化的，如下标记的

这样每次返回"errorCode":50。于是怀疑是否是禁止爬虫脚本，增加User-Agent后也不好使。请问是哪里的问题？

1. # p14_2.py
   
2. import urllib.request
   
3. import urllib.parse
   
4. 
   
5. url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"
   
6. 
   
7. data = {}
   
8. head = {}
   
9. 
   
10. data['i'] = 'I love FishC.com!'
    
11. data['from'] = 'AUTO'
    
12. data['to'] = 'AUTO'
    
13. data['smartresult'] = 'dict'
    
14. data['client'] = 'fanyideskweb'
    
15. [backcolor=Magenta]#data['salt'] = '15859858781330'
    
16. #data['sign'] = 'e84cc0ddc3e0c98eff7302d98a328857'
    
17. #data['ts'] = '1585985878133'[/backcolor]
    
18. data['bv'] = '70244e0061db49a9ee62d341c5fed82a'
    
19. data['doctype'] = 'json'
    
20. data['version'] = '2.1'
    
21. data['keyfrom'] = 'fanyi.web'
    
22. data['action'] = 'FY_BY_CLICKBUTTION'
    
23. 
    
24. head['Referer'] = 'http://fanyi.youdao.com/'
    
25. head['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
    
26. 
    
27. data = urllib.parse.urlencode(data).encode('utf-8')
    
28. response = urllib.request.urlopen(url,data,head)
    
29. 
    
30. html = response.read().decode('utf-8')
    
31. print(html)
    

复制代码

最佳答案

月排行榜 / 总排行榜

zltzlt

2020-4-4 17:00:30

将 url 中的 _o 去掉，因为网站增加了反爬虫机制：

1. # p14_2.py
   
2. import urllib.request
   
3. import urllib.parse
   
4. 
   
5. url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"
   
6. 
   
7. data = {}
   
8. 
   
9. data['i'] = 'I love FishC.com!'
   
10. data['from'] = 'AUTO'
    
11. data['to'] = 'AUTO'
    
12. data['smartresult'] = 'dict'
    
13. data['client'] = 'fanyideskweb'
    
14. data['bv'] = '70244e0061db49a9ee62d341c5fed82a'
    
15. data['doctype'] = 'json'
    
16. data['version'] = '2.1'
    
17. data['keyfrom'] = 'fanyi.web'
    
18. data['action'] = 'FY_BY_CLICKBUTTION'
    
19. 
    
20. data = urllib.parse.urlencode(data).encode('utf-8')
    
21. response = urllib.request.urlopen(url, data)
    
22. 
    
23. html = response.read().decode('utf-8')
    
24. print(html)

复制代码

跳转到最佳答案楼层

zltzlt

将 url 中的 _o 去掉，因为网站增加了反爬虫机制：

1. # p14_2.py
   
2. import urllib.request
   
3. import urllib.parse
   
4. 
   
5. url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"
   
6. 
   
7. data = {}
   
8. 
   
9. data['i'] = 'I love FishC.com!'
   
10. data['from'] = 'AUTO'
    
11. data['to'] = 'AUTO'
    
12. data['smartresult'] = 'dict'
    
13. data['client'] = 'fanyideskweb'
    
14. data['bv'] = '70244e0061db49a9ee62d341c5fed82a'
    
15. data['doctype'] = 'json'
    
16. data['version'] = '2.1'
    
17. data['keyfrom'] = 'fanyi.web'
    
18. data['action'] = 'FY_BY_CLICKBUTTION'
    
19. 
    
20. data = urllib.parse.urlencode(data).encode('utf-8')
    
21. response = urllib.request.urlopen(url, data)
    
22. 
    
23. html = response.read().decode('utf-8')
    
24. print(html)

复制代码

Pyshell

zltzlt 发表于 2020-4-4 17:00
将 url 中的 _o 去掉，因为网站增加了反爬虫机制：

能详细解释下原理吗？我目前只学习到通过修改User-Agent来让其认为是浏览器打开

zltzlt

Pyshell 发表于 2020-4-4 17:17
能详细解释下原理吗？我目前只学习到通过修改User-Agent来让其认为是浏览器打开

没有原理，这是固定的（对于爬取有道翻译）

Pyshell

zltzlt 发表于 2020-4-4 17:18
没有原理，这是固定的（对于爬取有道翻译）

好吧。多谢多谢~

老八秘制

1. import urllib.request
   
2. import urllib.parse
   
3. import json
   
4. import time
   
5. 
   
6. while True:
   
7.     content = input('请输入需要翻译的内容(输入"q!"退出程序)：')
   
8.     if content == 'q!':
   
9.         break
   
10.    
    
11.     url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
    
12. 
    
13.     '''
    
14.     head = {}
    
15.     head['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0'
    
16.     '''
    
17. 
    
18.     data = {}
    
19.     data['i'] = content
    
20.     data['type'] = 'AUTO'
    
21.     data['doctype'] = 'json'
    
22.     data['version'] = '1.6'
    
23.     data['keyfrom'] = 'fanyi.web'
    
24.     data['ue'] = 'UTF-8'
    
25.     data['typoResult'] = 'true'
    
26.     data = urllib.parse.urlencode(data).encode('utf-8')
    
27. 
    
28.     req = urllib.request.Request(url, data)
    
29.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0')
    
30. 
    
31.     response = urllib.request.urlopen(req)
    
32.     html = response.read().decode('utf-8')
    
33. 
    
34.     target = json.loads(html)
    
35.     target = target['translateResult'][0][0]['tgt']
    
36. 
    
37.     print(target)
    
38.     time.sleep(5)
    

复制代码

一个账号

老八秘制 发表于 2020-4-4 17:22

？？？？

老八秘制

一个账号 发表于 2020-4-4 17:27
？？？？

这个网址是去掉_o,然后data模块照着小甲鱼写的

Pyshell

老八秘制 发表于 2020-4-4 17:57
这个网址是去掉_o,然后data模块照着小甲鱼写的

C:\Users\Administrator\Desktop\1.jpg

我问的就是为什么要去掉这个_o，从网页“审查元素”看是包含_o的

Pyshell

Pyshell 发表于 2020-4-4 18:28
我问的就是为什么要去掉这个_o，从网页“审查元素”看是包含_o的

见图片

zltzlt

Pyshell 发表于 2020-4-4 18:29
见图片

因为你是用浏览器访问的，而你用爬虫访问时浏览器认出你是爬虫，所以就返回 {"errorCode":50}

Pyshell

zltzlt 发表于 2020-4-4 20:10
因为你是用浏览器访问的，而你用爬虫访问时浏览器认出你是爬虫，所以就返回 {"errorCode":50}

但是我修改了User-Agent后依然不好使。

又比如下面的例子中修改了User-Agent依然报错HTTP Error 403: Forbidden
显然又是被反爬了。这就搞不懂了。

1. import urllib.request
   
2. import os
   
3. 
   
4. 
   
5. 
   
6. def url_open(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36')
   
9.     response = urllib.request.urlopen(url)
   
10.     html = response.read()
    
11. 
    
12.     return html
    
13. 
    
14. 
    
15. def get_page(url):
    
16.     html = url_open(url).decode('utf-8')
    
17. 
    
18.     a = html.find('current-comment-page') + 23
    
19.     b = html.find(']', a)
    
20. 
    
21.     return html[a:b]
    
22. 
    
23. 
    
24. def find_imgs(url):
    
25.     html = url_open(url).decode('utf-8')
    
26.     img_addrs = []
    
27. 
    
28.     a = html.find('img src=')
    
29. 
    
30.     while a != -1:
    
31.         b = html.find('.jpg', a, a+255)
    
32.         if b != -1:
    
33.             img_addrs.append(html[a+9:b+4])
    
34.         else:
    
35.             b = a + 9
    
36. 
    
37.         a = html.find('img src=', b)
    
38. 
    
39.     return img_addrs
    
40. 
    
41. 
    
42. def save_imgs(folder, img_addrs):
    
43.     for each in img_addrs:
    
44.         filename = each.split('/')[-1]
    
45.         with open(filename, 'wb') as f:
    
46.             img = url_open(each)
    
47.             f.write(img)
    
48. 
    
49. 
    
50. def download_mm(folder='OOXX', pages=10):
    
51.     os.mkdir(folder)
    
52.     os.chdir(folder)
    
53. 
    
54.     url = "http://jandan.net/ooxx/"
    
55.     page_num = int(get_page(url))
    
56. 
    
57.     for i in range(pages):
    
58.         page_num -= i
    
59.         page_url = url + 'page-' + str(page_num) + '#comments'
    
60.         img_addrs = find_imgs(page_url)
    
61.         save_imgs(folder, img_addrs)
    
62. 
    
63. if __name__ == '__main__':
    
64.     download_mm()
    

复制代码

v.ki

zltzlt 发表于 2020-4-4 17:18
没有原理，这是固定的（对于爬取有道翻译）

有原理的，JS在本地生成随机字符串，加上_o会随机生成一个时间戳