[已解决]求助第55课爬虫有道翻译，发现多了salt,sign,ts

stone_qaq

学习第55课爬虫有道翻译，发现多了salt,sign,ts
求助啊大佬怎么解呢？百度下来这是反爬虫？
请求正文如下：
   action: FY_BY_CLICKBUTTION
   bv: 908078567e4fa99e9a8b55bb7ca876a4
   client: fanyideskweb
   doctype: json
   from: AUTO
   i: fish
   keyfrom: fanyi.web
   salt: 15811353050948
   sign: 1243ea2509dd83695dbd862e12181df2
   smartresult: dict
   to: AUTO
   ts: 1581135305094
   version: 2.1

最佳答案

月排行榜 / 总排行榜

XiaoPaiShen

2020-2-8 13:47:42

stone_qaq 发表于 2020-2-8 13:34
拜读代码
能说下sign和version函数在进行什么操作吗
build_version用在哪里 了呢是返回给version了吗

根据 有道 的 javascript 逻辑，生成 data 中的 sign, salt, ts, bv
这是 youdao 中简单的防爬机制。

build_version 用在31行， data['bv']

跳转到最佳答案楼层

一个账号

[b]有一些可变的是不用写的。

1. # -*-coding:utf-8-*-
   
2. import urllib.request
   
3. import urllib.parse
   
4. import json
   
5. import time
   
6. import easygui
   
7. 
   
8. from tkinter import *
   
9. from tkinter import ttk
   
10. 
    
11. def translate(event=None):
    
12.     content = et.get()
    
13.     url = r'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
    
14. 
    
15.     data = {}
    
16.     data['i'] = content
    
17.     data['from'] = "AUTO"
    
18.     data['to'] = "AUTO"
    
19.     data['smartresult'] = 'dict'
    
20.     data['client'] = 'fanyideskweb'
    
21.     data['doctype'] = 'json'
    
22.     data['version'] = '2.1'
    
23.     data['keyfrom'] = 'fanyi.web'
    
24.     data['action'] = 'FY_BY_CLICKBUTTION'
    
25.    
    
26.     data = urllib.parse.urlencode(data).encode('utf-8')
    
27. 
    
28.     req = urllib.request.Request(url, data)
    
29.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36')
    
30. 
    
31.     response = urllib.request.urlopen(req)
    
32.     html = response.read().decode('utf-8')
    
33. 
    
34.     target = json.loads(html)
    
35.     target = target['translateResult'][0][0]['tgt']
    
36. 
    
37.     var.set(target)
    
38.     return target
    
39. 
    
40. root = Tk()
    
41. root.title("翻译")
    
42. root.geometry("215x78")
    
43. 
    
44. # 翻译结果
    
45. var = StringVar()
    
46. 
    
47. Label(root, text="翻译内容：").grid(row=0, column=0, sticky=W)
    
48. 
    
49. et = Entry(root)
    
50. et.grid(row=0, column=1, sticky=W)
    
51. et.bind("<Key-Return>", translate)
    
52. et.focus()
    
53. 
    
54. lb = Label(root, text="翻译结果：")
    
55. lb.grid(row=1, column=0, sticky=W)
    
56. 
    
57. et2 = Entry(root, state="readonly", textvariable=var)
    
58. et2.grid(row=1, column=1, sticky=W)
    
59. 
    
60. Button(root, text="翻译", command=translate).grid(row=2, column=0)
    
61. Button(root, text="退出", command=lambda x=0 : root.destroy()).grid(row=2, column=1, sticky=E)
    
62. 
    
63. mainloop()

复制代码

XiaoPaiShen

1. import urllib.request
   
2. import urllib.parse
   
3. import json
   
4. 
   
5. import time
   
6. import random
   
7. import hashlib
   
8. 
   
9. def sign(content, salt):
   
10.         client = 'fanyideskweb'   
    
11.         suffix = 'n%A-rKaT5fb[Gy?;N5@Tj'
    
12. 
    
13.         generated_sign = hashlib.md5((client + content + salt + suffix).encode('utf-8')).hexdigest()
    
14.         return generated_sign
    
15. 
    
16. def version():
    
17.     ver = '5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'
    
18.     build_version = hashlib.md5(ver.encode('utf-8')).hexdigest()
    
19.     return build_version
    
20. 
    
21. def build_data(content):
    
22.     data = dict()
    
23.     data['i'] = content
    
24.     data['from'] = 'AUTO'
    
25.     data['to'] = 'AUTO'
    
26.     data['smartresult'] = 'dict'
    
27.     data['client'] = 'fanyideskweb'
    
28.     data['salt'] = str(int(time.time()*1000) + random.randint(1,10))
    
29.     data['sign'] = sign(content, data['salt'])
    
30.     data['ts'] = str(int(time.time()*1000))
    
31.     data['bv'] = version()
    
32.     data['doctype'] = 'json'
    
33.     data['version'] = '2.1'
    
34.     data['keyfrom'] = 'fanyi.web'
    
35.     data['action'] = 'FY_BY_CLICKBUTTION'
    
36. 
    
37.     return data
    
38. 
    
39. content = '贵在坚持, 持之以恒'
    
40. url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=http://www.youdao.com"
    
41. 
    
42. data = build_data(content)
    
43. data = urllib.parse.urlencode(data).encode('utf-8')
    
44. 
    
45. req = urllib.request.Request(url, data)
    
46. req.add_header('Referer', 'http://fanyi.youdao.com')
    
47. req.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36')
    
48. response = urllib.request.urlopen(req)
    
49. html = response.read().decode('utf-8')
    
50. target = json.loads(html)
    
51. print("翻译结果：%s" % (target['translateResult'][0][0]['tgt']))

复制代码

stone_qaq

XiaoPaiShen 发表于 2020-2-8 12:59

拜读代码
能说下sign和version函数在进行什么操作吗
build_version用在哪里 了呢是返回给version了吗
最后能说下salt,sign,ts,bv是个啥不

stone_qaq

一个账号 发表于 2020-2-8 12:39
有一些可变的是不用写的。

感谢啊。
不加那些个也能运行起来，但是好奇的问下salt,sign,ts的作用是什么呢。有道加这些个有什么用呢

XiaoPaiShen

stone_qaq 发表于 2020-2-8 13:34
拜读代码
能说下sign和version函数在进行什么操作吗
build_version用在哪里 了呢是返回给version了吗

根据 有道 的 javascript 逻辑，生成 data 中的 sign, salt, ts, bv
这是 youdao 中简单的防爬机制。

build_version 用在31行， data['bv']

stone_qaq

import urllib.request
import urllib.parse
import json


content=input('请输入想要翻译的词汇：')

url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'

data = {}
data['i'] = content
data['from'] = "AUTO"
data['to'] = "AUTO"
data['smartresult'] = 'dict'
data['client'] = 'fanyideskweb'
data['doctype'] = 'json'
data['version'] = '2.1'
data['keyfrom'] = 'fanyi.web'
data['action'] = 'FY_BY_CLICKBUTTION'
data=urllib.parse.urlencode(data).encode('utf-8')

response=urllib.request.urlopen(url,data)
html=response.read().decode('utf-8')

target=json.loads(html)

print('翻译结果是：%s'% (target['translateResult'][0][0]['tgt']))


如果不生成data中的sign,salt,ts,bv会有什么区别呢
以上的代码能运行，但会造成什么问题吗

zltzlt

stone_qaq 发表于 2020-2-8 14:03
import urllib.request
import urllib.parse
import json

没有问题，sign,salt,ts,bv 都是随机生成的。

stone_qaq

stone_qaq 发表于 2020-2-8 14:03
import urllib.request
import urllib.parse
import json

有可以用的代理IP不。。。

XiaoPaiShen

Youdao的反爬机制不是很强，没有那几个变量也可以运行

clyang12s@imr.a

XiaoPaiShen 发表于 2020-2-8 12:59

大佬，

弹幕中说的去掉url中_o可以避免掉对‘sault’ ‘sign’ ‘ts’ ‘bv’的检查，这是如何得知的呢？

雪地跪谢

XiaoPaiShen

clyang12s@imr.a 发表于 2020-2-19 19:26
大佬，

弹幕中说的去掉url中_o可以避免掉对‘sault’ ‘sign’ ‘ts’ ‘bv’的检查，这是如何得知的 ...

我印象中，和这个说法正好相反。
如何得知，并不清楚，没有看到相关的逻辑在js中，不知发布者如何发现的

clyang12s@imr.a

XiaoPaiShen 发表于 2020-2-19 21:21
我印象中，和这个说法正好相反。
如何得知，并不清楚，没有看到相关的逻辑在js中，不知发布者如何发现的

谢谢回复！