[已解决]爬虫问题

元豪

跟着小甲鱼写程序但运行不起来
https://www.bilibili.com/video/BV1Fs411A7HZ/?p=55&spm_id_from=pageDriver&vd_source=7e03b4dee8e084d03879d74acd3a0772
在第15分5秒左右，
跟小甲鱼写了半天，结果输出这玩意儿：

1. {"errorCode":50}

复制代码

我在有道翻译看到的Form Data是这样的：

1. i: I love FishC.com!
   
2. from: AUTO
   
3. to: AUTO
   
4. smartresult: dict
   
5. client: fanyideskweb
   
6. salt: 16640232015992
   
7. sign: 4bb24289fa0e792d3c2fd56096b5ad78
   
8. lts: 1664023201599
   
9. bv: 79d103f0086f0e2586344a7cd1b549d7
   
10. doctype: json
    
11. version: 2.1
    
12. keyfrom: fanyi.web
    
13. action: FY_BY_CLICKBUTTION

复制代码

这是我的代码：

1. import urllib.request
   
2. import urllib.parse
   
3. 
   
4. url = 'https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
   
5. data = {}
   
6. 
   
7. data['i'] = 'I love FishC.com!'
   
8. data['from'] = 'AUTO'
   
9. data['to'] = 'AUTO'
   
10. data['smartresult'] = 'dict'
    
11. data['client'] = 'fanyideskweb'
    
12. data['salt'] = '16640215814102'
    
13. data['sign'] = '7d8e358cc52232beadfa7f868aef0a1b'
    
14. data['lts'] = '1664021581410'
    
15. data['bv'] = '79d103f0086f0e2586344a7cd1b549d7'
    
16. data['doctype'] = 'json'
    
17. data['version'] = '2.1'
    
18. data['keyfrom'] = 'fanyi.web'
    
19. data['action'] = 'FY_BY_CLICKBUTTION'
    
20. data = urllib.parse.urlencode(data).encode('utf-8')
    
21. 
    
22. r = urllib.request.urlopen(url, data)
    
23. 
    
24. html = r.read().decode('utf-8')
    
25. 
    
26. print(html)

复制代码

很烦，求大神解释一下

最佳答案

月排行榜 / 总排行榜

临时号

2022-9-24 20:58:13

模拟一下有道的反爬算法就可以了
代码:

1. import urllib.request
   
2. import urllib.parse
   
3. import random
   
4. import time
   
5. import hashlib
   
6. 
   
7. url = 'https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
   
8. headers ={}
   
9. data = {}
   
10. text = "I love FishC.com!"
    
11. 
    
12. lts = str(int(time.time()*1000))
    
13. salt = lts + str(random.randint(0,10))
    
14. sign_str = 'fanyideskweb' + text + salt + 'Ygy_4c=r#e#4EX^NUGUc5'
    
15. m = hashlib.md5(sign_str.encode())
    
16. sign = m.hexdigest()
    
17. 
    
18. headers["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"
    
19. headers["Referer"] = "https://fanyi.youdao.com/"
    
20. headers["Cookie"] = "OUTFOX_SEARCH_USER_ID=1907954952@182.203.147.49; OUTFOX_SEARCH_USER_ID_NCOO=2032702153.1070416; fanyi-ad-id=306808; fanyi-ad-closed=1; ___rl__test__cookies=1654931146702"
    
21. 
    
22. data['i'] = text
    
23. data['from'] = 'AUTO'
    
24. data['to'] = 'AUTO'
    
25. data['smartresult'] = 'dict'
    
26. data['client'] = 'fanyideskweb'
    
27. data['salt'] = salt
    
28. data['sign'] = sign
    
29. data['lts'] = lts
    
30. data['bv'] = '79d103f0086f0e2586344a7cd1b549d7'
    
31. data['doctype'] = 'json'
    
32. data['version'] = '2.1'
    
33. data['keyfrom'] = 'fanyi.web'
    
34. data['action'] = 'FY_BY_CLICKBUTTION'
    
35. data = urllib.parse.urlencode(data).encode('utf-8')
    
36. 
    
37. request = urllib.request.Request(url,data=data,headers=headers)
    
38. r = urllib.request.urlopen(request)
    
39. 
    
40. html = r.read().decode('utf-8')
    
41. 
    
42. print(html)

复制代码

运行结果:

1. {"errorCode":0,"translateResult":[[{"tgt":"我爱FishC.com !","src":"I love FishC.com!"}]],"type":"en2zh-CHS"}
   
2. [Finished in 800ms]

复制代码

跳转到最佳答案楼层

临时号

模拟一下有道的反爬算法就可以了
代码:

1. import urllib.request
   
2. import urllib.parse
   
3. import random
   
4. import time
   
5. import hashlib
   
6. 
   
7. url = 'https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
   
8. headers ={}
   
9. data = {}
   
10. text = "I love FishC.com!"
    
11. 
    
12. lts = str(int(time.time()*1000))
    
13. salt = lts + str(random.randint(0,10))
    
14. sign_str = 'fanyideskweb' + text + salt + 'Ygy_4c=r#e#4EX^NUGUc5'
    
15. m = hashlib.md5(sign_str.encode())
    
16. sign = m.hexdigest()
    
17. 
    
18. headers["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"
    
19. headers["Referer"] = "https://fanyi.youdao.com/"
    
20. headers["Cookie"] = "OUTFOX_SEARCH_USER_ID=1907954952@182.203.147.49; OUTFOX_SEARCH_USER_ID_NCOO=2032702153.1070416; fanyi-ad-id=306808; fanyi-ad-closed=1; ___rl__test__cookies=1654931146702"
    
21. 
    
22. data['i'] = text
    
23. data['from'] = 'AUTO'
    
24. data['to'] = 'AUTO'
    
25. data['smartresult'] = 'dict'
    
26. data['client'] = 'fanyideskweb'
    
27. data['salt'] = salt
    
28. data['sign'] = sign
    
29. data['lts'] = lts
    
30. data['bv'] = '79d103f0086f0e2586344a7cd1b549d7'
    
31. data['doctype'] = 'json'
    
32. data['version'] = '2.1'
    
33. data['keyfrom'] = 'fanyi.web'
    
34. data['action'] = 'FY_BY_CLICKBUTTION'
    
35. data = urllib.parse.urlencode(data).encode('utf-8')
    
36. 
    
37. request = urllib.request.Request(url,data=data,headers=headers)
    
38. r = urllib.request.urlopen(request)
    
39. 
    
40. html = r.read().decode('utf-8')
    
41. 
    
42. print(html)

复制代码

运行结果:

1. {"errorCode":0,"translateResult":[[{"tgt":"我爱FishC.com !","src":"I love FishC.com!"}]],"type":"en2zh-CHS"}
   
2. [Finished in 800ms]

复制代码

Twilight6

url = 'https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'

将 URL 中的 _o 给去掉即可，有道的假链反爬，参考代码：

1. import urllib.request
   
2. import urllib.parse
   
3. 
   
4. url = 'https://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
   
5. data = {}
   
6. 
   
7. data['i'] = 'I love FishC.com!'
   
8. data['from'] = 'AUTO'
   
9. data['to'] = 'AUTO'
   
10. data['smartresult'] = 'dict'
    
11. data['client'] = 'fanyideskweb'
    
12. data['salt'] = '16640215814102'
    
13. data['sign'] = '7d8e358cc52232beadfa7f868aef0a1b'
    
14. data['lts'] = '1664021581410'
    
15. data['bv'] = '79d103f0086f0e2586344a7cd1b549d7'
    
16. data['doctype'] = 'json'
    
17. data['version'] = '2.1'
    
18. data['keyfrom'] = 'fanyi.web'
    
19. data['action'] = 'FY_BY_CLICKBUTTION'
    
20. data = urllib.parse.urlencode(data).encode('utf-8')
    
21. 
    
22. r = urllib.request.urlopen(url, data)
    
23. 
    
24. html = r.read().decode('utf-8')
    
25. 
    
26. print(html)

复制代码

元豪

Twilight6 发表于 2022-9-24 21:01
url = 'https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'

将 URL 中的 _o  ...

红色的一坨

Twilight6

元豪 发表于 2022-9-24 21:07
红色的一坨

你没改参数吧？不应该会报错的，可能是你访问太频繁了。我这里正常执行：



重新拷去运行看看

xiaoyouzi11

我输出是{"type":"EN2ZH_CN","errorCode":0,"elapsedTime":1,"translateResult":[[{"src":"I love FishC.com!","tgt":"我爱FishC.com !"}]]}

元豪

在IDLE和VS code上都不行啊?

元豪

临时号 发表于 2022-9-24 21:09
模拟一下有道的反爬算法就可以了
代码:

成功了，但能解释一下吗？

wp231957

元豪 发表于 2022-9-25 08:02
成功了，但能解释一下吗？

有道的令牌是用md5加密，这需要你去逆向js
这没啥可解释的，真要解释起来，需要好长的篇幅

临时号

元豪 发表于 2022-9-25 08:02
成功了，但能解释一下吗？

在fanyi.min.js这个文件中,定义了对salt,sign,lts的加密算法
在fanyi.min.js的第8380行左右,有这么一段代码

1. var n = e("./jquery-1.7");
   
2. e("./utils");
   
3. e("./md5");
   
4. var r = function(e) {
   
5.     var t = n.md5(navigator.appVersion)
   
6.       , r = "" + (new Date).getTime()
   
7.       , i = r + parseInt(10 * Math.random(), 10);
   
8.     return {
   
9.         ts: r,
   
10.         bv: t,
    
11.         salt: i,
    
12.         sign: n.md5("fanyideskweb" + e + i + "Ygy_4c=r#e#4EX^NUGUc5")
    
13.     }
    
14. };
    
15. t.recordUpdate = function(e) {
    
16.     var t = e.i
    
17.       , i = r(t);
    
18.     n.ajax({
    
19.         type: "POST",
    
20.         contentType: "application/x-www-form-urlencoded; charset=UTF-8",
    
21.         url: "/bettertranslation",
    
22.         data: {
    
23.             i: e.i,
    
24.             client: "fanyideskweb",
    
25.             salt: i.salt,
    
26.             sign: i.sign,
    
27.             lts: i.ts,
    
28.             bv: i.bv,
    
29.             tgt: e.tgt,
    
30.             modifiedTgt: e.modifiedTgt,
    
31.             from: e.from,
    
32.             to: e.to
    
33.         },
    
34.         success: function(e) {},
    
35.         error: function(e) {}
    
36.     })
    
37. }

复制代码

这是一段javascript代码,可以看到
对lts的加密代码是 r = "" + (new Date).getTime()
对salt的加密代码是i = r + parseInt(10 * Math.random(), 10);
对sign的加密代码是n.md5("fanyideskweb" + e + i + "Ygy_4c=r#e#4EX^NUGUc5")
将它们转化为对应的python代码就是
lts:lts = str(int(time.time()*1000))
salt:salt = lts + str(random.randint(0,10))
sign:

1. sign_str = 'fanyideskweb' + text + salt + 'Ygy_4c=r#e#4EX^NUGUc5'
   
2. m = hashlib.md5(sign_str.encode())
   
3. sign = m.hexdigest()

复制代码

以上内容听不懂的没有关系,很正常

元豪

临时号 发表于 2022-9-26 23:05
在fanyi.min.js这个文件中,定义了对salt,sign,lts的加密算法
在fanyi.min.js的第8380行左右,有这么一 ...

(似懂非懂的点点头)emm......

临时号

元豪 发表于 2022-9-27 19:10
(似懂非懂的点点头)emm......

听不懂没关系,我在你这个阶段的时候肯定也听不懂,很正常