有道翻译最新版爬虫，解析反爬虫了，不要再问{"errorCode":50}错误怎么办了

gopythoner

昨天（2018年3月14日晚）刚写的有道翻译爬虫，新鲜出炉，拿到就可以用了

其实有道翻译的反爬虫就是sign的md5加密

具体的js代码如下：

1. var n = b.val(),
   
2.             r = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10)),
   
3.             o = u.md5(S + n + r + D),
   
4.             a = n.length;
   
5.         if (L(), w.text(a), a > 5e3) {
   
6.             var l = n;
   
7.             n = l.substr(0, 5e3), o = u.md5(S + n + r + D);
   
8.             var c = l.substr(5e3);
   
9.             c = (c = c.trim()).substr(0, 3), u("#inputTargetError").text("有道翻译字数限制为5000字，“" + c + "”及其后面没有被翻译!").show(), w.addClass("fonts__overed")
   
10.         } else w.removeClass("fonts__overed"), u("#inputTargetError").hide();
    
11.         f.isWeb(n) ? i() : s({
    
12.             i: n,
    
13.             from: _,
    
14.             to: C,
    
15.             smartresult: "dict",
    
16.             client: S,
    
17.             salt: r,
    
18.             sign: o,
    
19.             doctype: "json",
    
20.             version: "2.1",
    
21.             keyfrom: "fanyi.web",
    
22.             action: e || "FY_BY_DEFAULT",
    
23.             typoResult: !1

复制代码

使用Python实现salt和sign参数的获取代码：

1. def get_md(self, value):
   
2.         '''md5加密'''
   
3.         m = hashlib.md5()
   
4.         # m.update(value)
   
5.         m.update(value.encode('utf-8'))
   
6.         return m.hexdigest()
   
7. 
   
8.     def get_salt(self):
   
9.         '''根据当前时间戳获取salt参数'''
   
10.         s = int(time.time() * 1000) + random.randint(0, 10)
    
11.         return str(s)
    
12. 
    
13.     def get_sign(self):
    
14.         '''使用md5函数和其他参数，得到sign参数'''
    
15.         s = "fanyideskweb" + self.msg + self.salt + self.D
    
16.         return self.get_md(s)

复制代码

得到关键参数，data就有了：

1. data = {
   
2.             'i': self.msg,
   
3.             'from': 'AUTO',
   
4.             'to': 'AUTO',
   
5.             'smartresult': 'dict',
   
6.             'client': 'fanyideskweb',
   
7.             'salt': self.salt,
   
8.             'sign': self.sign,
   
9.             'doctype': 'json',
   
10.             'version': '2.1',
    
11.             'keyfrom': 'fanyi.web',
    
12.             'action': 'FY_BY_CL1CKBUTTON',
    
13.             'typoResult': 'true'
    
14.         }

复制代码

最后还要加上headers才行，然而我经过试探，发现headers里面有几个参数是必须的，其他的是非必须的：

1. headers = {
   
2.             # 'Accept': 'application/json, text/javascript, */*; q=0.01',
   
3.             # 'Accept-Encoding': 'gzip, deflate',
   
4.             # 'Accept-Language': 'zh-CN,zh;q=0.9,mt;q=0.8',
   
5.             # 'Connection': 'keep-alive',
   
6.             # 'Content-Length': '240',
   
7.             # 'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
   
8.             'Cookie': 'OUTFOX_SEARCH_USER_ID=-2022895048@10.168.8.76;',
   
9.             # 'Host': 'fanyi.youdao.com',
   
10.             # 'Origin': 'http://fanyi.youdao.com',
    
11.             'Referer': 'http://fanyi.youdao.com/',
    
12.             'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; rv:51.0) Gecko/20100101 Firefox/51.0',
    
13.             # 'X-Requested-With': 'XMLHttpRequest'
    
14.         }

复制代码

算上这些，就可以去请求了，看看运行的效果，直接翻译，妥妥的


查看完整代码需要回复，我隐藏了爬虫的分析过程和完整代码请查看http://www.tendcode.com/article/youdao-spider/

煎蛋网的爬虫在这里煎蛋网妹子图爬虫
顺便说一下，大家爬别人的网站，如果不是特别的原因，尽量设置延时时间，不要过于频繁的爬取

basketmn

大佬们，JS文件是怎么打开的，怎么看里面的内容

大脑袋硕鼠

ttt

yang阳阳阳阳

。。。

15K

厉害厉害

凌波微步0o0

试试看

clyang12s@imr.a

大佬，挖坟

雪地跪求，第一段js的代码，是如何获得的呢？

shizhiyuan

好像现在有道fanyi.min.js代码又变了。。定义了一个generateSaltSign方法。。不知道在哪里能找到方法的源码。。

彭昌健

666

Chris·Allen

嗄

qchzhw

scorpio987987

膜拜

Aihechunniunai

大佬  我想问一下我在network没有看到有js文件，是在哪里找呢 Elements吗？ 现在有道又加了一个form data

captainz

好像把我的url里面的‘_o’去掉也可以的，和小甲鱼演示出来的结果就一样了

小浩克

学习

python女王大人

19年 python v3.6，那套代码已经不行了，修修补补还是error code：50

python女王大人

    我的第一个爬虫程序就死在了error code：50上了

绯想天天子

学到了，感谢

Johnstar

这个厉害了，谢谢楼主

yukimmm

看看完整代码

huguo002

感谢老哥分享！！