有道翻译最新版爬虫，解析反爬虫了，不要再问{"errorCode":50}错误怎么办了

gopythoner

昨天（2018年3月14日晚）刚写的有道翻译爬虫，新鲜出炉，拿到就可以用了

其实有道翻译的反爬虫就是sign的md5加密

具体的js代码如下：

var n = b.val(),
            r = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10)),
            o = u.md5(S + n + r + D),
            a = n.length;
        if (L(), w.text(a), a > 5e3) {
            var l = n;
            n = l.substr(0, 5e3), o = u.md5(S + n + r + D);
            var c = l.substr(5e3);
            c = (c = c.trim()).substr(0, 3), u("#inputTargetError").text("有道翻译字数限制为5000字，“" + c + "”及其后面没有被翻译!").show(), w.addClass("fonts__overed")
        } else w.removeClass("fonts__overed"), u("#inputTargetError").hide();
        f.isWeb(n) ? i() : s({
            i: n,
            from: _,
            to: C,
            smartresult: "dict",
            client: S,
            salt: r,
            sign: o,
            doctype: "json",
            version: "2.1",
            keyfrom: "fanyi.web",
            action: e || "FY_BY_DEFAULT",
            typoResult: !1

使用Python实现salt和sign参数的获取代码：

def get_md(self, value):
        '''md5加密'''
        m = hashlib.md5()
        # m.update(value)
        m.update(value.encode('utf-8'))
        return m.hexdigest()

    def get_salt(self):
        '''根据当前时间戳获取salt参数'''
        s = int(time.time() * 1000) + random.randint(0, 10)
        return str(s)

    def get_sign(self):
        '''使用md5函数和其他参数，得到sign参数'''
        s = "fanyideskweb" + self.msg + self.salt + self.D
        return self.get_md(s)

得到关键参数，data就有了：

data = {
            'i': self.msg,
            'from': 'AUTO',
            'to': 'AUTO',
            'smartresult': 'dict',
            'client': 'fanyideskweb',
            'salt': self.salt,
            'sign': self.sign,
            'doctype': 'json',
            'version': '2.1',
            'keyfrom': 'fanyi.web',
            'action': 'FY_BY_CL1CKBUTTON',
            'typoResult': 'true'
        }

最后还要加上headers才行，然而我经过试探，发现headers里面有几个参数是必须的，其他的是非必须的：

headers = {
            # 'Accept': 'application/json, text/javascript, */*; q=0.01',
            # 'Accept-Encoding': 'gzip, deflate',
            # 'Accept-Language': 'zh-CN,zh;q=0.9,mt;q=0.8',
            # 'Connection': 'keep-alive',
            # 'Content-Length': '240',
            # 'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
            'Cookie': 'OUTFOX_SEARCH_USER_ID=-2022895048@10.168.8.76;',
            # 'Host': 'fanyi.youdao.com',
            # 'Origin': 'http://fanyi.youdao.com',
            'Referer': 'http://fanyi.youdao.com/',
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; rv:51.0) Gecko/20100101 Firefox/51.0',
            # 'X-Requested-With': 'XMLHttpRequest'
        }

算上这些，就可以去请求了，看看运行的效果，直接翻译，妥妥的


查看完整代码需要回复，我隐藏了爬虫的分析过程和完整代码请查看http://www.tendcode.com/article/youdao-spider/

煎蛋网的爬虫在这里煎蛋网妹子图爬虫
顺便说一下，大家爬别人的网站，如果不是特别的原因，尽量设置延时时间，不要过于频繁的爬取

zxgfeifei233

膜拜

°蓝鲤歌蓝

前来学习

arsweet

一定要顶一个

StephenShi

大佬

gopythoner

zxgfeifei233 发表于 2018-3-15 11:22
膜拜

我在研究煎蛋网的妹子图的js加密，但是发现对JS太不熟悉了，还没有转化成Python的方式

gopythoner

StephenShi 发表于 2018-3-15 13:40
大佬

这个加密其实还挺基本的，至少没有转太多玩，JS写的也很清晰，看得懂

gopythoner

arsweet 发表于 2018-3-15 13:05
一定要顶一个

可以可以

18310039486

回复

18133942901

哈哈

吃蛋挞、

前来学习

Gailsunset

sda

gopythoner

吃蛋挞、 发表于 2018-3-15 21:12
前来学习

互相学习

喵叔

查看

Chase_Kas

学习下，还没有学到爬虫，先保存资源

JacksonHome

有道反爬虫了= =？

gopythoner

JacksonHome 发表于 2018-3-16 14:48
有道反爬虫了= =？

是了是了，可以sign的获取方式是关键，知道获取的方式就好办了

你霸霸

1

shengxing

controlv

woo