[已解决]爬虫遇到js

鱼cpython学习者

学了爬虫，打算自己试着爬一些网站，结果发现很多网站都有js加密之类的东西。学爬虫是不是还得学下JavaScript啊？

最佳答案

月排行榜 / 总排行榜

1q23w31

2020-8-29 18:43:02

一般来说不用，遇到js就用selenium爬取，除非遇到那种用requests请求数据包携带js加密的参数那做种情况

跳转到最佳答案楼层

1q23w31

一般来说不用，遇到js就用selenium爬取，除非遇到那种用requests请求数据包携带js加密的参数那做种情况

鱼cpython学习者

1q23w31 发表于 2020-8-29 18:43
一般来说不用，遇到js就用selenium爬取，除非遇到那种用requests请求数据包携带js加密的参数那做种情况

我尝试爬取百度翻译做一个自己的翻译器，结果所有需要的数据都传上去了还是没办法，上网查了说有两个数据参数是反爬虫的，要在js里面找。可是我看那么一大堆js代码就头大，看都看不懂，这种情况是不是得去学？

Twilight6

鱼cpython学习者 发表于 2020-8-29 18:50
我尝试爬取百度翻译做一个自己的翻译器，结果所有需要的数据都传上去了还是没办法，上网查了说有两个数据 ...

如果你真的想研究透彻，可以去学学吧

你可以试试先爬网易的，参考代码：

import urllib.request
import urllib.parse
import json
import time
while True:
    content=input('请输入要翻译的内容（如果结束请输入Esc）：')
    if content=='Esc':
        break
    headers={}
    headers['User-Agent']='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3706.400 SLBrowser/10.0.4040.400'
    url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
    data={'i':content,
        'from':'AUTO',
        'to':'AUTO',
        'smartresult':'dict',
        'client':'fanyideskweb',
        'salt':'15966771704905',
        'sign': '8634c91db8413ef4cfbe684fd030d518',
        'ts': '1596677170490',
        'bv': 'd16528ec6ead722121051f646932f6ab',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action':'FY_BY_REALTlME'}
    data=urllib.parse.urlencode(data).encode('utf-8')
    req = urllib.request.Request(url,data=data,headers=headers)
    response=urllib.request.urlopen(req)
    html=response.read().decode('utf-8')
    target=json.loads(html)
    target=target['translateResult'][0][0]['tgt']
    print(f'{content} ---> {target}')

1q23w31

鱼cpython学习者 发表于 2020-8-29 18:50
我尝试爬取百度翻译做一个自己的翻译器，结果所有需要的数据都传上去了还是没办法，上网查了说有两个数据 ...

那就得学，

鱼cpython学习者

Twilight6 发表于 2020-8-29 20:02
如果你真的想研究透彻，可以去学学吧

你可以试试先爬网易的，参考代码：

有道我爬过，跟百度翻译完全不是一个难度等级，传参数就好了。百度翻译那个参数还有加密，好像要在js里面找的。

鱼cpython学习者

1q23w31 发表于 2020-8-29 20:26
那就得学，

好的，谢谢答复