[已解决]爬虫遇到js

鱼cpython学习者

学了爬虫，打算自己试着爬一些网站，结果发现很多网站都有js加密之类的东西。学爬虫是不是还得学下JavaScript啊？

最佳答案

月排行榜 / 总排行榜

1q23w31

2020-8-29 18:43:02

一般来说不用，遇到js就用selenium爬取，除非遇到那种用requests请求数据包携带js加密的参数那做种情况

跳转到最佳答案楼层

1q23w31

一般来说不用，遇到js就用selenium爬取，除非遇到那种用requests请求数据包携带js加密的参数那做种情况

鱼cpython学习者

1q23w31 发表于 2020-8-29 18:43
一般来说不用，遇到js就用selenium爬取，除非遇到那种用requests请求数据包携带js加密的参数那做种情况

我尝试爬取百度翻译做一个自己的翻译器，结果所有需要的数据都传上去了还是没办法，上网查了说有两个数据参数是反爬虫的，要在js里面找。可是我看那么一大堆js代码就头大，看都看不懂，这种情况是不是得去学？

Twilight6

鱼cpython学习者 发表于 2020-8-29 18:50
我尝试爬取百度翻译做一个自己的翻译器，结果所有需要的数据都传上去了还是没办法，上网查了说有两个数据 ...

如果你真的想研究透彻，可以去学学吧

你可以试试先爬网易的，参考代码：

1. import urllib.request
   
2. import urllib.parse
   
3. import json
   
4. import time
   
5. while True:
   
6.     content=input('请输入要翻译的内容（如果结束请输入Esc）：')
   
7.     if content=='Esc':
   
8.         break
   
9.     headers={}
   
10.     headers['User-Agent']='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3706.400 SLBrowser/10.0.4040.400'
    
11.     url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
    
12.     data={'i':content,
    
13.         'from':'AUTO',
    
14.         'to':'AUTO',
    
15.         'smartresult':'dict',
    
16.         'client':'fanyideskweb',
    
17.         'salt':'15966771704905',
    
18.         'sign': '8634c91db8413ef4cfbe684fd030d518',
    
19.         'ts': '1596677170490',
    
20.         'bv': 'd16528ec6ead722121051f646932f6ab',
    
21.         'doctype': 'json',
    
22.         'version': '2.1',
    
23.         'keyfrom': 'fanyi.web',
    
24.         'action':'FY_BY_REALTlME'}
    
25.     data=urllib.parse.urlencode(data).encode('utf-8')
    
26.     req = urllib.request.Request(url,data=data,headers=headers)
    
27.     response=urllib.request.urlopen(req)
    
28.     html=response.read().decode('utf-8')
    
29.     target=json.loads(html)
    
30.     target=target['translateResult'][0][0]['tgt']
    
31.     print(f'{content} ---> {target}')

复制代码

1q23w31

鱼cpython学习者 发表于 2020-8-29 18:50
我尝试爬取百度翻译做一个自己的翻译器，结果所有需要的数据都传上去了还是没办法，上网查了说有两个数据 ...

那就得学，

鱼cpython学习者

Twilight6 发表于 2020-8-29 20:02
如果你真的想研究透彻，可以去学学吧

你可以试试先爬网易的，参考代码：

有道我爬过，跟百度翻译完全不是一个难度等级，传参数就好了。百度翻译那个参数还有加密，好像要在js里面找的。

鱼cpython学习者

1q23w31 发表于 2020-8-29 20:26
那就得学，

好的，谢谢答复