爬虫遇到js
学了爬虫，打算自己试着爬一些网站，结果发现很多网站都有js加密之类的东西。学爬虫是不是还得学下JavaScript啊？ 一般来说不用，遇到js就用selenium爬取，除非遇到那种用requests请求数据包携带js加密的参数那做种情况 1q23w31 发表于 2020-8-29 18:43一般来说不用，遇到js就用selenium爬取，除非遇到那种用requests请求数据包携带js加密的参数那做种情况
我尝试爬取百度翻译做一个自己的翻译器，结果所有需要的数据都传上去了还是没办法，上网查了说有两个数据参数是反爬虫的，要在js里面找。可是我看那么一大堆js代码就头大，看都看不懂，这种情况是不是得去学？ 鱼cpython学习者 发表于 2020-8-29 18:50
我尝试爬取百度翻译做一个自己的翻译器，结果所有需要的数据都传上去了还是没办法，上网查了说有两个数据 ...
如果你真的想研究透彻，可以去学学吧
你可以试试先爬网易的，参考代码：
import urllib.request
import urllib.parse
import json
import time
while True:
content=input('请输入要翻译的内容（如果结束请输入Esc）：')
if content=='Esc':
break
headers={}
headers['User-Agent']='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3706.400 SLBrowser/10.0.4040.400'
url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
data={'i':content,
'from':'AUTO',
'to':'AUTO',
'smartresult':'dict',
'client':'fanyideskweb',
'salt':'15966771704905',
'sign': '8634c91db8413ef4cfbe684fd030d518',
'ts': '1596677170490',
'bv': 'd16528ec6ead722121051f646932f6ab',
'doctype': 'json',
'version': '2.1',
'keyfrom': 'fanyi.web',
'action':'FY_BY_REALTlME'}
data=urllib.parse.urlencode(data).encode('utf-8')
req = urllib.request.Request(url,data=data,headers=headers)
response=urllib.request.urlopen(req)
html=response.read().decode('utf-8')
target=json.loads(html)
target=target['translateResult']['tgt']
print(f'{content} ---> {target}') 鱼cpython学习者 发表于 2020-8-29 18:50
我尝试爬取百度翻译做一个自己的翻译器，结果所有需要的数据都传上去了还是没办法，上网查了说有两个数据 ...
那就得学， Twilight6 发表于 2020-8-29 20:02
如果你真的想研究透彻，可以去学学吧
你可以试试先爬网易的，参考代码：
有道我爬过，跟百度翻译完全不是一个难度等级，传参数就好了。百度翻译那个参数还有加密，好像要在js里面找的。
1q23w31 发表于 2020-8-29 20:26
那就得学，
好的，谢谢答复
页:
[1]