鱼C论坛

 找回密码
 立即注册
查看: 6050|回复: 27

[已解决]爬虫! 链接参数加密! 求解!!

[复制链接]
发表于 2018-8-2 22:22:15 | 显示全部楼层 |阅读模式
30鱼币
这是我想进的站的首页 【http://cpquery.sipo.gov.cn】--->>>然后点击【公共查询】--->>>进入下一个页面【也就是图一】,然后在进入图一之前还有需要获取一个cookie值,也就是【图二】,要获取图二中的cookie值,就要拿到进入图二的链接,重点来了!!! 这个链接有一个参数,叫【MmEwMD】 它的值好像是【js加密】的,然而我js水平仅仅是能看懂一点,感到绝望了。抱着忐忑的心情发了这个帖子。 下面上 【图一】【图二】
最佳答案
2018-8-2 22:22:16
要注册登录的,就不进行测试了
上一次看到这个问题时,还不需要登录呢

一般这些加密的字段很少(可以说没有)会在前端生成和验证。

都是后端生成和进行验证的。


只能大概的讲一下要点。
1.登录验证后,保存当前会话,
2.使用会话来打开网页。
3.不提倡进行解、密操作。除非你可以进入这个网站的服务器。(违法行为)
4.如果单纯只是需要这个曲奇,可以通过F12去观察,是什么时候给你的?是重定向?还是登录后??又或者是点击某个按钮触发j事件
,在这个过程中,必然会向后端请求或者在前端对某些参数进行拼接。(很少在前端出现)

图一

图一

图二

图二

最佳答案

查看完整内容

要注册登录的,就不进行测试了 上一次看到这个问题时,还不需要登录呢 一般这些加密的字段很少(可以说没有)会在前端生成和验证。 都是后端生成和进行验证的。 只能大概的讲一下要点。 1.登录验证后,保存当前会话, 2.使用会话来打开网页。 3.不提倡进行解、密操作。除非你可以进入这个网站的服务器。(违法行为) 4.如果单纯只是需要这个曲奇,可以通过F12去观察,是什么时候给你的?是重定向?还是登录后?? ...
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-8-2 22:22:16 | 显示全部楼层    本楼为最佳答案   
要注册登录的,就不进行测试了
上一次看到这个问题时,还不需要登录呢

一般这些加密的字段很少(可以说没有)会在前端生成和验证。

都是后端生成和进行验证的。


只能大概的讲一下要点。
1.登录验证后,保存当前会话,
2.使用会话来打开网页。
3.不提倡进行解、密操作。除非你可以进入这个网站的服务器。(违法行为)
4.如果单纯只是需要这个曲奇,可以通过F12去观察,是什么时候给你的?是重定向?还是登录后??又或者是点击某个按钮触发j事件
,在这个过程中,必然会向后端请求或者在前端对某些参数进行拼接。(很少在前端出现)
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-8-3 00:14:33 | 显示全部楼层
好像就是时间戳,JS 中的 getTime() 函数就跟 Python 中的 time 模块中的 time 函数差不多,可以用这个替代,都是距离 1970 的毫秒数

  1. 'http://cpquery.sipo.gov.cn/txnDisclaimerDetail.do?time=' + str(time.time())[0:10] + '&select-key:yuzhong=zh&select-key:gonggaolx=3'
复制代码
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-8-3 12:30:28 | 显示全部楼层
零度非安全 发表于 2018-8-3 00:14
好像就是时间戳,JS 中的 getTime() 函数就跟 Python 中的 time 模块中的 time 函数差不多,可以用这个替代 ...

不是啊老哥,你讲的是最后成功进去的那个网站,但是在进去这网站之前还要得到一个cookie值,键是【SSTOKEN】,这个值是在你回复的那个链接之前的那个链接的响应里面,那里面的参数是叫【MmEwMD】,这个参数我搞不定
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-8-3 12:37:40 | 显示全部楼层
零度非安全 发表于 2018-8-3 00:14
好像就是时间戳,JS 中的 getTime() 函数就跟 Python 中的 time 模块中的 time 函数差不多,可以用这个替代 ...

哥,你帮我看看呗
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-8-3 18:01:36 | 显示全部楼层
ummm  不知当讲不当讲   对于这种加密及其复杂的东西(虽然可能不是加密的  反正我没看懂)    推荐使用selenium 爬取
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-8-4 13:36:13 | 显示全部楼层
a1296715528 发表于 2018-8-3 18:01
ummm  不知当讲不当讲   对于这种加密及其复杂的东西(虽然可能不是加密的  反正我没看懂)    推荐使用selen ...

对的,然而selenium早试过了,元素啥的都定位对了,但就是没法click(),不知你有没有遇到过,要是遇到过,能不能告知一二
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-8-4 13:37:32 | 显示全部楼层
30鱼币都没有人吗
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-8-4 20:24:03 | 显示全部楼层
cupbbboom 发表于 2018-8-3 12:30
不是啊老哥,你讲的是最后成功进去的那个网站,但是在进去这网站之前还要得到一个cookie值,键是【SSTOKE ...

为什么要 cookies 值呢?那个按钮的 onload 属性调用的是一个 JS 函数,那你去找这个 JS 函数,就是上边,看下这个 JS 函数是怎么来处理的链接的
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-8-12 14:05:53 | 显示全部楼层
cupbbboom 发表于 2018-8-4 13:36
对的,然而selenium早试过了,元素啥的都定位对了,但就是没法click(),不知你有 ...

等我今天下午或者晚上搞一下再告诉你   你这个程序的目的是啥??
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-8-12 15:12:17 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-8-14 12:29:25 | 显示全部楼层
直接将cookie填进去不能用吗?
selenium我也遇到过无法点击的情况,不过我是无法右键,而且只有那个元素无法右键(小小中指以表谢意),最后我放大了窗口就可以了,不过每次都得放大窗口(
所以还是建议不用selenium,不过为什么要通过一个链接然后跳转到另一个链接呢?
直接访问那个链接不行吗
如果是因为动态加载找不到文件,可以看小甲鱼爬取网易云的那个视频
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-8-29 18:52:57 | 显示全部楼层
a1296715528 发表于 2018-8-12 14:05
等我今天下午或者晚上搞一下再告诉你   你这个程序的目的是啥??

目的就是练习js加密破解,老哥,
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-8-29 19:12:54 | 显示全部楼层
蛊惑的心 发表于 2018-8-14 12:29
直接将cookie填进去不能用吗?
selenium我也遇到过无法点击的情况,不过我是无法右键,而且只有那个元素无 ...

请问下网易云那个视频在哪儿?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-8-29 23:13:38 | 显示全部楼层
cupbbboom 发表于 2018-8-29 19:12
请问下网易云那个视频在哪儿?

bilibili
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-9-16 21:29:47 | 显示全部楼层
楼主你这个弄的咋样了啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-9-17 11:12:12 | 显示全部楼层
lz我想知道你验证码怎么过的?????如果你能过验证码,怎么可能不能点击呢???
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-11-14 13:17:22 | 显示全部楼层
Tryings 发表于 2018-9-16 21:29
楼主你这个弄的咋样了啊

在又经过了多个网页的磨练(都是这个类似的问题),于是我痛心疾首开始学习web知识,
   额 ....
居然成了一名小小前端码农。(在爬虫的道路上越走越远)

以我目前的js水平,还无法解决。
后面如果解决了,我发出来过程
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-11-14 15:34:56 | 显示全部楼层
wongyusing 发表于 2018-11-14 14:07
要注册登录的,就不进行测试了
上一次看到这个问题时,还不需要登录呢

谢谢,
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-11-14 16:29:01 | 显示全部楼层

再说一个要点吧

分析网页的时候,新开一个隐身窗口,
先按下F12,开发者模式。
把网速降下来,开发者工具的话有一个选项是可以控制网速的。(不会的话,折中方法是,随便找个东西下载来卡网速)
降低网速的原因是,网站可能会有重定向。网速过快的效果就会闪一下无法及时发现,而忽略了这个重要信息。(遇过几次了)
重定向的过程中,通常会set_曲奇(曲奇翻译成英文,发英文会被审核)或其他操作。

所以通常,我们找不到的曲奇,可以通过这种形式来找到。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-4-20 15:41

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表