鱼C论坛

 找回密码
 立即注册
查看: 2010|回复: 6

[已解决]兄弟们,大问题!!

[复制链接]
发表于 2022-7-5 23:29:29 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 Zichenya 于 2022-7-6 22:34 编辑

网站禁止F12 禁止打开控制台,禁止右键鼠标
咋办,我想爬它,想在浏览器看源码
vmgirls.com

书接上回
我用python直接爬取了首页源码,然后删除了JavaScript的部分代码
但是网页还是会有限制,而且布局和样式全没了
然后我听大佬的建议,直接在浏览器禁止javascript,然后就没有限制了,也不会出现上面的情况
想问下,这是什么原因?浏览器禁止JavaScript的原理或者本质是什么?为什么禁止了,布局和样式都在
最佳答案
2022-7-7 09:34:05
本帖最后由 dolly_yos2 于 2022-7-7 09:50 编辑

补充:
一边写一边想到一个更有意思的方法:更改浏览器的 UA ,把能被识别的部分去掉,例如修改为 none 。由于一些检测指标只对特定的浏览器生效,因此反开发者工具工具中大量的使用了基于 UA 的浏览器类型检测,这种修改会使一些检测指标直接被跳过,经测试 Firefox 在不进行任何其他改动的前提下修改UA即可不被检测到启动了开发者工具。不过注意这可能导致你对站点的访问记录变得醒目。
在有检测的页面上使用楼上所说的独立(分离)式开发者工具页面能够避免被计算尺寸检测到。
可能禁用了 disable-devtool.min.js 后仍无法直接使用 F12 启动开发者工具,经测试楼上的方法大多可行,如在 Ctrl+F 搜索框中按 F12 。


简单的研究了一下感觉还是非常有意思的:虽然说是为了达成不可能达成的目的(阻止网页客户端(浏览器)查看网页代码)而做的,某种程度上是无用功,开发者们还是研究出了花样繁多而且精彩绝伦,甚至令人拍案叫绝的方法。当然,终究是不可能实现的目标,也许这也就是很多服务都处心积虑让用户下载安装使用他们的程序而不是提供完整的网页介面的原因之一——虽然说这也只是进一步提高了分析的难度而已,但是我已经远远的跑题了。
回到具体的这个网页的而问题上。似乎这个网页使用的是一个第三方的禁用调试工具代码,换言之绕过之即可解决使用相同技术的所有站点。楼上提出的禁用 JavaScript 固然可以阻断禁止开发者工具的工作,但是很可能影响站点的正常行为,因此无法完全解决问题。解决此类问题的终极方案之一就是应用一个 HTTP(S) 中间人代理,比如 Fiddler 、mitmproxy 等等,使用这些工具可以对网页内容(对站点)透明的抓取 HTTP 流量,从而获取信息。当然,这些工具在进行调试的能力上自然远不及浏览器的开发者工具,但是这些工具可以作为一个侦查手段:首先我们定位拦截开发者工具的手段,随后我们尝试解决之。
经过侦查我们定位到一个名为 disable-devtool.min.js 的文件,显然是禁用开发者工具的核心组件之一。此时我们已经有一个简单直接的方式解决此问题:使用任何途径拦截此文件的传输,或者使用一个空文件之类的方式进行替换,则其中的代码将不再生效,自然无法禁止使用开发者工具。可能的方法包括设置中间人代理进行拦截或响应伪造,使用开发者工具的拦截路径功能或文件替换功能等等。此站点在拦截此文件后应该仍能正常工作且开启开发者工具不再导致页面关闭。
当然,我们也有更加复杂的方式进行应对,例如分析检测开启开发者工具的手段并加以掩盖,或者拦截注册检测器的代码等等。这有着更多的技巧性且繁杂,不再过多赘述,只是简单的分析一下本站点使用的禁用开发者工具实现的其中两个检测方式,确实非常精彩,很有创意:
1. 尝试向控制台打印一个自定义了 toString 方法的对象,开启开发者工具时控制台处理输出会调用此方法来生成输出内容从而触发后续动作
2. 尝试向控制台打印 id 属性设置为 getter 方法的 DOM 元素实例,开启开发者工具时控制台处理输出会调用此 getter 来获取 id 从而触发后续动作
同时检测指标中充斥着对浏览器类型的判断,不同浏览器的行为在细节处可能有较多出入,可能还需要更细致的分析。如有疏漏或错误敬请指正。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-7-6 02:33:45 | 显示全部楼层
你可以试试看禁用JavaScript
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2022-7-6 03:01:20 | 显示全部楼层
chrome为例:在本论坛(其实其他网页也行)打开开发者工具,按如图设置成独立窗口的开发者工具。
屏幕截图 2022-07-06 025731.png
关闭开发者工具,打开你的那个网站,chrome右上角三个点,更多工具,开发者工具。然后刷新你的网页就能在独立的开发者工具窗口看到调试信息了。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

发表于 2022-7-6 10:29:26 | 显示全部楼层
禁止此网页使用JavaScript
web1.png
然后就可以右键点检查了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2022-7-6 11:58:43 | 显示全部楼层
我自己试了一下,哪有那么麻烦
好多方法呢

方法一:先 [Ctrl] + [F] 让焦点在搜索框上,再按 [F12]

方法二: 先 [Ctrl] + [F] 让焦点在搜索框上,再按 [Ctrl] + [Shift] + [I]
【这类的方法多了,只要焦点不在网页上都行,比如在地址栏上,在地址栏左侧的表示连接安全的锁上】

方法三:直接在菜单栏里 [...] -> [更多工具] -> [开发者工具]
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2022-7-6 13:33:40 | 显示全部楼层
有检测,打开开发工具直接自动关闭网页
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2022-7-7 09:34:05 | 显示全部楼层    本楼为最佳答案   
本帖最后由 dolly_yos2 于 2022-7-7 09:50 编辑

补充:
一边写一边想到一个更有意思的方法:更改浏览器的 UA ,把能被识别的部分去掉,例如修改为 none 。由于一些检测指标只对特定的浏览器生效,因此反开发者工具工具中大量的使用了基于 UA 的浏览器类型检测,这种修改会使一些检测指标直接被跳过,经测试 Firefox 在不进行任何其他改动的前提下修改UA即可不被检测到启动了开发者工具。不过注意这可能导致你对站点的访问记录变得醒目。
在有检测的页面上使用楼上所说的独立(分离)式开发者工具页面能够避免被计算尺寸检测到。
可能禁用了 disable-devtool.min.js 后仍无法直接使用 F12 启动开发者工具,经测试楼上的方法大多可行,如在 Ctrl+F 搜索框中按 F12 。


简单的研究了一下感觉还是非常有意思的:虽然说是为了达成不可能达成的目的(阻止网页客户端(浏览器)查看网页代码)而做的,某种程度上是无用功,开发者们还是研究出了花样繁多而且精彩绝伦,甚至令人拍案叫绝的方法。当然,终究是不可能实现的目标,也许这也就是很多服务都处心积虑让用户下载安装使用他们的程序而不是提供完整的网页介面的原因之一——虽然说这也只是进一步提高了分析的难度而已,但是我已经远远的跑题了。
回到具体的这个网页的而问题上。似乎这个网页使用的是一个第三方的禁用调试工具代码,换言之绕过之即可解决使用相同技术的所有站点。楼上提出的禁用 JavaScript 固然可以阻断禁止开发者工具的工作,但是很可能影响站点的正常行为,因此无法完全解决问题。解决此类问题的终极方案之一就是应用一个 HTTP(S) 中间人代理,比如 Fiddler 、mitmproxy 等等,使用这些工具可以对网页内容(对站点)透明的抓取 HTTP 流量,从而获取信息。当然,这些工具在进行调试的能力上自然远不及浏览器的开发者工具,但是这些工具可以作为一个侦查手段:首先我们定位拦截开发者工具的手段,随后我们尝试解决之。
经过侦查我们定位到一个名为 disable-devtool.min.js 的文件,显然是禁用开发者工具的核心组件之一。此时我们已经有一个简单直接的方式解决此问题:使用任何途径拦截此文件的传输,或者使用一个空文件之类的方式进行替换,则其中的代码将不再生效,自然无法禁止使用开发者工具。可能的方法包括设置中间人代理进行拦截或响应伪造,使用开发者工具的拦截路径功能或文件替换功能等等。此站点在拦截此文件后应该仍能正常工作且开启开发者工具不再导致页面关闭。
当然,我们也有更加复杂的方式进行应对,例如分析检测开启开发者工具的手段并加以掩盖,或者拦截注册检测器的代码等等。这有着更多的技巧性且繁杂,不再过多赘述,只是简单的分析一下本站点使用的禁用开发者工具实现的其中两个检测方式,确实非常精彩,很有创意:
1. 尝试向控制台打印一个自定义了 toString 方法的对象,开启开发者工具时控制台处理输出会调用此方法来生成输出内容从而触发后续动作
2. 尝试向控制台打印 id 属性设置为 getter 方法的 DOM 元素实例,开启开发者工具时控制台处理输出会调用此 getter 来获取 id 从而触发后续动作
同时检测指标中充斥着对浏览器类型的判断,不同浏览器的行为在细节处可能有较多出入,可能还需要更细致的分析。如有疏漏或错误敬请指正。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-5-6 08:27

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表