[已解决]爬虫反调试

巅峰老甲鱼1

正如这个网站https://zz123.com打开开发者工具后网站会自动关闭，请问该如何处理？
禁止使用js不行，不治标

最佳答案

月排行榜 / 总排行榜

isdkz

2024-5-3 18:50:28

如果只是抓包不一定要打开开发者工具，用代理软件也行，比如fiddler、mitmproxy 或者 charles 都 ok，

我最推荐的是 mitmproxy

跳转到最佳答案楼层

isdkz

如果只是抓包不一定要打开开发者工具，用代理软件也行，比如fiddler、mitmproxy 或者 charles 都 ok，

我最推荐的是 mitmproxy

FishC

爬虫反调试是网站为了保护自己内容不被非法爬取而采取的一种措施，有时候会造成我们无法直接通过开发者工具进行调试。

要解决这个问题，有以下几种方法可以尝试：

1. 使用模拟浏览器的库：可以使用Selenium或Puppeteer等模拟浏览器的库来实现爬虫。这些库可以模拟用户的行为，包括点击、滚动、输入等操作，从而绕过网站的反调试机制。

2. 修改请求头信息：有些网站会根据请求头信息来判断是否是爬虫，可以尝试修改User-Agent等请求头字段，使其伪装成正常的浏览器访问。

3. 使用代理IP：有些网站会根据IP地址限制访问频率或者禁止某些IP地址的访问，可以使用代理IP来隐藏真实的IP地址，达到绕过反调试的目的。

需要注意的是，绕过反调试机制可能违反网站的使用规则，如果没有得到网站的授权，请不要这样做。同时也要遵守网络道德和法律法规，并尊重网站的合法权益。

总之，爬虫领域是一个不断进化和斗智斗勇的过程，一些网站采取的反调试机制可能会让我们的爬虫遇到一些麻烦。不过，随着技术的不断发展，总会有解决方案出现。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

巅峰老甲鱼1

isdkz 发表于 2024-5-6 21:12
如果只是抓包不一定要打开开发者工具，用代理软件也行，比如fiddler、mitmproxy 或者 charles 都 ok，

...

好哒