selenium+firefox反反爬虫

人造人 · 发表于 2021-3-2 21:33:07

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

网站通过 window.navigator.webdriver 的值判断是不是爬虫访问
爬虫访问网站的时候 window.navigator.webdriver 的值是 true
正常浏览器访问 window.navigator.webdriver 是 undefined

selenium+chrome听说可以使用下面的代码，因为我使用的是 selenium+firefox，所以下面的代码没有试过

from selenium import webdriver
from selenium.webdriver import ChromeOptions

option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])
brower = webdriver.Chrome(options=option)

但是 firefox 没有 add_experimental_option 函数，用不了这种方法，经过我长时间的百度，终于找到了一个可用的方法，在此分享给大家

from selenium import webdriver

profile = webdriver.FirefoxProfile()
profile.set_preference("dom.webdriver.enabled", False)
profile.set_preference('useAutomationExtension', False)
profile.update_preferences()
browser = webdriver.Firefox(firefox_profile = profile, desired_capabilities = webdriver.DesiredCapabilities.FIREFOX)

参考：https://stackoverflow.com/questi ... x-webdriver-options

wp231957 · 发表于 2021-3-3 11:17:52

标记

hrp · 发表于 2021-3-3 11:44:25

学习

月下孤井 · 发表于 2022-5-20 17:56:01

换成谷歌浏览器可不可以用呢

月下孤井 · 发表于 2022-5-20 18:30:33

大佬,https://passport.tujia.com/Porta ... %2F%3Fplatform%3Dpc 这个网站可不可以用selenium登陆进去, 这个网站直接给人整自闭了啊

学习编程中的Ben · 发表于 2023-2-12 11:30:10

谢谢帮我排除错误！

las6040 · 发表于 2023-2-12 13:30:20

谢谢帮我排除错误！

账号		自动登录	找回密码
密码			立即注册

[技术交流] selenium+firefox反反爬虫

马上注册，结交更多好友，享用更多功能^_^

评分