人造人 发表于 2021-3-2 21:33:07

selenium+firefox反反爬虫

网站通过 window.navigator.webdriver 的值判断是不是爬虫访问
爬虫访问网站的时候 window.navigator.webdriver 的值是 true
正常浏览器访问 window.navigator.webdriver 是 undefined

selenium+chrome听说可以使用下面的代码，因为我使用的是 selenium+firefox，所以下面的代码没有试过
from selenium import webdriver
from selenium.webdriver import ChromeOptions

option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])
brower = webdriver.Chrome(options=option)


但是 firefox 没有 add_experimental_option 函数，用不了这种方法，经过我长时间的百度，终于找到了一个可用的方法，在此分享给大家
from selenium import webdriver

profile = webdriver.FirefoxProfile()
profile.set_preference("dom.webdriver.enabled", False)
profile.set_preference('useAutomationExtension', False)
profile.update_preferences()
browser = webdriver.Firefox(firefox_profile = profile, desired_capabilities = webdriver.DesiredCapabilities.FIREFOX)


参考：https://stackoverflow.com/questions/57122151/exclude-switches-in-firefox-webdriver-options

wp231957 发表于 2021-3-3 11:17:52

标记

hrp 发表于 2021-3-3 11:44:25

学习

月下孤井 发表于 2022-5-20 17:56:01

换成谷歌浏览器可不可以用呢

月下孤井 发表于 2022-5-20 18:30:33

大佬,https://passport.tujia.com/PortalSite/LoginPage/?originUrl=https%3A%2F%2Fwww.tujia.com%2F%3Fplatform%3Dpc这个网站可不可以用selenium登陆进去, 这个网站直接给人整自闭了啊

学习编程中的Ben 发表于 2023-2-12 11:30:10

谢谢帮我排除错误！

las6040 发表于 2023-2-12 13:30:20

谢谢帮我排除错误！
{:5_108:}
页: [1]
查看完整版本: selenium+firefox反反爬虫