|
马上注册,结交更多好友,享用更多功能^_^
您需要 登录 才可以下载或查看,没有账号?立即注册
x
网站通过 window.navigator.webdriver 的值判断是不是爬虫访问
爬虫访问网站的时候 window.navigator.webdriver 的值是 true
正常浏览器访问 window.navigator.webdriver 是 undefined
selenium+chrome听说可以使用下面的代码,因为我使用的是 selenium+firefox,所以下面的代码没有试过
- from selenium import webdriver
- from selenium.webdriver import ChromeOptions
- option = ChromeOptions()
- option.add_experimental_option('excludeSwitches', ['enable-automation'])
- brower = webdriver.Chrome(options=option)
复制代码
但是 firefox 没有 add_experimental_option 函数,用不了这种方法,经过我长时间的百度,终于找到了一个可用的方法,在此分享给大家
- from selenium import webdriver
- profile = webdriver.FirefoxProfile()
- profile.set_preference("dom.webdriver.enabled", False)
- profile.set_preference('useAutomationExtension', False)
- profile.update_preferences()
- browser = webdriver.Firefox(firefox_profile = profile, desired_capabilities = webdriver.DesiredCapabilities.FIREFOX)
复制代码
参考:https://stackoverflow.com/questi ... x-webdriver-options |
评分
-
查看全部评分
|