selenium打开页面加载不出来

937135952

这个网址，为什么直接复制到浏览器中可以打开，用selenium自动打开页面就加载不出来显示空白，因为之前都可以正常打开，是不是因为网站加了反爬虫措施还是什么原因，应该怎么解决？

1.     driver5 = webdriver.Firefox()
   
2.    
   
3.     # op = webdriver.FirefoxOptions()
   
4.     # op.set_preference({'user-data-dir':''})
   
5.     c = webdriver.ChromeOptions()
   
6.     c.add_argument('--user-data-dir=D:/AutomationProfile')
   
7.     c.add_argument('--headless')
   
8.     # c.add_argument(f'user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36')
   
9.     #driver5 = webdriver.Chrome()
   
10.    
    
11.     # #driver5.get("https://www.citicsf.com/e-futures/")
    
12.     driver5.get('https://www.citicsf.com/e-futures/user/login')  

复制代码

isdkz

无头模式就是不会显示的呀

1.     driver5 = webdriver.Firefox()
   
2.    
   
3.     # op = webdriver.FirefoxOptions()
   
4.     # op.set_preference({'user-data-dir':''})
   
5.     c = webdriver.ChromeOptions()
   
6.     c.add_argument('--user-data-dir=D:/AutomationProfile')
   
7.     # c.add_argument('--headless')                                 把这一行注释掉
   
8.     # c.add_argument(f'user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36')
   
9.     #driver5 = webdriver.Chrome()
   
10.    
    
11.     # #driver5.get("https://www.citicsf.com/e-futures/")
    
12.     driver5.get('https://www.citicsf.com/e-futures/user/login')  

复制代码

937135952

isdkz 发表于 2023-2-17 11:00
无头模式就是不会显示的呀

不是不是，我的意思是浏览器打开了，页面空白的加载不出来。有时候可以加载出来有时候不行，加载不出来页面找不到所需要点击的元素

isdkz

937135952 发表于 2023-2-17 11:13
不是不是，我的意思是浏览器打开了，页面空白的加载不出来。有时候可以加载出来有时候不行，加载不出来页 ...

那应该只是没有加载那么快而已，加个 sleep 等待一下

1.     driver5 = webdriver.Firefox()
   
2.    
   
3.     # op = webdriver.FirefoxOptions()
   
4.     # op.set_preference({'user-data-dir':''})
   
5.     c = webdriver.ChromeOptions()
   
6.     c.add_argument('--user-data-dir=D:/AutomationProfile')
   
7.     c.add_argument('--headless')                                 
   
8.     # c.add_argument(f'user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36')
   
9.     #driver5 = webdriver.Chrome()
   
10.    
    
11.     # #driver5.get("https://www.citicsf.com/e-futures/")
    
12.     driver5.get('https://www.citicsf.com/e-futures/user/login')  
    
13.     from time import sleep
    
14.     sleep(1)

复制代码

937135952

isdkz 发表于 2023-2-17 11:26
那应该只是没有加载那么快而已，加个 sleep 等待一下

也不是这个问题，我程序下面有sleep,就是单纯的显示不出来，等很久也显示不出来。但是多启动几次，能显示出来的话一下就显示出来了。

isdkz

937135952 发表于 2023-2-17 13:05
也不是这个问题，我程序下面有sleep,就是单纯的显示不出来，等很久也显示不出来。但是多启动几 ...

你用的是火狐浏览器为什么要用 ChromeOptions() ？

也有可能是浏览器版本跟 driver 版本不对应，

我用的谷歌浏览器没有问题

937135952

isdkz 发表于 2023-2-17 13:15
你用的是火狐浏览器为什么要用 ChromeOptions() ？

也有可能是浏览器版本跟 driver 版本不对应，

因为我用谷歌浏览器驱动试过不行之后，想着是不是驱动的问题，然后改用火狐浏览器，发现同样不行。版本应该没有问题，我爬其他网站都是正常的

isdkz

937135952 发表于 2023-2-17 13:22
因为我用谷歌浏览器驱动试过不行之后，想着是不是驱动的问题，然后改用火狐浏览器，发现同样不行。版本应 ...

那就不知道你的问题了，你发的代码也不完整，我只能猜是 driver.exe 的问题，

我用 selenium 打开那个页面是没有问题的

isdkz

最好脱敏后发完整代码出来

937135952

isdkz 发表于 2023-2-17 13:41
最好脱敏后发完整代码出来

1. from selenium import webdriver
   
2. from selenium.webdriver.common.by import By
   
3. import time
   
4. 
   
5. 
   
6. import ddddocr
   
7. 
   
8. 
   
9. def get_zhongxin():
   
10.     # #这个是一个用来控制chrome以无界面模式打开的浏览器
    
11.     # #创建一个参数对象，用来控制chrome以无界面的方式打开
    
12.     # chrome_options = Options()
    
13.     # #后面的两个是固定写法 必须这么写
    
14.     # chrome_options.add_argument('--headless')
    
15.     # chrome_options.add_argument('--disable-gpu')
    
16.     # #驱动路径 谷歌的驱动存放路径
    
17.     # path = 'chromedriver\\chromedriver.exe'
    
18.     # #创建浏览器对象
    
19.     # driver5 = webdriver.Chrome(executable_path=path,chrome_options=chrome_options)
    
20.    
    
21.    
    
22.     # s = requests.Session()
    
23.    
    
24.     # fb = webdriver.FirefoxProfile.DEFAULT_PREFERENCES
    
25.    
    
26.     #driver5 = webdriver.Firefox()
    
27.    
    
28.     # op = webdriver.FirefoxOptions()
    
29.     # op.set_preference({'user-data-dir':''})
    
30.     c = webdriver.ChromeOptions()
    
31.     c.add_argument('--user-data-dir=D:/AutomationProfile')
    
32.     #c.add_argument('--headless')
    
33.     # c.add_argument(f'user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36')
    
34.     driver5 = webdriver.Chrome()
    
35.    
    
36.     # #driver5.get("https://www.citicsf.com/e-futures/")
    
37.     #driver5.get('https://www.citicsf.com/e-futures/user/login')  
    
38.     driver5.get('https://www.citicsf.com/e-futures/research/more?code=000112')  
    
39.     time.sleep(3)
    
40.    
    
41. 
    
42.     try:
    
43.         driver5.find_element(By.XPATH, '//div[@class="input-group"]/input').send_keys('')#这里直接指向id="title"的同级input就行。
    
44.         time.sleep(1)   
    
45.         driver5.find_element(By.XPATH, '//div[@class="form-group"]/div[2]/input').send_keys('')#这里直接指向id="title"的同级input就行。
    
46.         time.sleep(1)   
    
47.         
    
48.         
    
49.         image = driver5.find_element(By.XPATH, '//div[@class="form-group"]/div[3]/span/img[@id="kaptcha"]')
    
50.         print("image",image)
    
51.         data = image.screenshot_as_base64
    
52.         print("data_______________",data)
    
53.         ocr = ddddocr.DdddOcr()
    
54.         # 进行验证码识别
    
55.         img_base64=data
    
56.         ocr = ocr.classification(img_base64)  # img_bytes=data 这是bytes数据传入时,但在pycharm 会冒黄，我也不清楚为啥
    
57.         print(ocr)
    
58.         driver5.find_element(By.XPATH, '//div[@class="form-group"]/div[3]/input').send_keys(ocr)#这里直接指向id="title"的同级input就行。
    
59.         driver5.find_element(By.XPATH, '//div[@class="content"]//button').click()#这里直接指向id="title"的同级input就行。
    
60.         time.sleep(4)
    
61.         currenturl = driver5.current_url
    
62.         while currenturl=="https://www.citicsf.com/e-futures/user/login":
    
63.             time.sleep(1)
    
64.             driver5.find_element(By.XPATH, '//div[@class="layui-layer-btn"]/a').click()
    
65.             
    
66.             image = driver5.find_element(By.XPATH, '//div[@class="form-group"]/div[3]/span/img[@id="kaptcha"]')
    
67.             print("image",image)
    
68.             data = image.screenshot_as_base64
    
69.             print("data_______________",data)
    
70.             ocr = ddddocr.DdddOcr()
    
71.             # 进行验证码识别
    
72.             img_base64=data
    
73.             ocr = ocr.classification(img_base64)  # img_bytes=data 这是bytes数据传入时,但在pycharm 会冒黄，我也不清楚为啥
    
74.             print(ocr)
    
75.             driver5.find_element(By.XPATH, '//div[@class="form-group"]/div[3]/input').send_keys(ocr)#这里直接指向id="title"的同级input就行。
    
76.             driver5.find_element(By.XPATH, '//div[@class="content"]//button').click()#这里直接指向id="title"的同级input就行。
    
77.             time.sleep(4)
    
78.             currenturl = driver5.current_url
    
79.         
    
80.         driver5.find_element(By.XPATH, '//span[@class="nyhg-icon"]/a').click()
    
81.         time.sleep(1)
    
82.         driver5.find_element(By.XPATH, '//li[@data-code="000112"]//span[@data-icon="icon-minus-sign"]/a').click()
    
83.         time.sleep(1)
    
84.         driver5.find_element(By.XPATH, '//li[@data-code="00011101"]/a[@class="toggleLeaf"]').click()   
    
85.         time.sleep(1)
    
86.         driver5.find_element(By.XPATH, '//li[@class="article-list"]/ul/li/a[contains(text(),"中信期货原油")]').click()  
    
87.     except:
    
88.         pass
    
89.    
    
90. get_zhongxin()

复制代码

如果你那边可以运行，可能是网络的问题了

isdkz

937135952 发表于 2023-2-17 13:48
如果你那边可以运行，可能是网络的问题了

我这里确实可以运行，你那个不知道怎么回事

莣哖彡

有没有可能是那个Chromedriver的版本不对诶

莣哖彡

莣哖彡 发表于 2023-2-18 22:18
有没有可能是那个Chromedriver的版本不对诶

找一找时间最新的那个版本鹅