[已解决]seleium显式等待如何处理一个没有明显结束信号的网站

正在卓尼小乱

目标是：https://phpinfo.me/domain/
一个子域名查询网站，需要在查到所有子域名之后，返回查到的结果。但是正常的python爬虫是获取页面后立刻读取网页内容的，该网站需要等待网页爆破子域名结束后才能返回所有结果，因此我使用了selenium的WebDriverWait模块，想按照页面某个元素的变化（比如某些查询功能的网站，查询完毕后会提示‘查询成功！’之类）进行等待，待结果全部显示后再爬取内容。但目标网站并没有明显提示，只有查询框下第一行的文本会在查询结束后停止跳动，如图：

暂时没有思路，烦请哪位大佬帮忙介绍一种应对方法！

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-8-24 19:07:37

当结束时那个元素的text就不动了，所以加一个循环检查，对比text就知道结束了：

1. from selenium.webdriver import Firefox
   
2. import time
   
3. 
   
4. 
   
5. def ck_fuzz(driver):
   
6.     while True:
   
7.         previous_name = driver.find_element_by_id('fuzz').text
   
8.         time.sleep(5)
   
9.         last_name = driver.find_element_by_id('fuzz').text
   
10.         if previous_name == last_name:
    
11.             return True
    
12. 
    
13. 
    
14. if __name__ == '__main__':
    
15.     url = 'https://phpinfo.me/domain/'
    
16.     driver = Firefox(executable_path='geckodriver')
    
17.     driver.get(url)
    
18.     # print(driver.page_source)
    
19.     driver.find_element_by_id('domain').send_keys('baidu.com')
    
20.     driver.find_element_by_tag_name('button').click()
    
21.     ck_fuzz(driver)
    
22.     # Write your code below
    

复制代码

跳转到最佳答案楼层

suchocolate

当结束时那个元素的text就不动了，所以加一个循环检查，对比text就知道结束了：

1. from selenium.webdriver import Firefox
   
2. import time
   
3. 
   
4. 
   
5. def ck_fuzz(driver):
   
6.     while True:
   
7.         previous_name = driver.find_element_by_id('fuzz').text
   
8.         time.sleep(5)
   
9.         last_name = driver.find_element_by_id('fuzz').text
   
10.         if previous_name == last_name:
    
11.             return True
    
12. 
    
13. 
    
14. if __name__ == '__main__':
    
15.     url = 'https://phpinfo.me/domain/'
    
16.     driver = Firefox(executable_path='geckodriver')
    
17.     driver.get(url)
    
18.     # print(driver.page_source)
    
19.     driver.find_element_by_id('domain').send_keys('baidu.com')
    
20.     driver.find_element_by_tag_name('button').click()
    
21.     ck_fuzz(driver)
    
22.     # Write your code below
    

复制代码

正在卓尼小乱

suchocolate 发表于 2020-8-25 11:21
当结束时那个元素的text就不动了，所以加一个循环检查，对比text就知道结束了：

懂了，多谢