[已解决]seleium显式等待如何处理一个没有明显结束信号的网站

正在卓尼小乱

目标是：https://phpinfo.me/domain/
一个子域名查询网站，需要在查到所有子域名之后，返回查到的结果。但是正常的python爬虫是获取页面后立刻读取网页内容的，该网站需要等待网页爆破子域名结束后才能返回所有结果，因此我使用了selenium的WebDriverWait模块，想按照页面某个元素的变化（比如某些查询功能的网站，查询完毕后会提示‘查询成功！’之类）进行等待，待结果全部显示后再爬取内容。但目标网站并没有明显提示，只有查询框下第一行的文本会在查询结束后停止跳动，如图：

暂时没有思路，烦请哪位大佬帮忙介绍一种应对方法！

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-8-24 19:07:37

当结束时那个元素的text就不动了，所以加一个循环检查，对比text就知道结束了：

from selenium.webdriver import Firefox
import time


def ck_fuzz(driver):
    while True:
        previous_name = driver.find_element_by_id('fuzz').text
        time.sleep(5)
        last_name = driver.find_element_by_id('fuzz').text
        if previous_name == last_name:
            return True


if __name__ == '__main__':
    url = 'https://phpinfo.me/domain/'
    driver = Firefox(executable_path='geckodriver')
    driver.get(url)
    # print(driver.page_source)
    driver.find_element_by_id('domain').send_keys('baidu.com')
    driver.find_element_by_tag_name('button').click()
    ck_fuzz(driver)
    # Write your code below

跳转到最佳答案楼层

suchocolate

当结束时那个元素的text就不动了，所以加一个循环检查，对比text就知道结束了：

from selenium.webdriver import Firefox
import time


def ck_fuzz(driver):
    while True:
        previous_name = driver.find_element_by_id('fuzz').text
        time.sleep(5)
        last_name = driver.find_element_by_id('fuzz').text
        if previous_name == last_name:
            return True


if __name__ == '__main__':
    url = 'https://phpinfo.me/domain/'
    driver = Firefox(executable_path='geckodriver')
    driver.get(url)
    # print(driver.page_source)
    driver.find_element_by_id('domain').send_keys('baidu.com')
    driver.find_element_by_tag_name('button').click()
    ck_fuzz(driver)
    # Write your code below

正在卓尼小乱

suchocolate 发表于 2020-8-25 11:21
当结束时那个元素的text就不动了，所以加一个循环检查，对比text就知道结束了：

懂了，多谢