[已解决]load more 这种是否只能用selenium，playwright。 用request, soup这些方便吗？

blackantt

load more 这种是否只能用selenium，playwright。 用request, soup这些方便吗？

最佳答案

月排行榜 / 总排行榜

isdkz

2023-5-18 13:07:37

load more 这种功能可以使用 requests 和 BeautifulSoup 库来实现，不一定需要使用 selenium 或 playwright。

具体实现步骤如下：

1. 首先，我们需要分析网页源代码，找到“load more”按钮对应的 URL。

2. 然后，我们可以使用 requests 库来发送 GET 请求，获取到需要加载的数据。

3. 接着，我们可以使用 BeautifulSoup 库来解析 HTML，从中提取出需要的数据。

4. 最后，我们可以将提取出的数据进行处理，并将其展示在页面上。

需要注意的是，有些网站可能会采用动态加载的方式，此时需要使用 selenium 或 playwright 来模拟用户行为，才能获取到完整的数据。

跳转到最佳答案楼层

isdkz

load more 这种功能可以使用 requests 和 BeautifulSoup 库来实现，不一定需要使用 selenium 或 playwright。

具体实现步骤如下：

1. 首先，我们需要分析网页源代码，找到“load more”按钮对应的 URL。

2. 然后，我们可以使用 requests 库来发送 GET 请求，获取到需要加载的数据。

3. 接着，我们可以使用 BeautifulSoup 库来解析 HTML，从中提取出需要的数据。

4. 最后，我们可以将提取出的数据进行处理，并将其展示在页面上。

需要注意的是，有些网站可能会采用动态加载的方式，此时需要使用 selenium 或 playwright 来模拟用户行为，才能获取到完整的数据。