[已解决]关于进程池下载事先不确定的多页数据的问题，求大师指导，谢谢

futui

用requests   下载事先不确定的多页数据，请问要 如何使用 进程池？是不是要先下载首页，待确定页数后，再使用进程池吗？求大师指导，谢谢

最佳答案

月排行榜 / 总排行榜

isdkz

2023-4-7 21:13:23

要使用requests和多进程处理进程池下载未知数量的页面，您可以按照以下步骤进行操作：

• 首先，使用requests下载初始页面。
• 分析页面以确定需要下载的页面数量。这可能因网站结构而异。
• 确定页面数量后，为要下载的每个页面创建URL列表。
• 使用进程池通过多进程并发下载页面。
  

以下是一个示例，演示了如何使用进程池下载多个页面：

import requests
from multiprocessing import Pool
from bs4 import BeautifulSoup

def download_page(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.content
    else:
        print(f"下载页面出错： {url}")
        return None

def extract_number_of_pages(initial_page_content):
    # 在此实现从初始页面提取总页数的逻辑
    # 这可能因网站结构而异
    soup = BeautifulSoup(initial_page_content, 'html.parser')
    total_pages = 10  # 用实际逻辑替换这个值
    return total_pages

def generate_page_urls(base_url, total_pages):
    return [f"{base_url}/page/{i}" for i in range(2, total_pages + 1)]

if __name__ == "__main__":
    base_url = "https://example.com"  # 替换为要下载的网站的基本URL
    initial_page_url = f"{base_url}/page/1"

    initial_page_content = download_page(initial_page_url)

    total_pages = extract_number_of_pages(initial_page_content)
    page_urls = generate_page_urls(base_url, total_pages)

    with Pool() as pool:
        pages_content = pool.map(download_page, page_urls)

    # pages_content列表包含从第2页开始的所有下载页面的内容

请记住根据您使用的网站替换示例URL和提取总页数的逻辑。此示例使用BeautifulSoup库解析初始页面内容，但您也可以根据需要使用其他HTML解析器。

跳转到最佳答案楼层

isdkz

要使用requests和多进程处理进程池下载未知数量的页面，您可以按照以下步骤进行操作：

• 首先，使用requests下载初始页面。
• 分析页面以确定需要下载的页面数量。这可能因网站结构而异。
• 确定页面数量后，为要下载的每个页面创建URL列表。
• 使用进程池通过多进程并发下载页面。
  

以下是一个示例，演示了如何使用进程池下载多个页面：

import requests
from multiprocessing import Pool
from bs4 import BeautifulSoup

def download_page(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.content
    else:
        print(f"下载页面出错： {url}")
        return None

def extract_number_of_pages(initial_page_content):
    # 在此实现从初始页面提取总页数的逻辑
    # 这可能因网站结构而异
    soup = BeautifulSoup(initial_page_content, 'html.parser')
    total_pages = 10  # 用实际逻辑替换这个值
    return total_pages

def generate_page_urls(base_url, total_pages):
    return [f"{base_url}/page/{i}" for i in range(2, total_pages + 1)]

if __name__ == "__main__":
    base_url = "https://example.com"  # 替换为要下载的网站的基本URL
    initial_page_url = f"{base_url}/page/1"

    initial_page_content = download_page(initial_page_url)

    total_pages = extract_number_of_pages(initial_page_content)
    page_urls = generate_page_urls(base_url, total_pages)

    with Pool() as pool:
        pages_content = pool.map(download_page, page_urls)

    # pages_content列表包含从第2页开始的所有下载页面的内容

请记住根据您使用的网站替换示例URL和提取总页数的逻辑。此示例使用BeautifulSoup库解析初始页面内容，但您也可以根据需要使用其他HTML解析器。

ba21

Multiprocessing.Pool可以提供指定数量的进程供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；
但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，才会创建新的进程来执行它。Pool类用于需要执行的目标很多，而手动
限制进程数量又太繁琐时，如果目标少且不用控制进程数量则可以用Process类。