[已解决]关于进程池下载事先不确定的多页数据的问题，求大师指导，谢谢

futui

用requests   下载事先不确定的多页数据，请问要 如何使用 进程池？是不是要先下载首页，待确定页数后，再使用进程池吗？求大师指导，谢谢

最佳答案

月排行榜 / 总排行榜

isdkz

2023-4-7 21:13:23

要使用requests和多进程处理进程池下载未知数量的页面，您可以按照以下步骤进行操作：

• 首先，使用requests下载初始页面。
• 分析页面以确定需要下载的页面数量。这可能因网站结构而异。
• 确定页面数量后，为要下载的每个页面创建URL列表。
• 使用进程池通过多进程并发下载页面。
  

以下是一个示例，演示了如何使用进程池下载多个页面：

1. import requests
   
2. from multiprocessing import Pool
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. def download_page(url):
   
6.     response = requests.get(url)
   
7.     if response.status_code == 200:
   
8.         return response.content
   
9.     else:
   
10.         print(f"下载页面出错： {url}")
    
11.         return None
    
12. 
    
13. def extract_number_of_pages(initial_page_content):
    
14.     # 在此实现从初始页面提取总页数的逻辑
    
15.     # 这可能因网站结构而异
    
16.     soup = BeautifulSoup(initial_page_content, 'html.parser')
    
17.     total_pages = 10  # 用实际逻辑替换这个值
    
18.     return total_pages
    
19. 
    
20. def generate_page_urls(base_url, total_pages):
    
21.     return [f"{base_url}/page/{i}" for i in range(2, total_pages + 1)]
    
22. 
    
23. if __name__ == "__main__":
    
24.     base_url = "https://example.com"  # 替换为要下载的网站的基本URL
    
25.     initial_page_url = f"{base_url}/page/1"
    
26. 
    
27.     initial_page_content = download_page(initial_page_url)
    
28. 
    
29.     total_pages = extract_number_of_pages(initial_page_content)
    
30.     page_urls = generate_page_urls(base_url, total_pages)
    
31. 
    
32.     with Pool() as pool:
    
33.         pages_content = pool.map(download_page, page_urls)
    
34. 
    
35.     # pages_content列表包含从第2页开始的所有下载页面的内容

复制代码

请记住根据您使用的网站替换示例URL和提取总页数的逻辑。此示例使用BeautifulSoup库解析初始页面内容，但您也可以根据需要使用其他HTML解析器。

跳转到最佳答案楼层

isdkz

要使用requests和多进程处理进程池下载未知数量的页面，您可以按照以下步骤进行操作：

• 首先，使用requests下载初始页面。
• 分析页面以确定需要下载的页面数量。这可能因网站结构而异。
• 确定页面数量后，为要下载的每个页面创建URL列表。
• 使用进程池通过多进程并发下载页面。
  

以下是一个示例，演示了如何使用进程池下载多个页面：

1. import requests
   
2. from multiprocessing import Pool
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. def download_page(url):
   
6.     response = requests.get(url)
   
7.     if response.status_code == 200:
   
8.         return response.content
   
9.     else:
   
10.         print(f"下载页面出错： {url}")
    
11.         return None
    
12. 
    
13. def extract_number_of_pages(initial_page_content):
    
14.     # 在此实现从初始页面提取总页数的逻辑
    
15.     # 这可能因网站结构而异
    
16.     soup = BeautifulSoup(initial_page_content, 'html.parser')
    
17.     total_pages = 10  # 用实际逻辑替换这个值
    
18.     return total_pages
    
19. 
    
20. def generate_page_urls(base_url, total_pages):
    
21.     return [f"{base_url}/page/{i}" for i in range(2, total_pages + 1)]
    
22. 
    
23. if __name__ == "__main__":
    
24.     base_url = "https://example.com"  # 替换为要下载的网站的基本URL
    
25.     initial_page_url = f"{base_url}/page/1"
    
26. 
    
27.     initial_page_content = download_page(initial_page_url)
    
28. 
    
29.     total_pages = extract_number_of_pages(initial_page_content)
    
30.     page_urls = generate_page_urls(base_url, total_pages)
    
31. 
    
32.     with Pool() as pool:
    
33.         pages_content = pool.map(download_page, page_urls)
    
34. 
    
35.     # pages_content列表包含从第2页开始的所有下载页面的内容

复制代码

请记住根据您使用的网站替换示例URL和提取总页数的逻辑。此示例使用BeautifulSoup库解析初始页面内容，但您也可以根据需要使用其他HTML解析器。

ba21

Multiprocessing.Pool可以提供指定数量的进程供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；
但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，才会创建新的进程来执行它。Pool类用于需要执行的目标很多，而手动
限制进程数量又太繁琐时，如果目标少且不用控制进程数量则可以用Process类。