网页自动化截图工具（Pyppeteer）（★★☆）

bianning0308

我来签到了，学习进度跟不上了

寒时enjoy

保存网页的神器

小坛砸

1. 
   
2. import asyncio
   
3. import re
   
4. from pyppeteer import launch
   
5. 
   
6. 
   
7. def clean_filename(url):
   
8.     """清理URL中的非法字符，生成合法文件名"""
   
9.     # 匹配Windows/Linux/Mac中不允许的文件名字符（/ : ? * " < > | \）
   
10.     illegal_chars = r'[\/:*?"<>|\\]'
    
11.     # 用下划线替换非法字符，连续多个特殊字符合并为一个下划线
    
12.     cleaned = re.sub(illegal_chars, '_', url)
    
13.     # 移除首尾多余的下划线
    
14.     cleaned = cleaned.strip('_')
    
15.     # 限制文件名长度
    
16.     return cleaned[:100]  # 保留前100个字符
    
17. 
    
18. 
    
19. async def process_single_url(browser, url):
    
20.     """处理单个URL：生成PDF + 截取logo（用URL路径作为文件名）"""
    
21.     page = None
    
22.     try:
    
23.         # 清理URL生成合法文件名前缀
    
24.         file_prefix = clean_filename(url)
    
25.         
    
26.         # 创建新页面
    
27.         page = await browser.newPage()
    
28.         await page.setViewport({'width': 1280, 'height': 800})
    
29.         
    
30.         # 访问URL并等待加载
    
31.         print(f"\n开始处理：{url}")
    
32.         await page.goto(url, timeout=30000, waitUntil='networkidle0')
    
33.         await page.waitForSelector('body', timeout=10000)
    
34.         
    
35.         # 生成PDF（用清理后的URL作为文件名）
    
36.         pdf_path = f"{file_prefix}_page.pdf"
    
37.         await page.pdf({
    
38.             'path': pdf_path,
    
39.             'format': 'A4',
    
40.             'printBackground': True,
    
41.             'displayHeaderFooter': False,
    
42.             'margin': {'top': '1cm', 'right': '1cm', 'bottom': '1cm', 'left': '1cm'}
    
43.         })
    
44.         print(f"&#9989; PDF生成成功：{pdf_path}")
    
45.         
    
46.         # 截取logo
    
47.         logo_selector = 'body .hdc a img'
    
48.         logo_path = f"{file_prefix}_logo.png"
    
49.         await page.waitForSelector(logo_selector, timeout=10000)
    
50.         logo_element = await page.querySelector(logo_selector)
    
51.         await logo_element.screenshot({'path': logo_path})
    
52.         print(f"&#9989; Logo截图成功：{logo_path}")
    
53.         
    
54.     except Exception as e:
    
55.         print(f"&#10060; 处理{url}失败：{str(e)}")
    
56.     finally:
    
57.         if page:
    
58.             await page.close()
    
59. 
    
60. 
    
61. async def main():
    
62.     # 批量处理的URL列表
    
63.     urls = [
    
64.         'https://fishc.com.cn',
    
65.         'https://fishc.com.cn/forum.php?mod=collection',  # 淘帖
    
66.         'https://fishc.com.cn/forum.php?mod=guide'   # 导读
    
67.     ]
    
68.    
    
69.     browser = None
    
70.     try:
    
71.         browser = await launch(
    
72.             headless=True,
    
73.             executablePath=r'C:\Program Files\Google\Chrome\Application\chrome.exe',
    
74.         )
    
75.         
    
76.         for url in urls:
    
77.             await process_single_url(browser, url)
    
78.             
    
79.     except Exception as e:
    
80.         print(f"浏览器启动错误：{e}")
    
81.     finally:
    
82.         if browser:
    
83.             await browser.close()
    
84.         print("\n批量处理完成！")
    
85. 
    
86. 
    
87. if __name__ == '__main__':
    
88.     asyncio.run(main())

复制代码

skhzhuanqian

实用工具

applinux

这个工具挺好的，我也再用~~~

小芒果炒酸奶

谢谢分享这个小工具

petite6er

pyppeteer 模块装了来试试

萧随风

快来打开学习

不周山_python

学习到了

忘川hd

这个工具好！

小明ys

正好对异步不是很了解，借此了解一下

lu10086

学到了

dafan_

学习了，马上去试试

不周山_python

学习到了

tkiss

学习了

ilikeet

真不错，先学习

岁尘

正想搞点东西，这个工具不错。异步编程学习一下

jinzhao666

网页自动化截图工具-打卡学习
利用 Pyppeteer 调用本机 Chrome 浏览器，实现网页截图、PDF 生成

Ixl

喜欢

SiegfriedStyx

能截完整的图，很棒啊