Scrapy框架介绍之Puppeteer渲染

laical

1、Scrapy框架
Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。
框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。
Scrapy 使用了 Twisted'twɪstɪd异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。

                               
登录/注册后可看大图

Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，
Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，
Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.
Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。
Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）
2、Puppeteer渲染
Puppeteer 是 Chrome 开发团队在 2017 年发布的一个 Node.js 包，用来模拟 Chrome 浏览器的运行。
为了爬取js渲染的html页面，我们需要用浏览器来解析js后生成html。在scrapy中可以利用pyppeteer来实现对应功能。
完整代码 📎scrapy-pyppeteer.zip
我们需要新建项目中middlewares.py文件(./项目名/middlewares.py)

1. import websockets
   
2. from scrapy.http import HtmlResponse
   
3. from logging import getLogger
   
4. import asyncio
   
5. import pyppeteer
   
6. import logging
   
7. from concurrent.futures._base import TimeoutError
   
8. import base64
   
9. import sys
   
10. import random
    
11. 
    
12. pyppeteer_level = logging.WARNING
    
13. logging.getLogger('websockets.protocol').setLevel(pyppeteer_level)
    
14. logging.getLogger('pyppeteer').setLevel(pyppeteer_level)
    
15. 
    
16. PY3 = sys.version_info[0] >= 3
    
17. 
    
18. 
    
19. def base64ify(bytes_or_str):
    
20.     if PY3 and isinstance(bytes_or_str, str):
    
21.         input_bytes = bytes_or_str.encode('utf8')
    
22.     else:
    
23.         input_bytes = bytes_or_str
    
24. 
    
25.     output_bytes = base64.urlsafe_b64encode(input_bytes)
    
26.     if PY3:
    
27.         return output_bytes.decode('ascii')
    
28.     else:
    
29.         return output_bytes
    
30. 
    
31. 
    
32. class ProxyMiddleware(object):
    
33.     USER_AGENT = open('useragents.txt').readlines()
    
34. 
    
35.     def process_request(self, request, spider):
    
36.         # 代理服务器
    
37.         proxyHost = "t.16yun.cn"
    
38.         proxyPort = "31111"
    
39.         # 代理隧道验证信息
    
40.         proxyUser = "username"
    
41.         proxyPass = "password"
    
42. 
    
43.         request.meta['proxy'] = "http://{0}:{1}".format(proxyHost, proxyPort)
    
44. 
    
45.         # 添加验证头
    
46.         encoded_user_pass = base64ify(proxyUser + ":" + proxyPass)
    
47.         request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass
    
48. 
    
49.         # 设置IP切换头(根据需求)
    
50.         tunnel = random.randint(1, 10000)
    
51.         request.headers['Proxy-Tunnel'] = str(tunnel)
    
52.         request.headers['User-Agent'] = random.choice(self.USER_AGENT)
    
53. 
    
54. 
    
55. class PyppeteerMiddleware(object):
    
56.     def __init__(self, **args):
    
57.         """
    
58.         init logger, loop, browser
    
59.         :param args:
    
60.         """
    
61.         self.logger = getLogger(__name__)
    
62.         self.loop = asyncio.get_event_loop()
    
63.         self.browser = self.loop.run_until_complete(
    
64.             pyppeteer.launch(headless=True))
    
65.         self.args = args
    
66. 
    
67.     def __del__(self):
    
68.         """
    
69.         close loop
    
70.         :return:
    
71.         """
    
72.         self.loop.close()
    
73. 
    
74.     def render(self, url, retries=1, script=None, wait=0.3, scrolldown=False, sleep=0,
    
75.                timeout=8.0, keep_page=False):
    
76.         """
    
77.         render page with pyppeteer
    
78.         :param url: page url
    
79.         :param retries: max retry times
    
80.         :param script: js script to evaluate
    
81.         :param wait: number of seconds to wait before loading the page, preventing timeouts
    
82.         :param scrolldown: how many times to page down
    
83.         :param sleep: how many long to sleep after initial render
    
84.         :param timeout: the longest wait time, otherwise raise timeout error
    
85.         :param keep_page: keep page not to be closed, browser object needed
    
86.         :param browser: pyppetter browser object
    
87.         :param with_result: return with js evaluation result
    
88.         :return: content, [result]
    
89.         """
    
90. 
    
91.         # define async render
    
92.         async def async_render(url, script, scrolldown, sleep, wait, timeout, keep_page):
    
93.             try:
    
94.                 # basic render
    
95.                 page = await self.browser.newPage()
    
96.                 await asyncio.sleep(wait)
    
97.                 response = await page.goto(url, options={'timeout': int(timeout * 1000)})
    
98.                 if response.status != 200:
    
99.                     return None, None, response.status
    
100.                 result = None
     
101.                 # evaluate with script
     
102.                 if script:
     
103.                     result = await page.evaluate(script)
     
104. 
     
105.                 # scroll down for {scrolldown} times
     
106.                 if scrolldown:
     
107.                     for _ in range(scrolldown):
     
108.                         await page._keyboard.down('PageDown')
     
109.                         await asyncio.sleep(sleep)
     
110.                 else:
     
111.                     await asyncio.sleep(sleep)
     
112.                 if scrolldown:
     
113.                     await page._keyboard.up('PageDown')
     
114. 
     
115.                 # get html of page
     
116.                 content = await page.content()
     
117. 
     
118.                 return content, result, response.status
     
119.             except TimeoutError:
     
120.                 return None, None, 500
     
121.             finally:
     
122.                 # if keep page, do not close it
     
123.                 if not keep_page:
     
124.                     await page.close()
     
125. 
     
126.         content, result, status = [None] * 3
     
127. 
     
128.         # retry for {retries} times
     
129.         for i in range(retries):
     
130.             if not content:
     
131.                 content, result, status = self.loop.run_until_complete(
     
132.                     async_render(url=url, script=script, sleep=sleep, wait=wait,
     
133.                                  scrolldown=scrolldown, timeout=timeout, keep_page=keep_page))
     
134.             else:
     
135.                 break
     
136. 
     
137.         # if need to return js evaluation result
     
138.         return content, result, status
     
139. 
     
140.     def process_request(self, request, spider):
     
141.         """
     
142.         :param request: request object
     
143.         :param spider: spider object
     
144.         :return: HtmlResponse
     
145.         """
     
146.         if request.meta.get('render'):
     
147.             try:
     
148.                 self.logger.debug('rendering %s', request.url)
     
149.                 html, result, status = self.render(request.url)
     
150.                 return HtmlResponse(url=request.url, body=html, request=request, encoding='utf-8',
     
151.                                     status=status)
     
152.             except websockets.exceptions.ConnectionClosed:
     
153.                 pass
     
154. 
     
155.     @classmethod
     
156.     def from_crawler(cls, crawler):
     
157.         return cls(**crawler.settings.get('PYPPETEER_ARGS', {}))

复制代码

然后修改项目配置文件 (./项目名/settings.py)

1. DOWNLOADER_MIDDLEWARES = {
   
2.         'scrapypyppeteer.middlewares.PyppeteerMiddleware': 543,
   
3. 
   
4.         'scrapypyppeteer.middlewares.ProxyMiddleware': 100,        
   
5.     }

复制代码

然后我们运行程序

                               
登录/注册后可看大图