Scrapy的下载中间件返回响应对象时，为什么不会执行 del 操作？

wananzuiqingfen

我正在编写一个 Scrapy 对接 Selenium 的下载中间件:

1. # Spider.py
   
2. import scrapy
   
3. 
   
4. class TestSpider(scrapy.Spider):
   
5.     name = 'test'
   
6.     # allowed_domains = ['xxx.com']
   
7.     start_urls = ['http://httpbin.org/']
   
8. 
   
9.     def parse(self, response):
   
10.         print(response)
    
11. 
    
12. # Middlewares.py
    
13. from selenium import webdriver
    
14. from selenium.webdriver.common.by import By
    
15. from selenium.webdriver.support.wait import WebDriverWait
    
16. from selenium.webdriver.support import expected_conditions as EC
    
17. from selenium.common.exceptions import TimeoutException
    
18. from fake_useragent import UserAgent
    
19. from scrapy.http import HtmlResponse
    
20. 
    
21. class SeleniumMiddleware:
    
22.     """对接Selenium"""
    
23. 
    
24.     def __init__(self):
    
25.         self.browser = webdriver.Chrome()
    
26.         self.browser.maximize_window()
    
27.         self.wait = WebDriverWait(self.browser, 10)
    
28. 
    
29.     @classmethod
    
30.     def from_crawler(cls, crawler):
    
31.         return cls()
    
32. 
    
33.     def process_request(self, request, spider):
    
34.         try:
    
35.             # 判断哪些链接需要使用selenium程序访问
    
36.             if request.url in spider.start_urls:
    
37.                 self.browser.get(request.url)
    
38.                 # 等待数据加载
    
39.                 self.wait.until(EC.presence_of_element_located((
    
40.                     By.ID, 'operations-tag-HTTP_Methods')))
    
41.                 page_text = self.browser.page_source    # 获取包含动态加载的数据
    
42.                 # 返回Response对象
    
43.                 return HtmlResponse(url=request.url, body=page_text, encoding='utf-8',request=request, status=200)
    
44.         except TimeoutException:
    
45.             # 超时
    
46.             return HtmlResponse(url=request.url, status=500, request=request)
    
47. 
    
48.     def __del__(self):
    
49.         print('游览器对象关闭~')
    
50.         self.browser.quit()

复制代码

当我测试程序时，我发现当返回了响应对象，程序没有执行 del 的操作，导致打开的游览器无法如预期那样关闭。

运行结果如下:

1. 1
   
2. <200 http://httpbin.org/>

复制代码

当我将返回响应对象的代码注释的时候，程序是会执行 del 操作的:

1. # 返回Response对象
   
2. # return HtmlResponse(url=request.url, body=page_text, encoding='utf-8', request=request, status=200)

复制代码

输出结果：

1. 1
   
2. <200 http://httpbin.org/>
   
3. 游览器对象关闭~

复制代码

我想知道导致此结果的原因，并且返回响应对象时应如何执行整理操作（关闭浏览器）？

希望你能帮帮我，感谢。

wananzuiqingfen

已解决，参考: https://github.com/clemfromspace ... nium/middlewares.py