关于scrapy的疑问

斯林

看到很多博客里介绍通过改写中间件更换UserAgent或者IP的方法，
在编写完中间件之后为了使其生效，会启用settings里的代码，字典里的类对应的值就是它的顺序：
DOWNLOADER_MIDDLEWARES = {
‘scrapy.middlewares.UserAgentMiddleware’: 543,
}

有的文章中讲，它会与scrapy默认的下载中间件合并，中间件的分配顺序参考DOWNLOADER_MIDDLEWARES_BASE，即：
{
    'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': 100,
    'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware': 300,
    'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware': 350,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 400,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 500,
    'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware': 550,
    'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': 580,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 590,
    'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 600,
    'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 750,
    'scrapy.downloadermiddlewares.chunked.ChunkedTransferMiddleware': 830,
    'scrapy.downloadermiddlewares.stats.DownloaderStats': 850,
    'scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware': 900,
}

疑问01，默认的这些中间件的值之间 间距那么多，为什么偏偏赋予它543的顺序

wongyusing

后面的数字只是优先级。543,是代码里面自带的还是说你从哪里看来的代码抄上去的。  
它只要比其他相同配置的数值高就行了。  
没有必要纠结它为什么是543而不是540

斯林

wongyusing 发表于 2018-10-28 19:56
后面的数字只是优先级。543,是代码里面自带的还是说你从哪里看来的代码抄上去的。  
它只要比其他相同配置 ...

543是scrapy生成project时就自己带的，
知其然，所以我才想知其所以然
我试着在网上找了，没找到，所以我才来论坛问问